大数据平台工程师岗位职责8篇

第1篇 大数据平台高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的通用数据平台和分析型产品，服务于今日头条全公司的数十个用户产品线；

2、面向pb级超大规模数据问题，每天处理千亿增量的用户行为数据；

3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程；

4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第2篇 大数据平台工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；6、参与公司数据治理策略等的制订和实施；7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

任职要求：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队； 2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式; 7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第3篇 微信支付大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

岗位特色：

基于海量的微信支付用户、商户、交易和行为数据，使用业界开源的主流技术栈以及我们自研的大数据技术相结合，构建金融级的大数据平台，提供金融级数据安全保障和质量保障，为数据开发者提供工业化的数据平台服务，建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制，为数据分析、智慧推荐、金融风控等业务提供数据平台支撑；

工作职责：

负责微信支付大数据基础平台相关开发工作；

负责大数据采集、计算、分析处理相关开发工作；

负责大数据治理相关开发工作，提供一站式的数据平台及工具支持。

任职要求：

本科及以上学历，计算机相关专业，3年及以上开发经验；

熟悉java、php、shell、python等至少三种开发语言；

有分布式系统、大数据服务、数据分析方面的开发经验者优先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平台和组件，有相关项目经验优先；

良好的沟通表达能力，执行力力强，对待工作认真严谨、高度负责。

第4篇 大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

负责spark、hadoop计算平台的设计和开发工作，构建高效稳定的计算平台，为业务提供大数据分析所需的海量计算服务；

负责数据仓库、以及机器学习平台的建设。

任职要求：

计算机相关专业，本科及以上学历，2年以上大数据平台开发、运维经验；

对spark、hadoop平台计算原理有深刻理解，能够阅读spark、hadoop源码；对社区有源码贡献者优先；

熟悉spark流计算框架或其他开源实时计算框架；

有elasticsearch集群运维、开发经验者优先；

有数据仓库建设经验者优先；

数据大数据算法经验、机器学习平台建设经验者优先；

精通java、熟练掌握mapreduce原理及数据分析相关的二次开发；

对新技术充满热情，具有良好的学习能力、团队协作能力和沟通能力；

能承受较大的工作压力。

第5篇 大数据平台高级/资深工程师/专家（基础架构方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参与小鹏汽车技术中台的大数据云平台产品建设，包括：实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台；

2、分析系统瓶颈，处理、协调和解决基础框架中出现的技术问题；

3、大数据新技术研究和应用，并推动适合技术应用于生产；

任职要求：

1、计算机相关专业，本科或以上学历，五年以上开发工作经验，有基础架构开发经验优先；

2、熟练java、python服务端编程，有良好的编码习惯；

3、深入理解mapreduce，熟练使用storm/flink、hadoop、spark，并阅读部分源码；

4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先；

6、熟悉docker容器及容器化技术，有kubernetes实战经验者优先；

7、对新技术有执着追求，热爱编程。善于抽象、总结、思考，能及时关注和学习业界最新技术；

8、有较强的自学能力和钻研精神，具有良好的沟通能力和团队合作能力，综合能力强。

第6篇 大数据平台高级工程师-平台产品方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的统一数据平台和分析型产品的研发，服务于今日头条全公司的数十个用户产品线；

2、设计和实现web后端和关键数据服务，用数据�量产品并驱动产品演进。

任职要求：

1、熟悉互联网产品和服务的开发过程，熟悉后端技术架构，具备良好的系统设计能力；

2、扎实的计算机基础，对技术有热情，愿意不断尝试新技术和业务挑战；

3、熟悉python和go语言优先；

4、有大数据集、分布式计算工具(hadoop，spark，hive，storm)等应用开发经验优先；

5、有产品sense，兼具pm技能者优先。

第7篇 大数据平台(高级)工程师-实验评估方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的灰度实验/abtest系统，面向头条全公司的所有产品线；

2、建立通用的用户行为指标体系，探索性发掘新指标，研究业界领先的个性化评估方法；

3、从pb级超大规模的用户行为数据中挖掘信息，并设计实验验证假设，为策略/产品改进提供支持。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第8篇 大数据平台高级开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、配合架构师及测试按时完成开发，保证产品正常发布与迭代

任职要求：

1、本科以上学历，计算机相关专业

2、2年以上大数据平台开发经验

3、精通java，熟悉linu_系统，深入理解并使用主流技术框架，如springboot、mybatis、mq、redis、zk、spring cloud等技术栈，具备丰富的分布式系统的研发经验

4、熟悉hadoop生态圈其他系统，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟练掌握各类数据结构与算法，具有较强的编码能力

6、具有良好的团队合作精神和表达沟通能力

7、有数据中台，数据服务平台开发经验，熟悉hadoop生态圈组件者优先