管理者范文网 > 安全管理 > 岗位职责 > 工程岗位职责
栏目

大数据平台工程师岗位职责8篇

发布时间:2023-04-01 热度:29

大数据平台工程师岗位职责

第1篇 大数据平台高级工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责公司级的通用数据平台和分析型产品,服务于今日头条全公司的数十个用户产品线;

2、面向pb级超大规模数据问题,每天处理千亿增量的用户行为数据;

3、为大数据的全生命周期提供服务,覆盖数据产生,传输,建模,统计分析,实验评估,可视化的全流程;

4、构建设计良好的数据流、数据仓库、调度系统、查询引擎,数据服务、分析系统、流程规范,数据工具/产品,降低数据的使用门槛,保证系统稳定高效运行,以实现数据的最大价值。

任职要求:

1、熟悉多项大数据处理/分析相关的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;

2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情;

3、优秀的理解沟通能力,能快速理解业务背景,对数据敏感,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值,有web应用开发能力者优先。

第2篇 大数据平台工程师职位描述与岗位职责任职要求

职位描述:

职责描述:

1、参与公司数据平台架构设计,负责大数据平台和数据仓库相关建设;2、依据公司的大数据技术发展路线,负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设,提供可靠的数据存储和访问能力;3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;6、参与公司数据治理策略等的制订和实施;7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;

8、负责系统核心代码编写、代码审核和重构,指导和培训数据工程师、不断进行系统优化;

任职要求:

1、本科以上学历,5年以上大数据研发经验,带领过10人以上的大数据团队; 2、有大型分布式系统设计经验,负责过海量数据平台上高可用、高性能分布式系统的架构设计;3、熟悉大数据开发框架,熟悉hadoop,hbase,spark等及业界主流流处理平台如,如storm,flunk,sparkstreaming等之一;4、熟悉greenplum等数据仓库技术,并有广泛的实践经验,具备维护和解决生产问题的能力;5、熟悉掌握分布式存储和nosql数据库技术(如monogodb、redis等),有实际生产项目应用经验;6、熟练掌握java,python,scalar中的至少一种编程语言,掌握常见的数据结构,算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式; 7、理解soa,微服务,中间件等paas相关的关键理念与技术,并对其有广泛的实践与应用经验,乐于。8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第3篇 微信支付大数据平台开发工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

岗位特色:

基于海量的微信支付用户、商户、交易和行为数据,使用业界开源的主流技术栈以及我们自研的大数据技术相结合,构建金融级的大数据平台,提供金融级数据安全保障和质量保障,为数据开发者提供工业化的数据平台服务,建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制,为数据分析、智慧推荐、金融风控等业务提供数据平台支撑;

工作职责:

负责微信支付大数据基础平台相关开发工作;

负责大数据采集、计算、分析处理相关开发工作;

负责大数据治理相关开发工作,提供一站式的数据平台及工具支持。

任职要求:

本科及以上学历,计算机相关专业,3年及以上开发经验;

熟悉java、php、shell、python等至少三种开发语言;

有分布式系统、大数据服务、数据分析方面的开发经验者优先;

熟悉hadoop,spark,storm,flink,kafka、elasticsearch、druid等平台和组件,有相关项目经验优先;

良好的沟通表达能力,执行力力强,对待工作认真严谨、高度负责。

第4篇 大数据平台开发工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

负责spark、hadoop计算平台的设计和开发工作,构建高效稳定的计算平台,为业务提供大数据分析所需的海量计算服务;

负责数据仓库、以及机器学习平台的建设。

任职要求:

计算机相关专业,本科及以上学历,2年以上大数据平台开发、运维经验;

对spark、hadoop平台计算原理有深刻理解,能够阅读spark、hadoop源码;对社区有源码贡献者优先;

熟悉spark流计算框架或其他开源实时计算框架;

有elasticsearch集群运维、开发经验者优先;

有数据仓库建设经验者优先;

数据大数据算法经验、机器学习平台建设经验者优先;

精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;

对新技术充满热情,具有良好的学习能力、团队协作能力和沟通能力;

能承受较大的工作压力。

第5篇 大数据平台高级/资深工程师/专家(基础架构方向)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、参与小鹏汽车技术中台的大数据云平台产品建设,包括:实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台;

2、分析系统瓶颈,处理、协调和解决基础框架中出现的技术问题;

3、大数据新技术研究和应用,并推动适合技术应用于生产;

任职要求:

1、计算机相关专业,本科或以上学历,五年以上开发工作经验,有基础架构开发经验优先;

2、熟练java、python服务端编程,有良好的编码习惯;

3、深入理解mapreduce,熟练使用storm/flink、hadoop、spark,并阅读部分源码;

4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch;

5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先;

6、熟悉docker容器及容器化技术,有kubernetes实战经验者优先;

7、对新技术有执着追求,热爱编程。善于抽象、总结、思考,能及时关注和学习业界最新技术;

8、有较强的自学能力和钻研精神,具有良好的沟通能力和团队合作能力,综合能力强。

第6篇 大数据平台高级工程师-平台产品方向职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责公司级的统一数据平台和分析型产品的研发,服务于今日头条全公司的数十个用户产品线;

2、设计和实现web后端和关键数据服务,用数据�量产品并驱动产品演进。

任职要求:

1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力;

2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战;

3、熟悉python和go语言优先;

4、有大数据集、分布式计算工具(hadoop,spark,hive,storm)等应用开发经验优先;

5、有产品sense,兼具pm技能者优先。

第7篇 大数据平台(高级)工程师-实验评估方向职位描述与岗位职责任职要求

职位描述:

工作职责:

1、研发业界领先的灰度实验/abtest系统,面向头条全公司的所有产品线;

2、建立通用的用户行为指标体系,探索性发掘新指标,研究业界领先的个性化评估方法;

3、从pb级超大规模的用户行为数据中挖掘信息,并设计实验验证假设,为策略/产品改进提供支持。

任职要求:

1、熟悉多项大数据处理/分析相关的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;

2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情;

3、优秀的理解沟通能力,能快速理解业务背景,对数据敏感,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值,有web应用开发能力者优先。

第8篇 大数据平台高级开发工程师职位描述与岗位职责任职要求

职位描述:

工作职责:

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、配合架构师及测试按时完成开发,保证产品正常发布与迭代

任职要求:

1、本科以上学历,计算机相关专业

2、2年以上大数据平台开发经验

3、精通java,熟悉linu_系统,深入理解并使用主流技术框架,如springboot、mybatis、mq、redis、zk、spring cloud等技术栈,具备丰富的分布式系统的研发经验

4、熟悉hadoop生态圈其他系统,包括hive,pig,hbase,spark,kafka,oozie,sqoop,flume,zookeeper, strom,flink,并了解其原理

5、熟练掌握各类数据结构与算法,具有较强的编码能力

6、具有良好的团队合作精神和表达沟通能力

7、有数据中台,数据服务平台开发经验,熟悉hadoop生态圈组件者优先

《大数据平台工程师岗位职责8篇.doc》
将本文的Word文档下载,方便收藏和打印
推荐度:
点击下载文档

相关专题

相关信息

分类查询入口

一键复制