大数据研发岗位职责19篇

岗位职责是什么

大数据研发岗位是企业信息化建设中的关键角色，负责设计、开发和维护大数据处理系统，以支持企业的战略决策和业务运营。

岗位职责要求

1. 熟练掌握hadoop、spark等大数据处理框架，具备扎实的java、python等编程能力。

2. 精通数据仓库建模和etl（提取、转换、加载）流程。

3. 具备良好的数据库管理知识，包括sql优化和nosql数据库应用。

4. 对大数据分析和挖掘算法有深入理解，如机器学习、深度学习等。

5. 了解云计算平台，如aws、azure或google cloud，能进行大数据解决方案的云端部署。

6. 具备良好的问题解决能力和团队协作精神，能在压力下工作。

7. 对业务需求敏感，能将技术与业务需求有效结合。

岗位职责描述

大数据研发人员的工作涵盖数据采集、存储、处理和分析的全过程。他们构建高效的数据管道，确保数据的准确性和实时性。通过与业务团队紧密合作，他们理解业务需求，利用大数据技术提供洞见，驱动业务创新。此外，他们还需要持续关注技术发展，优化现有系统，以应对不断增长的数据量和复杂性。

有哪些内容

1. 数据架构设计：规划和实现大数据存储架构，确保数据的高可用性和可扩展性。

2. 数据处理开发：编写和优化数据处理代码，实现数据清洗、转换和整合。

3. 数据分析与建模：运用统计学和机器学习方法，建立预测模型，为决策提供依据。

4. 平台运维与监控：维护大数据平台的稳定运行，定期进行性能调优和故障排查。

5. 项目协作：与产品经理、业务分析师等跨部门团队协作，确保项目顺利实施。

6. 技术研究与创新：跟踪最新大数据技术和行业趋势，探索新技术在企业中的应用可能性。

总结，大数据研发岗位在企业中扮演着数据驱动创新的关键角色，不仅需要深厚的技术功底，更需要对业务的深刻理解和持续的技术探索。

大数据研发岗位职责范文

第1篇 大数据研发工程师-抖音/火山职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责抖音/火山等多个业务线的策略算法建设与优化工作；

2、通过海量数据，分析与挖掘各种潜在关联，不断优化策略效果，保障用户体验；

4、负责实时及离线特征抽取、融合，为数据挖掘及策略平台提供特征服务；

5、负责大数据能力在产品功能上的落地，推动产品数据化和智能化。

任职要求：

1、计算机等相关专业，硕士或以上学历，3年以上大数据、人工智能相关经验；

2、熟悉hive/hadoop/spark/flink/clickhouse/druid等大数据开发技术；

3、有良好的业务和产品sense，执行力、推动力强优先；

4、有丰富的行业经验，丰富的专业知识，独特的行业见解，有战略视野和规划能力优先；

5、优秀的理解沟通能力，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值优先。

第2篇 大数据研发工程师-平台服务方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、针对字节跳动全局性数据分析要求，打造行业领先的数据平台，对全球用户数据，打造高效稳定的batch和rt数据流；

2、利用大数据工具，打造计算，传输，分析，监控平台；满足字节跳动全球用户产品的指标计算，多维分析等需求；

3、构建高效稳定的数据服务，支撑字节跳动全球各重要业务的用户增长。

任职要求：

1、计算机、数学相关专业本科及以上学历，一年以上大数据开发工作经验，数据挖掘和bi分析领域优先；

2、熟悉多项大数据领域的开源框架，e.g. hadoop， hive， presto， storm， spark， kafka， hbase， redis， rocksdb， elasticsearch， druid等；

3、强悍的编码和学习能力；善于发现问题，积极探索原因。

第3篇 大数据研发经理岗位职责

大数据研发经理 岗位职责:

1. 负责公司大数据平台的规划与建设。

2.组建大数据领域技术团队,以数据为依据向运营提供决策建议。

3.负责机器学习产品总体架构,攻克技术难关和主导关键技术决策。

4.负责底层系统的设计和搭建工作。

5.指导研发团队成员工作,提升团队研发能力。

任职要求:

1.数学、电子及计算机、金融类专业,硕士以上学历,博士优先;

2.较扎实的机器学习基本功,熟悉经典的算法并有实践经验,包括lr、svm、gbdt、dnn、lstm、nlp等; 对以下至少一个领域有深入研究或者资深的工作经验;

(a)深度学习;

(b)自然语言处理;

(c)搜索/推荐算法;

(d)知识表示及推理、问答系统;

(e)图像识别;

(f)统计机器学习。

3.熟悉tensorflow/caffe等至少一种深度学习框架,有二次开发经验者优先;

4.熟悉python 和java 或c++。

5.学习能力强、善于沟通、对技术创新充满激情 岗位职责:

1. 负责公司大数据平台的规划与建设。

2.组建大数据领域技术团队,以数据为依据向运营提供决策建议。

3.负责机器学习产品总体架构,攻克技术难关和主导关键技术决策。

4.负责底层系统的设计和搭建工作。

5.指导研发团队成员工作,提升团队研发能力。

任职要求:

1.数学、电子及计算机、金融类专业,硕士以上学历,博士优先;

2.较扎实的机器学习基本功,熟悉经典的算法并有实践经验,包括lr、svm、gbdt、dnn、lstm、nlp等; 对以下至少一个领域有深入研究或者资深的工作经验;

(a)深度学习;

(b)自然语言处理;

(c)搜索/推荐算法;

(d)知识表示及推理、问答系统;

(e)图像识别;

(f)统计机器学习。

3.熟悉tensorflow/caffe等至少一种深度学习框架,有二次开发经验者优先;

4.熟悉python 和java 或c++。

5.学习能力强、善于沟通、对技术创新充满激情

第4篇 品牌广告大数据研发工程师-核心广告系统职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责品牌广告业务平台及其相关系统的研发

2、负责现有系统的问题分析和改进，提高系统性能，保证系统稳定性

3、持续改进系统架构、核心算法或者核心技术等，保证系统高性能、高可用性和高可扩展性

4、新技术预研，完成项目的选型和设计，难点公关

任职要求：

1、本科及以上学历，一年以上大数据系统开发经验

2、熟悉python语言， 熟练使用linu_

3、对常用的redis、kafka等工具系统有一定的了解

4、有大数据集、分布式计算工具(hadoop，spark，hive，storm， es)等应用开发经验优先

5、有良好的团队合作精神，较强的沟通能力

6、愿意深入了解业务知识，并能敏锐的发现业务痛点

7、有品牌广告系统、dmp、舆情、指数平台方向开发经验者优先

第5篇 高级实时大数据研发工程师/数据技术专家职位描述与岗位职责任职要求

职位描述：

职责描述：

基于flink开源大数据计算平台，在集团整体业务场景下，

1. 研发实时流计算数据研发平台，支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务；

2. 研发实时olap（elasticsearch，druid）赋能业务

3. 研发实时智能化（算法加工程）赋能业务

任职要求：

1.具备扎实的计算机理论基础， 对数据结构及算法有较强的功底

2.精通java语言编程，具备优秀的系统debug/profiling能力和经验

3. 熟悉常见的面向对象设计模式，具备优秀的系统架构设计能力

4.熟悉hadoop/hbase/flink/spark streaming等开源大数据技术，在开源社区活跃者优先

5.熟悉elasticsearch/druid 等olap开源技术优先

6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力

7. 具备实时流计算数据开发经验、全栈开发经验优先

第6篇 实时大数据研发工程师/数据技术专家（p6-p8）职位描述与岗位职责任职要求

职位描述：

职责描述：

基于flink开源大数据计算平台，在阿里集团整体业务场景下，

1. 研发实时流计算数据研发平台，支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务；

2. 研发实时olap（elasticsearch，druid）赋能业务

3. 研发实时智能化（算法加工程）赋能业务

任职要求：

1.具备扎实的计算机理论基础， 对数据结构及算法有较强的功底

2.精通java语言编程，具备优秀的系统debug/profiling能力和经验

3. 熟悉常见的面向对象设计模式，具备优秀的系统架构设计能力

4.熟悉hadoop/hbase/flink/spark streaming等开源大数据技术，在开源社区活跃者优先

5.熟悉elasticsearch/druid 等olap开源技术优先

6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力

7. 具备实时流计算数据开发经验、全栈开发经验优先

第7篇 大数据研发工程师-广告系统数据平台职位描述与岗位职责任职要求

职位描述：

工作职责：

1、广告各类在线业务的离线数据加工与在线数据服务开发与维护；

2、数据服务接口及产品需求研发迭代，代码review、bug修复及日常服务运维；

3、针对海量数据处理和查询需求，设计适应业务变化的合理的多维数据分析系统架构，满足多样性的需求；

4、海量日志清洗加工，并抽象出可以多业务复用的数据模型。

任职要求：

1、计算机相关专业本科及以上学历，熟悉hadoop架构和工作原理，精通mapreduce编程；精通hive，有hql优化经验；

2、熟悉java，python等多种编程技术，编程能力强，有web服务开发经验，具备独立完成模块开发能力；

3、理解基本的设计模式，能将业务需求快速理解成技术需求；

4、熟练使用mysql，熟练使用elasticsearch、druid者优先；熟悉其原理者优先；

5、善于沟通，工作积极主动，责任心强，具备良好的团队协作能力；

6、具备良好的问题分析与解决能力，有较强学习能力和逻辑思维能力。

额外加分项:：

github等开源社区贡献者；

具备大规模分布式服务设计能力和经验。

第8篇 大数据研发经理职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责大数据团队建设和管理工作；

2、负责公司的大数据平台的建设与开发；

3、参与大数据关键技术方案论证评审和技术投标方案编写；

4、负责产品/项目的需求调研、数据分析及数据挖掘建模等工作;

5、大数据平台的新技术调研，指导和培养工程师。

任职要求：

1、计算机相关专业，5年及以上工作经验，有至少2个以上的大数据项目研发和管理经验；

2、熟练使用hadoop及hadoop生态圈中的常用组件原理及应用，对基于spark、sqoop、hbase、hive、

flume、kafka、storm、mapreduce、hdfs、yarn等组件开发使用有深入理解；

3、熟悉linu_开发环境及java开发，熟悉spring、springmvc、mybatis等常用java框架；

4、对数据结构和算法设计具有深刻的理解，熟悉常用数据挖掘算法，并有一定的算法实现调优经验；

5、具有良好的方案编写能力，良好沟通能力和团队合作精神，工作认真细致，责任心强。

第9篇 广告大数据研发工程师/专家（p6-p8）3职位描述与岗位职责任职要求

职位描述：

职责描述：

社交广告系统数据工程平台研发，偏重系统架构设计与实现，参加以下一到多项工作：

1. 搭建数据仓库，存储并处理海量的实时、批量数据，满足广告业务的定向、分析和模型特征等业务需要

2. 建设数据发布系统，将数据仓库的数据应用到广告在线业务

3. 特征工程工程系统建设，为模型方提供特征数据流和特征离线调研、评估平台，并保证模型训练和预测阶段的特征线上与线下一致性；

4. 用户标识映射、画像数据在线服务的开发与维护；

5. 广告后台海量日志数据和广告主数据处理平台；

6. 报表和广告策略的统计数据生成和存储；

7. 多维透视业务索引和存储；

任职要求：

重点大学本科以上学历，计算机相关专业；

具有扎实的数据结构和算法功底；

熟练使用 java，scala，c/c++， python；

有海量数据处理经验，熟悉 hadoop，spark，hbase，beam等开源框架 ；

有分布式系统，tensorflow等机器学习系统等经验优先 ；

有较强学习能力和逻辑思维能力，具备良好的问题分析与解决能力；

善于沟通，工作积极主动，责任心强，具备良好的团队协作能力

第10篇 高级/资深大数据研发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动用户行为的理解和建模，帮助公司各项业务满足用户需求，提升用户覆盖；

2、负责在数据建设层面，对用户隐私进行脱敏处理，保证后续数据研发过程中保护用户隐私；

3、探索、挖掘公司各项指标、用户满意度、用户增长上的各项规律，并利用这些规律帮助产品提升和扩展，增加用户满意度，扩展用户群体。

任职要求：

1、本科及以上学历，计算机、统计学、数学等相关专业；

2、强的编程和数据工具运用能力，有hadoop，hive，spark，kafka，elasticsearch或者其他的大数据工具的使用经验；

3、对数据仓库、数据建模有一定认知；有过数据使用相关经验。

第11篇 高级大数据研发工程师（数据可视化）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责全公司的数据平台数据可视化研发工作

2.独立完成数据可视化研发工作

任职要求：

1.计算机、电子通信、数学、统计或者相关专业本科及以上学历

2.熟练掌握java/python中的一种语言

3.熟悉数据可视化开发，熟悉echarts应用开发的优先

4.熟悉web开发，熟悉html，js，css

5.熟悉quick bi的优先

6.具备良好的团队合作精神，工作有激情

7.对数据敏感，有产品思维的优先

第12篇 大数据研发负责人职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动旗下在上海多条产品线的数据仓库建设，包括但不限于抖音（海外版），泡芙社区，半次元等；

2、与业务团队紧密合作，深入理解并抽象业务需求，产出数据工具/应用，发挥数据价值。

任职要求：

1、精通数据仓库实施方法论、深入了解数据仓库体系，并支撑过实际的互联网业务场景；

2、具备较强的编码能力，对hadoop生态的大数据基础设施有较强理解，包括但不限于hive/spark/flink/kafka等，有数据工具的研发经验者优先；

3、善于沟通，具备优秀的技术与业务结合能力；

4、有pb级以上海量数据处理经验者优先；

5、有团队管理经验者优先。

第13篇 大数据研发总监职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 负责整个公司数据系统的整体架构设计

2. 负责数据仓库、大数据平台、报表可视化的搭建及研发；

3. 按时完成各个业务和产品部门的数据服务需求，不断优化现有的平台架构；

4. 负责数据团队的职位描述与岗位职责任职要求、组织架构设计、梯队培养和日常管理；

5. 带领团队设计、开发具有创新价值的大数据分析平台；

任职要求：

1. 统招本科以上学历，计算机、通信、数学相关专业，具有8年以上研发工作经验；

2. 有5年以上bi、大数据研发经验，4年以上团队管理经验，有良好的团队管理能力；

3. 有较强的沟通和表达的能力，有较强的同理心，能够合理调度资源及时满足和匹配业务需求；

4. 精通hadoop、spark、hive、hbase等主流的大数据技术；

5. 具有高度责任心，较强的抗压能力，意愿强烈；

6. 有较强的数据挖掘、机器学习经验者优先；

7. 有一线互联网公司或医疗行业经验者优先。

第14篇 大数据研发工程师-产品运营方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责企业级大数据平台的研发，服务于今日头条公司内外的几十条产品线；

2、不局限于按部就班的研发工作，有强烈的产品sense，对用户体验敏感，能够综合运用技术/产品/运营方案，提升终端用户体验；

3、平台产品包括但不限于：用户行为分析，查询中心，bi报表，元数据管理，abtest系统，数据开发套件等；

任职要求：

1、计算机等相关专业优先，本科及以上学历；

2、复合型人才，有研发能力的pm，或有产品运营能力的研发等均可投递；

3、做事积极主动，优秀的组织协调，推进执行能力，思路手段灵活，对用户体验负责；有数据分析，大数据研发，数据产品设计，售前售后等经验之一者，优先考虑；

第15篇 大数据研发经理岗位职责任职要求

大数据研发经理岗位职责

大数据平台研发经理 北京构力科技有限公司 北京构力科技有限公司，构力 1. 负责大数据平台核心模块的概要设计、代码编写、调试验证

2. 负责大数据平台的重构优化，不断提升产品的稳定性和性能

3. 负责大数据平台的关键技术的预研、培训工作

大数据研发经理岗位

第16篇 大数据研发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的通用数据平台，包括实时数据流、数据仓库、调度系统、查询引擎，用户行为分析，abtest 实验系统等，降低数据的使用门槛，实现数据的最大价值

2、打造业界领先的存储、计算等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施

任职要求：

1、熟悉多项大数据领域的开源框架，e.g. hadoop， hive， presto， storm， spark， kafka， hbase， redis， rocksdb， elasticsearch， druid， etc.

2、强悍的编码和 troubleshooting 能力

3、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情

第17篇 空间大数据研发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1、研究空间大数据前沿技术，参与空间大数据分析平台的设计和开发；

2、与算法工程师对接，参与空间大数据分析算法的代码实现；

3、其它相关的gis开发工作；

任职资格:

1、计算机、地理信息等相关专业背景，本科及以上学历；

2、对空间数据结构有深刻理解，熟悉空间数据库引擎；

3、扎实的编程基础，能够熟练运用java/scala语言；

4、熟悉大数据管理系统和分布式计算框架，如：hbase、cassandra、mongodb、spark/flink等；

5、熟悉gis领域主流的分布式数据存储方案，有geomesa、geowave、geotrellis、geoserver、geotools、arcgis soe使用经验者优先；

6、具备较强的学习创新能力，能够通过快速学习解决实际问题；

第18篇 大数据研发专家职位描述与岗位职责任职要求

职位描述：

职责描述：

1、负责全域数据和应用产品的数据体系的建设，通过数据+算法+工程化能力，处理和萃取数据，让其成为应用和产品的能源；

2、参与大数据基础架构和技术体系的规划建设，包括数据采集平台、数据资产管理与治理平台、数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设。

3、 以上工作职责有具体的细分，你可以基于你的兴趣和爱好选择不同的方向发展；

任职要求：

以下能力项不是全部要求，我们有多个细分岗位供您选择

1、有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关开发经验，有spark/flink的开发经验尤佳；

2、较为丰富的数据仓库及数据平台的架构经验，精通数据仓库建模及etl设计开发；有较为系统的海量数据性能处理经验；在大数据资产管理与治理有一定成功产品化经验；

3、具备丰富的大型互联网日志采集系统设计或架构经验，具备较扎实的理论基础和工程能力，熟悉http、http等协议，有ngin_、apache等web服务器上的模块开发或子系统的架构设计能力，有ios或android客户端sdk及服务端架构设计经验；

4、具备一定的java、python语言的开发能力，具备机器学习算法能力尤佳；

5、 良好的思维逻辑性、语言表达能力；有较好英语口语能力，将安排海外岗位；

第19篇 大数据研发岗位职责

大数据研发 职位描述:

1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;

2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;

3、参与用户画像、个性化推荐系统等数据产品的开发工作

4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;

岗位要求:

1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;

2、精通spark sql、spark streaming等编程,具有实际大型分布式集群项目开发经验;

3、熟悉linu_操作系统,熟悉linu_ shell编程;

4、熟悉mysql,redis等常用数据库,jetty等中间件;

5、熟悉分布式存储或nosql数据库技术,如hbase等;

6、熟悉hadoop生态环境,精通以下一种或多种大数据技术,如flume、kafka、hdfs、mr、elastic search;

7、熟悉常用的数据挖掘算法优先。 职位描述:

1、理解数据的产品应用场景逻辑,通过统计方法和通用分布式框架工具语言如hadoop,不断加强数据服务质量;

2、负责数据清洗、转换、建模等工作,对海量用户行为数据通过hadoop/spark等进行离线和实时处理;

3、参与用户画像、个性化推荐系统等数据产品的开发工作

4、参与数据、工具平台相关的功能接口、数据接口开发,完成业务功能;

岗位要求:

1、精通java或scala语言,具有面向对象编程思想,对底层实现有一定研究;

2、精通spark sql、spark streaming等编程,具有实际大型分布式集群项目开发经验;

3、熟悉linu_操作系统,熟悉linu_ shell编程;

4、熟悉mysql,redis等常用数据库,jetty等中间件;

5、熟悉分布式存储或nosql数据库技术,如hbase等;

6、熟悉hadoop生态环境,精通以下一种或多种大数据技术,如flume、kafka、hdfs、mr、elastic search;

7、熟悉常用的数据挖掘算法优先。