数据开发工程师岗位职责16篇

第1篇 数据开发高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责数据收集、清洗和规约等工作；

2、提供面向业务的数据服务，完成数据指标的统计、多维分析和展现；

3、根据业务和产品情况，抽象业务逻辑，搭建和开发大数据平台。

任职要求：

1、统招本科或以上学历；

2、精通sql，有较好的sql性能调优经验，了解hive/mysql的基本原理和调优策略

3、熟悉常用的数据挖掘、分析的工具和方法，熟悉linu_平台，精通shell/python/php等脚本语言的一种或多种，编码基本功扎实 ；

4、精通java开发，熟悉大数据处理相关技术，有hadoop开发经验，掌握mapreduce。

第2篇 大数据开发工程师（p7-p8)3职位描述与岗位职责任职要求

职位描述：

岗位职责：

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发；

参与项目的架构设计、评审、技术攻坚及优化；

参与系统文档的撰写、维护。

任职要求：

本科以上学历，计算机或相关专业；

3年以上linu_后台开发经验，有大规模系统开发经验；

精通http、tcp/ip协议，网络编程；

熟悉linu_操作系统原理，常用工具；

熟悉常用大数据开源组件；

有高并发、大容量后台服务系统设计经验；

具有良好的学习能力、沟通能力、团队合作意识；

强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长；

对hadoop、flink、spark、lucene等开源项目有大规模应用经验，contributor或者committer优先。

第3篇 dmp数据开发工程师-核心广告系统职位描述与岗位职责任职要求

职位描述：

工作职责：

1、支撑dmp人群包计算的业务需求，参与服务端代码开发；

2、支撑dmp标签的技术升级，参与数据产出流程性能优化；

3、支持dmp大规模数据的计算和分析。

任职要求：

1、本科及以上学历，计算机、通信等相关专业，1-2年相关工作经验；

2、有良好的数据结构、算法基础和扎实的编程能力；

3、熟悉python/java/c++/scala其中任意一门或者多门语言;

4、熟悉hadoop/kafka/spark/storm/flink/hive其中的若干技术；

5、具有良好的团队沟通意识和快速学习能力;

6、加分项: 熟悉大数据处理或者dmp业务.

第4篇 高级数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、承担现有数据平台的开发和优化工作

2、根据业务需求进行数据模型的调研、设计、开发及验证工作，并持续进行模型优化

3、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型

4、负责实时计算平台搭建。

职位要求：

1、3-5年以上的相关工作经验

2、熟悉分布式计算平台

3、有日志采集，数据处理，数据仓库建模，etl等经验

4、熟悉java、python、spark开发

5、熟练掌握linu_ shell及sql语言

6、有独立负责数据某一模块的实际项目经验

7、有过用户画像等方面开发经验者优先

8、有实时处理开发经验者优先

第5篇 大数据开发(高级/资深)工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、基于海量数据，支持业务对数据的分析和使用：

2、支持业务处理数据的流式处理、构建数据仓库、分析用户行为等。

任职要求：

1、有扎实的编程能力，有优秀的设计和代码品位，对解决具有挑战性问题充满激情；

2、对大数据处理有丰富的经验和广阔的视野；

3、熟悉常用的开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景；

4、优秀的沟通理解能力，能快速理解业务，用数据解读业务；

5、推荐或机器学习相关的开发工作优先。

第6篇 数据开发工程师-变现业务职位描述与岗位职责任职要求

职位描述：

工作职责：

1、基于海量数据，支持业务对数据的分析和使用；

2、支持业务处理数据的流式处理、分析客户行为等。

任职要求：

1、精通至少一门编程语言，熟练运用各种常用算法和数据结构，有独立的实现能力 ；

2、熟悉常用的开源组件：hadoop/hive/spark/storm，并了解其特性和使用场景优先；

3、熟悉机器学习、数据挖掘、数据分析、分布式计算至少某一方面，有较深的理论研究和实践经验优先；

4、数据分析、推荐、机器学习、数据挖掘相关的开发工作优先。

第7篇 大数据开发工程师（数据分析、信息安全、前端开发、数据对接）职位描述与岗位职责任职要求

职位描述：

数据分析工程师：

岗位职责：

1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等；

2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析；

3、负责分析结果的可视化展现；

4、负责核心算法的设计与优化。

任职要求：

1、全日制本科毕业；

2、计算机或数学或软件类或统计相关专业；

3、熟悉数据挖掘和文本挖掘的理论基础，掌握统计模型、机器学习相关原理；

4、熟悉r/python/java等编程语言，熟悉常用数据结构和算法，熟悉正则表达式的使用。

web前端开发工程师：

岗位职责：

1、负责前端框架设计及组件库开发、前端开发工作统筹；

2、与后端工程师紧密配合，高效率、高质量地完成页面展现研发工作；

3、负责对产品页面性能的优化和维护；

4、负责数据可视化图表显示。

任职要求：

1、本科及以上学历，专业不限。3年以上前端开发经验；

2、精通html5/css3、_html/_ml，熟悉页面架构和布局，对表现与数据分离、web语义化等有深刻理解；

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验；

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师：

岗位职责：

1、 规划车联网安全架构，不断完善车联网产品的安全规范和要求，跟进、解决存在的安全隐患；

2、 对上线前的软件或者车上产品进行安全方面验证及测试；

3、 跟进最新漏洞的研究工作，理解漏洞的原理，编制漏洞研究报告和防范措施；

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求：

1、本科以上学历，信息安全，计算机，通信等相关专业；

2、 拥有网络安全专业技能，熟悉车载网络架构，模块及协议；

3、 熟悉常见网络/车辆安全漏洞，掌握漏洞原理以及解决方案具备独立开展渗透工作的能力；

4、 熟悉常见黑客攻击手法，具备对黑客行为的入侵检测能力；

5、 精通安全测试框架，理解网络，应用，数据等不同层面的安全。

数据对接工程师：

岗位职责：

1、负责内部系统的对接工作；

2、第三方平台的数据对接及程序维护；

3、负责各车型的数据采集要求整理及规划；

4、熟悉数据结构和常用算法，有良好的代码规范，能对接入数据/系统提出优化方案。

任职要求：

1、 本科以上学历，信息化项目，计算机，无线传输等相关专业；

2、拥有信息化相关技能，熟悉系统间的交互对接流程；

3、熟悉数据库的管理及查询、同步工作；

4、熟悉信息对接的方式，能用api、视图等进行对接工作。

第8篇 高级/资深数据开发工程师-网易考拉250职位描述与岗位职责任职要求

职位描述：

工作职责：

1、利用海量业务数据，设计数据模型，搭建数据仓库；

2、负责解决并实现大数据计算分析需求（离线+实时）；

3、负责数据底层引擎olap产品的设计开发工作。

任职要求：

1、本科及以上学历，具有较强的编程能力（java/python/sql）；

2、具有数据仓库、海量数据计算，实时流式计算等相关项目经验；

3、掌握hadoop、hive、spark，storm，flink等大数据相关技术者；

4、优秀的数据分析和解决问题能力，能够把理论成功应用于实践；

5、对数据技术有极强的兴趣和热情。

第9篇 大数据开发工程师/专家（p6-p8）3职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责时空位置大数据对外接口后台和服务框架的开发和运营；

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设；

任职要求：

1.重点大学本科以上学历，计算机及相关专业；

2.3年以上相关工作经验，精通算法与数据结构，精通c/c++编程语言；

3.精通linu_、uni_编程环境，熟悉数据库；

4.精通网络编程，有分布式系统开发经验，有大平台开发经验优先；

5.熟悉gis和时空大数据处理和管理，有相关工作经验者优先，

6.具备优秀的独立解决问题能力， 善于团队合作，沟通良好，有一定的抗压能力；

第10篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2. 根据业务用户需要分析数据，提供数据支持

3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验

2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第11篇 数据开发工程师/python/c++（p6-p7）3职位描述与岗位职责任职要求

职位描述：

职责描述：

'负责内部数据分析平台建设；

开发数据分析算法，提升计算效率和准确率；

对平台进行运营，满足用户需求。'

任职要求：

'计算机相关专业本科及以上学历，3年以上工作经验；

精通python， c/c++开发，熟悉的常见的设计模式；

精通spark，hadoop，es 等大数据平台的原理，做过大数据分析平台项目，对性能调优有经验；

熟悉mysql，postgresql，mogodb，redis等数据管理系统；

拥有良好的发现、分析与解决问题的能力，责任感强、具有团队精神与服务意识；

具有良好的学习能力，对互联网的新技术有很强求知欲望。'

第12篇 后端数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 配合产品经理，参与数据平台发展各阶段产品需求分析和功能设计；

2. 基于确定的产品功能需求，参与平台后端系统架构设计、接口定义实现及测试、构建部署和运维等各阶段工作；

3. 根据产品或技术实现发展需要，按需进行一些新技术的研究，并评估将其引入现有平台实现的可行性。

任职要求：

1. 本科及以上学历，至少3年及以上的实际开发经验；

2. 熟练掌握c/c++/python/java/go/javascript其中至少2种及以上程序设计语言，并且自认为具有良好的编程素养；

3. 熟练掌握常用的数据结构及算法；

4. 熟悉linu_系统开发，熟悉网络编程、文件系统，有分布式系统开发经验；

5. 应具有熟练的技术领域相关的英文文献阅读能力；

6. 有良好的沟通能力和团队合作能力，能够自主驱动，具备良好的问题定位分析能力。

优先考虑：

1. 熟悉containerization和virtual machine平台和相关技术，熟悉docker、kubernetes和kvm等，并具有相关的实际运用经验；

2. 熟悉当前主流的云计算平台，如应熟悉aws、azure和阿里云其中至少一种平台的iaas，并具有相关的项目经验；

3. 有开源项目实际参与经验。

第13篇 数据开发工程师岗位职责

数据库开发工程师 融智投资 深圳市排排网投资管理股份有限公司,排排网,私募排排网,融智投资,排排网 岗位职责:

1.负责数据库建模及开发;

2.负责维护现有公司主站、数据中心数据库;

3.负责现有数据库性能及架构的优化;

4.负责解决日常出现的存储过程错误及数据错误,并给出解决方案;

5.负责数据库运维工作(同步、建库);

6.负责数据库技术架构;

岗位要求:

1. 拥有5年以上mysql(或oracle)数据库管理、开发、设计及系统支持经验;

2. 精通sql语法,有能力编写较复杂t-sql脚本;

3. 精通mysql的主从复制,了解至少一种ha方案;

4. 熟悉linu_系统的操作和基本排障方法;

5. 工作踏实,认真仔细,善于总结,责任心强 ;

6. 有etl工具开发经验者优先考虑;

第14篇 大数据开发工程师（渠道团队）职位描述与岗位职责任职要求

职位描述：

职责描述：

1.参与产品和项目研发工作，基于spark完成产品大数据架构和功能开发；

2.搭建和调优大数据基础平台，包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建；

3.维护线上系统的稳定性、可靠性，通过分析现象快速定位问题，进而提出优化方案，改进要求；

任职要求：

1.计算机相关专业本科及以上学历，5年以上大数据工作经验，有扎实的计算机理论基础；

2.熟练使用mapreduce、spark提供的api编程，具备海量数据加工处理（etl）相关经验；

3.熟练使用大数据的工具平台，熟悉hadoop生态环境，对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解；

4.掌握数据分析的基本流程，具备数据采集、清洗、分析等环节的实战经验；可以进行数据产品etl需求的调研及开发；

5.熟悉etl任务调度及管理；

6.熟悉shell命令，进行简单的shell编程；熟悉linu_文本处理命令，vi、awk、sed等命令

7.熟练使用hadoop或其他分布式平台的一种，能使用java、python或其他语言编写mapreduce进行大数据处理优先；

8.有大型金融项目经验者优先。'

第15篇 bi数据开发工程师岗位职责

大数据bi开发工程师 【岗位职责】:

1、负责业务相关指标的梳理和计算;

2、负责数据仓库模型设计和开发;

3、负责数据仓库 etl 开发;

4、上级交办的其他任务.

【任职要求】:

1、本科及以上学历,计算机相关专业;

2、3 年以上数据仓库开发经验;

3、熟悉数据仓库理论,能够根据业务需求进行数据仓库设计开发;

4、熟悉 sql 开发并能够进行优化;

5、熟练掌握 hive 开发,熟悉 hadoop 生态相关工具者优先;

6、熟悉 shell,python 者优先考虑;

6、喜欢钻研,善于沟通,有团队合作精神。 【岗位职责】:

1、负责业务相关指标的梳理和计算;

2、负责数据仓库模型设计和开发;

3、负责数据仓库 etl 开发;

4、上级交办的其他任务.

【任职要求】:

1、本科及以上学历,计算机相关专业;

2、3 年以上数据仓库开发经验;

3、熟悉数据仓库理论,能够根据业务需求进行数据仓库设计开发;

4、熟悉 sql 开发并能够进行优化;

5、熟练掌握 hive 开发,熟悉 hadoop 生态相关工具者优先;

6、熟悉 shell,python 者优先考虑;

6、喜欢钻研,善于沟通,有团队合作精神。

第16篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述：

工作职责:

1、 根据公司数据分析需求进行基于hadoop 平台的项目开发；

2、 根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理， 监控等；

3、 负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

4、 负责设计并优化基于hive 的数据仓库的建设；

5、 制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案，并落地。

任职资格:

1．从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验 ，具备海量数据加工处理相关经验；

2. 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

3．有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

4. 熟练掌握kettlesqoop、data_、airflow等;

5. 有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

6. 熟悉分布式计算presto/imapa优先;

7．有实时计算方面的经验的优先。