大数据工程岗位职责16篇

第1篇 大数据平台高级开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、配合架构师及测试按时完成开发，保证产品正常发布与迭代

任职要求：

1、本科以上学历，计算机相关专业

2、2年以上大数据平台开发经验

3、精通java，熟悉linu_系统，深入理解并使用主流技术框架，如springboot、mybatis、mq、redis、zk、spring cloud等技术栈，具备丰富的分布式系统的研发经验

4、熟悉hadoop生态圈其他系统，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟练掌握各类数据结构与算法，具有较强的编码能力

6、具有良好的团队合作精神和表达沟通能力

7、有数据中台，数据服务平台开发经验，熟悉hadoop生态圈组件者优先

第2篇 大数据平台工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；6、参与公司数据治理策略等的制订和实施；7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

任职要求：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队； 2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式; 7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第3篇 大数据开发工程师/专家（p6-p8）3职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责时空位置大数据对外接口后台和服务框架的开发和运营；

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设；

任职要求：

1.重点大学本科以上学历，计算机及相关专业；

2.3年以上相关工作经验，精通算法与数据结构，精通c/c++编程语言；

3.精通linu_、uni_编程环境，熟悉数据库；

4.精通网络编程，有分布式系统开发经验，有大平台开发经验优先；

5.熟悉gis和时空大数据处理和管理，有相关工作经验者优先，

6.具备优秀的独立解决问题能力， 善于团队合作，沟通良好，有一定的抗压能力；

第4篇 大数据主任工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 负责客户业务需求、数据分析需求的调研、收集与分析;

2. 负责 kyligence enterprise 大数据平台整体架构和数据架构设计;

3. 负责技术设计及技术实现规范编制，指导开发团队进行项目设计、项目实现及技术汇报;

4. 负责项目重难点模块的功能设计和难点攻坚;

5. 参与 kyligence enterprise/apache kylin 的应用设计、开发、测试及优化工作。

任职要求：

1. 计算机相关专业，本科及以上学历;

2. 有 3 年以上工作经验，其中包括2年以上大数据平台架构和系统设计经验;

3. 精通 hadoop、hive、hbase原理，熟悉大数据生态技术，如storm、spark、flink、kafka、zookeeper等，有大规模集群架构、开发及运维经验，能根据业务场景设计合适的技术栈完成业务需求

4. 熟练sql 语言，掌握 oracle、db2、mysql 等一种或多种数据库系统的使用，有一定的 sql 性能调优经验;

5. 至少熟悉 java，scala，python，shell等编程语言中的2种;

6. 优秀的分析和解决问题的能力，对挑战性问题充满激情;

7. 具备良好的团队合作精神，较强的沟通能力，具备良好的技术领导能力;

8. 有数据仓库背景或者 apache kylin 的开发经验者优先考虑;

第5篇 系统运维工程师（大数据方向）职位描述与岗位职责任职要求

职位描述：

1、负责公园业务系统的部署和日常更新，日常监控和维护；

2、熟悉各办公系统（如oa、劳动力系统）维护等常规工作；

3、负责oa系统表单及相关流程的建立及维护，有泛微系统的应用开发、维护优先考虑接；

4、负责软件系统升级、维护和优化，及时发现潜在问题，保障系统正常运行；

5、协助制定和改进部署、维护流程，提高服务运行质量；；

6、制定数据库操作规范和数据保密制度，并对数据库操作进行严格记录。

任职资格：

1.计算机相关专业本科或以上学历，2年以上工作经验；

2.在大型企业有1年以上中型数据库管理和维护工作经验，熟悉泛微或劳动力产品的优先；

3.拥有大型主题乐园工作经验者优先，熟悉票务系统、商餐系统、停车场、酒店等系统优先考虑；；

4.熟悉mysql、oracle数据库，掌握sql语句，了解oracle的安装与维护；

5.掌握tomcat、dubbo、redis、ngin_、mq等中间件及相关配置；

6.具有优秀的团队合作和沟通协作能力、有责任心；

第6篇 高级java开发工程师（大数据方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责智能推荐系统后端开发；

2、负责详细设计、编码工作，确保项目进度、质量；

3、参与产品需求的沟通、讨论；

4、应对高并发、高可靠性等带来的各种技术挑战；

岗位要求：

1、5年服务端开发经验，本科及以上学历；

2、扎实的java基础，熟悉jvm、java io，掌握并发编程、网络编程及常用数据结构；

3、深入了解spring、hibernate、tomcat等开源架构，并对其运行原理有较好的理解；

4、熟悉面向对象开发，具备领域模型抽象能力，熟悉常用设计模式；

5、熟悉分布式、缓存、消息等机制；有高并发，高性能系统经验，熟悉微服务架构设计；

6、熟练掌握mysql等关系型数据库，掌握mongodb、hbase等nosql数据库，并有性能调优经验；

7、熟悉hadoop、hive、hbase、storm、kafka等大数据处理技术；

8、有强烈技术热情和钻研精神，注重代码质量，有良好的软件工程知识和编码规范意识；

9、具备较强的责任心，具备良好的沟通能力、团队协作和抗压能力，做事精益求精；

第7篇 增长大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

负责用户增长方向的离线和实时数据仓库体系建设工作，提升数据分析工作的效率；

结合内外部数据，构建完整的用户生命周期行为数据体系；

构建的支持用户增长的数据分析产品，支持快速的深度分析海量ab测试实验结果；

深度分析用户行为、行业情况和ab测试数据，利用数据挖掘算法对多维数据进行关联分析。

任职要求：

本科及以上学历，计算机、统计、数学、通信等理工类相关专业；

熟悉数据仓库理论和技术体系，熟练掌握sql/hive/mapreduce/spark/flink等大规模数据处理技术；

至少精通（python/java/scala/c++/r）一门编程语言，熟练运用各种常用算法和数据结构 ；

有分布式计算、分布式存储、数据挖掘经验者优先，有开发设计用户画像方面经验者优先；

熟悉实时计算框架和相关处理技术者优先；

熟悉growth hacking，或对此方向有兴趣者优先。

第8篇 大数据可视化工程师岗位职责

大数据可视化工程师 万得 万得信息技术股份有限公司,wind资讯,万得,万得资讯,上海万得,万得 工作职责:

1、和大数据工程师、数据科学家共同工作,探索可视化在金融业务场景的技术方案和产品应用;

2、开发展示为主的数据大屏和业务分析为主的数据产品以及在移动端数据可视化项目;

3、负责数据产品/可视化大屏的前端架构和应用后台及通用组件的开发

任职要求:

1、本科及以上学历,功底扎实,视野开阔,对新技术具有敏感和热情;

2、工程能力强,熟悉a_ure rp等设计工具,有较复杂的 webapp 类型产品前端开发经验;

3、熟悉数据可视化开源方案,有数据分析场景/数据可视化经验者(echarts/highcharts/d3)优先;

4、技术跟随前沿,熟悉servlet,html5,javascript,json,了解node/angularjs/react;

5、熟悉web后台性能优化和前端展示技术;

5、熟悉1-2种分析型数据库(如db/hive/neo4j)者优先;

6、性格要求:性格开朗,勇于挑战;良好的人际关系,对技术追求工匠精神。

第9篇 大数据建模工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1. 运用python、r、sql等工具，根据监管部门与金融机构需求进行大数据模型设计与开发；

2. 基于模型部署、测试、实施及模型应用效果监控工作，进行模型调优与维护；

3. 撰写大数据建模项目可行性方案、建模分析报告；

4. 根据实际的建模业务，负责提出并反馈流程、策略、人员等问题。

任职要求：

1、应用数学、统计、机器学习、计算机及相关专业，国内外知名院校硕士以上学历需3-5年工作经验，博士及以上学历需1年工作经验；

2、具有数学建模或大数据建模实际项目经验，熟悉数学建模与优化算法设计，掌握逻辑回归、决策树、神经网络等机器学习算法；

3、熟练运用python、r、matlab等常用数学建模与分析工具；

4、熟悉数据库结构，熟练运用sql等数据库语言，熟悉数据清洗、预处理与特征工程，熟悉

hadoop生态、spark结构，c#语言；

5、具有扎实的统计分析功底，快速精准的分析能力，能够处理大量数据进行建模；

6、具有良好的业务问题分析，模型抽象能力和创新能力；

7、敬业、诚信，良好的职业素养。

第10篇 大数据架构高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的存储、计算、调度、监控等基础设施；

2、参与存储、计算、devinfra、监控当中的一个或多个方向。

任职要求：

1、掌握分布式系统原理，对存储、计算、调度、监控、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对 hdfs， rocksdb， ceph， hbase， kafka 的一项或多项有经验者优先；

4、计算方向：对 yarn， spark， flink， hive 的一项或多项有经验者优先；

5、devinfra方向：对 docker， mesos， kubernetes 的一项或多项有经验者优先；

6、监控方向：对 opentsdb， influ_db， prometheus， falcon 的一项或多项有经验者优先。

第11篇 大数据开发工程师 [数仓方向]职位描述与岗位职责任职要求

职位描述：

工作职责：

1、使用etl工具（如sqoop、kettle）进行数据加工、清洗等流程；

2、根据业务需求，进行数仓日常数据分析、数据报表开发；

3、使用hive进行数据处理，及数据模型构建；

4、具备良好的分析问题和解决问题的能力；

5、具备较强的沟通能力和逻辑表达能力，具备良好的团队合作精神和主动沟通意识；

任职要求：

1、计算机相关专业本科及以上学历；

2、熟练使用sql（mysql / oracle）；

3、熟练数据库/数据仓库分层设计、宽表设计、星型模型设计等；

4、熟练etl工具、sqoop、kettle、spark等；

5、熟悉hadoop、hive、hdfs等常用大数据组件；

6、有互联网业务分布式数据仓库、cube、大数据数据分析等相关经验者加分；

第12篇 大数据基础架构工程师（hadoop）职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的大数据基础设施，包括数据接入，同步，存储、计算，查询等环节的分布式系统，为海量数据和大规模业务系统提供可靠的基础设施；

2、与开源社区保持交流，发现对业务场景有帮助的特性并引入生产环境，或将经内部验证的特性贡献到社区；

3、承担千台规模集群的管理工作，与业务一起解决性能优化、容量规划、预算审计等问题，保障集群高效稳定经济运行；

任职资格：

1、计算机基础扎实，熟悉常用数据结构和算法，具备较强的逻辑思维能力和编码能力；

2、掌握分布式系统原理，对存储、计算、消息队列、资源管理，数据同步等中的一项或多项有深入的理解和认识；

3、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

4，熟悉hadoop， hbase， zookeeper，flume，k8s等基础服务中的一项或多项；

5、有kafka或者同类型技术设计开发及集群管理经验者优先。

第13篇 大数据工程师-流式计算职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作；

2.负责根据需求建立数据模型、进行全网数据在线抽取分析；

3.负责算法的工程化、产品化工作；关注机器学习、数据挖掘、人工智能等方向前沿研究，并能将具体场景建模后与之结合快速工程化并落地；

4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定，并保证数据质量；

5.负责大数据计算平台的研发工作。

任职要求：

1.计算机、信息系统、数学或相近专业本科以上学历，4年以上软件研发经验；

2.精通spark／hadoop/hive/hbase/并有实战经验；

3.有scala， java， python等开发经验，精通sql；

4.有海量在线、离线数据分析系统设计和开发经验；

5.精通主流数据挖掘算法及其原理，能根据业务场景，建立挖掘模型，选择最合适和高效的算法并实现；

6.需要有责任心， 工作积极主动， 思路清晰，擅长沟通、有团队合作精神。

第14篇 大数据etl工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

负责etl设计、模型设计、开发、技术支持等工作，并保证数据安全、及时、稳定、可恢复

任职要求：

1、3年及以上数据处理（etl）开发经验，能独立完成数据处理开发工作

2、熟悉mysql/oracle等标准数据库，熟练上述数据库的开发

3、有hadoop和hivesql的使用经验

4、熟悉etl设计，熟悉数据仓库的架构、开发规范和流程

5、熟悉至少一种etl开发工具，如datastage，informatica， kettle等

6、具备数据仓库实施经验者优先

福利待遇：

试用期全额工资、六险一金、体检、年假、节假日礼品等

第15篇 大数据云计算工程师岗位职责

高级java开发工程师(云计算大数据方向) 中软国际科技 中软国际科技服务有限公司,中软国际,中软国际科技,中软国际科技服务,中软 职责描述:

1、负责/参与应用系统平台设计、重构、优化,主导/参与技术难题攻关;

2、负责并参与系统需求分析、功能模块详细设计,完成系统业务功能实现、测试及维护工作;

3、负责编写相应的需求、设计与技术文档,向系统使用者提供技术支持服务;

4、参与线上系统环境的升级、运维监控、性能调优;

5、推动跟进业务线需求,为改善系统的功能积极提出建议。

任职要求:

1、3以上java语言开发经验,基础扎实, 熟练使用springmvc框架进行开发;

2、对多线程编程,线程安全等有较深理解. 能够熟练使用线程池等常用功能;

3、熟练使用jpa,hibernate,mybatis中的一种或多种持久层框架;

4、熟练使用sql的crud命令;

5、具有库表结构设计能力, 并且有一定的sql开发及优化能力。

第16篇 资深大数据工程师职位描述与岗位职责任职要求

职位描述：

【岗位职责】：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；

2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；

3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；

4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；

5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；

6、参与公司数据治理策略等的制订和实施；

7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

【任职资格】：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队；

2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；

3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；

5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；

6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式

7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。

8、有民航、电子商务、风控等大数据设计和从业经验者优先。