大数据开发工程师任职要求15篇

第1篇 大数据开发工程师（p7-p8)3职位描述与岗位职责任职要求

职位描述：

岗位职责：

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发；

参与项目的架构设计、评审、技术攻坚及优化；

参与系统文档的撰写、维护。

任职要求：

本科以上学历，计算机或相关专业；

3年以上linu_后台开发经验，有大规模系统开发经验；

精通http、tcp/ip协议，网络编程；

熟悉linu_操作系统原理，常用工具；

熟悉常用大数据开源组件；

有高并发、大容量后台服务系统设计经验；

具有良好的学习能力、沟通能力、团队合作意识；

强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长；

对hadoop、flink、spark、lucene等开源项目有大规模应用经验，contributor或者committer优先。

第2篇 大数据开发工程师（数据分析、信息安全、前端开发、数据对接）职位描述与岗位职责任职要求

职位描述：

数据分析工程师：

岗位职责：

1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等；

2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析；

3、负责分析结果的可视化展现；

4、负责核心算法的设计与优化。

任职要求：

1、全日制本科毕业；

2、计算机或数学或软件类或统计相关专业；

3、熟悉数据挖掘和文本挖掘的理论基础，掌握统计模型、机器学习相关原理；

4、熟悉r/python/java等编程语言，熟悉常用数据结构和算法，熟悉正则表达式的使用。

web前端开发工程师：

岗位职责：

1、负责前端框架设计及组件库开发、前端开发工作统筹；

2、与后端工程师紧密配合，高效率、高质量地完成页面展现研发工作；

3、负责对产品页面性能的优化和维护；

4、负责数据可视化图表显示。

任职要求：

1、本科及以上学历，专业不限。3年以上前端开发经验；

2、精通html5/css3、_html/_ml，熟悉页面架构和布局，对表现与数据分离、web语义化等有深刻理解；

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验；

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师：

岗位职责：

1、 规划车联网安全架构，不断完善车联网产品的安全规范和要求，跟进、解决存在的安全隐患；

2、 对上线前的软件或者车上产品进行安全方面验证及测试；

3、 跟进最新漏洞的研究工作，理解漏洞的原理，编制漏洞研究报告和防范措施；

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求：

1、本科以上学历，信息安全，计算机，通信等相关专业；

2、 拥有网络安全专业技能，熟悉车载网络架构，模块及协议；

3、 熟悉常见网络/车辆安全漏洞，掌握漏洞原理以及解决方案具备独立开展渗透工作的能力；

4、 熟悉常见黑客攻击手法，具备对黑客行为的入侵检测能力；

5、 精通安全测试框架，理解网络，应用，数据等不同层面的安全。

数据对接工程师：

岗位职责：

1、负责内部系统的对接工作；

2、第三方平台的数据对接及程序维护；

3、负责各车型的数据采集要求整理及规划；

4、熟悉数据结构和常用算法，有良好的代码规范，能对接入数据/系统提出优化方案。

任职要求：

1、 本科以上学历，信息化项目，计算机，无线传输等相关专业；

2、拥有信息化相关技能，熟悉系统间的交互对接流程；

3、熟悉数据库的管理及查询、同步工作；

4、熟悉信息对接的方式，能用api、视图等进行对接工作。

第3篇 大数据开发工程师（驻场开发）职位描述与岗位职责任职要求

职位描述：

岗位职责：

（1）根据业务进行数据需求的调研、设计、开发及验证工作，并持续进行数据业务的优化；

（2）负责大数据整体设计和开发工作，包括数据接入、清洗、计算、校验等数据加工流程，并沉淀文档；

（3）持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。

（4）此岗位需驻场开发半年左右（地点：新疆）

任职资格：

（1）统招本科或以上学历，计算机、数学等相关专业，工作至少3年以上；

（2）熟悉java/scala开发，有脚本语言（shell，python)开发经验者优先；

（3）至少熟悉一种大数据处理栈技术，如hadoop、spark; 熟悉流计算应用开发，如spark streaming， flink;熟练掌握大数据生态各个工具的原理及使用，如hive， sqoop， kafka等

（4）掌握hbase、redis、elastic search等开源大数据存储技术，并能结合不同的业务场景深入使用；

（5）熟悉storm，spark streaming，flink，beam至少一种

（6）熟悉kafka，redis，es等相关组件

（7）对解决具有挑战性的数据问题充满激情，具有良好的分析问题和解决问题的能力，能够胜任部分数据分析，挖掘，建模工作。

第4篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职位描述：

1. 基于hadoop生态系统进行大数据平台建设；

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop，hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求：

1.统招本科或以上学历，6年以上大数据开发工作经验；

2.熟练掌握shell、python开发语言；

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相关的调优、运维、开发经验；

4.熟练掌握mysql数据库集群；

5. 精通主流etl开发工具，如：informatica、data services、kettle;精通主流调度工具，如：azkaban， oozie；

6.有数据仓库、分析系统、用户画像等产品开发经验者优先；

7.有较强的数据和业务结合能力；

8.有医疗或者大健康背景优先；

9.有较强的独立、主动的学习能力，良好的沟通表达能力。

第5篇 java大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 精通java开发、熟悉restful和maven，精通主流java web开发框架spring、spring boot、spring data jpa、logback、mybatis；

2.熟悉对常用关系型数据库和hdfs、hive，kafka、storm等读写操作，性能优化;

3. 具备系统架构设计能力，具备较强的java程序调优能力及数据库设计和sql调优能力，具备良好的沟通能力；

4. 熟悉多线程编程、熟悉junit单元测试；

第6篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2. 根据业务用户需要分析数据，提供数据支持

3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验

2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第7篇 大数据开发工程师（渠道团队）职位描述与岗位职责任职要求

职位描述：

职责描述：

1.参与产品和项目研发工作，基于spark完成产品大数据架构和功能开发；

2.搭建和调优大数据基础平台，包括hadoop/hbase/hive/sqoop/kafka/flume/spark/storm等大数据组件的环境搭建；

3.维护线上系统的稳定性、可靠性，通过分析现象快速定位问题，进而提出优化方案，改进要求；

任职要求：

1.计算机相关专业本科及以上学历，5年以上大数据工作经验，有扎实的计算机理论基础；

2.熟练使用mapreduce、spark提供的api编程，具备海量数据加工处理（etl）相关经验；

3.熟练使用大数据的工具平台，熟悉hadoop生态环境，对hadoop、spark、storm、hbase、hive等至少一个项目有着深入了解；

4.掌握数据分析的基本流程，具备数据采集、清洗、分析等环节的实战经验；可以进行数据产品etl需求的调研及开发；

5.熟悉etl任务调度及管理；

6.熟悉shell命令，进行简单的shell编程；熟悉linu_文本处理命令，vi、awk、sed等命令

7.熟练使用hadoop或其他分布式平台的一种，能使用java、python或其他语言编写mapreduce进行大数据处理优先；

8.有大型金融项目经验者优先。'

第8篇 大数据开发工程师（面向2020年毕业生）职位描述与岗位职责任职要求

职位描述：

此岗位面向2020年毕业生，坐标深圳南山科技园，实习期薪资为3.5-4.5k；要求在公司全职实习半年以上，实习满3个月且评审通过后可签订三方协议，实习满6个月且评审通过后签订劳动合同，无试用期。

岗位职责：

1、从事大数据分布式存储/应用服务的设计和开发，挑战大规模、高并发、易运维的分布式系统设计构建；

2、参与负责大数据运营/风控/分析等数据应用产品开发迭代，包括需求讨论需求/系统/算法的讨论、设计及实现；

3、定位和解决集群组件如spark、hive、hbase、kafka的性能和高可用问题，协助集群监控系统的开发。

任职要求：

1、2020年统招本科及以上学历，计科类相关专业；

2、良好的计算机基础；了解面向对象和设计模式，了解 spring ， mybatis 等常用框架，数据库基础扎实；

3、对技术有强烈的兴趣，喜欢钻研，具有良好的学习能力、沟通和团队合作能力。

加分项：

1、熟悉python、ruby等语言；

2、熟练掌握常见linu_ shell命令；

3、喜欢在mac/linu_下进行开发；

4、有代码洁癖，看到代码中的坏味道有浑身不自在的感觉；

5、自我驱动、喜欢coding。

第9篇 大数据开发工程师/专家（p6-p8）3职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责时空位置大数据对外接口后台和服务框架的开发和运营；

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设；

任职要求：

1.重点大学本科以上学历，计算机及相关专业；

2.3年以上相关工作经验，精通算法与数据结构，精通c/c++编程语言；

3.精通linu_、uni_编程环境，熟悉数据库；

4.精通网络编程，有分布式系统开发经验，有大平台开发经验优先；

5.熟悉gis和时空大数据处理和管理，有相关工作经验者优先，

6.具备优秀的独立解决问题能力， 善于团队合作，沟通良好，有一定的抗压能力；

第10篇 阿里健康-合资公司-大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责公司数据平台项目的etl设计、实现以及优化。

2、负责etl流程优化，关键问题解决；

3、研究医院信息化数据，负责数据建模、数据存储设计；

4、使用etl技术对医院信息系统数据进行提取、清洗、转换和整合；

5、负责基于hadoop/spark生态的大数据离线/实时处理平台开发;

6、负责基于阿里云的ma_compute的大数据离线处理平台开发;

7、负责数据源调研、入库、开发的全流程工作，并保证数据质量；

岗位要求：

1、有2年以上医疗行业数据建模经验；了解数据建模方法论，并且在项目中实践甚至优化扩展；有大型项目建模经验优先；对数据模型有独到理解；

2、熟悉大数据平台，了解hadoop、hive、hbase，有大型数据中心运维经验或实施经验者优先；

3、2年以上医院业务信息化实施开发经历优先 ；有his、emr开发经验优先；

4、有数据仓库etl经验，对调度、元数据、数据质量等有一定理解；

5、有良好的逻辑思维能力，主动思考，善于学习，与团队沟通无障碍；

6、熟悉java，python，shell，scala等任一种开发语言;

7、拥有良好的沟通、表达能力，工作认真负责，学习能力强，执行力强，乐于接受挑战并具备较好的承压能力；

第11篇 大数据开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责:

1、根据业务需求进行数据模型的调研、设计、开发及验证工作，并持续进行模型的优化；

2、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型；

3、持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。

任职资格:

1、统招本科或以上学历，计算机、数据挖掘等相关专业，工作至少3年以上；

2、熟悉java开发，有脚本语言（shell，python)开发经验者优先；

3、至少熟悉一种大数据处理技术，如hadoop、spark；

4、掌握hbase、redis、elastic search等开源大数据存储技术，并能结合不同的业务场景深入使用；

5、精通sql，精通mysql、oracle、sql server等一种大型数据库，以及数据库的维护和优化。

6、熟悉常用java web开发框架，如：spring、mybatis等；

7、熟悉多线程编程，并对java自带线程池有一定研究；

8、对解决具有挑战性的问题充满激情，具有良好的分析问题和解决问题的能力。

第12篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与数据需求的沟通和模型设计；

2、负责大数据平台的数据需求开发，包括实时和批量处理；

3、负责不同数据源的接入解析落地的设计开发工作；

4、负责数据质量监控，解决数据运行和质量问题。

任职要求：

1、计算机本科以上学历，至少有3年数据开发经验；

2、精通java/scala/python，至少有3年以上开发使用经验；

3、熟悉spark，hive，flink，jstorm等大数据实时计算技术；

4、掌握hive sql，sparksql，es query dsl 等查询语言；拥有sql性能调优经验；

5、具有较强的业务理解能力，较强的责任心、团队合作能力和沟通能力；

6、有过图数据库开发或spark mllib开发经验者优先考虑。

第13篇 大数据开发工程师 [数仓方向]职位描述与岗位职责任职要求

职位描述：

工作职责：

1、使用etl工具（如sqoop、kettle）进行数据加工、清洗等流程；

2、根据业务需求，进行数仓日常数据分析、数据报表开发；

3、使用hive进行数据处理，及数据模型构建；

4、具备良好的分析问题和解决问题的能力；

5、具备较强的沟通能力和逻辑表达能力，具备良好的团队合作精神和主动沟通意识；

任职要求：

1、计算机相关专业本科及以上学历；

2、熟练使用sql（mysql / oracle）；

3、熟练数据库/数据仓库分层设计、宽表设计、星型模型设计等；

4、熟练etl工具、sqoop、kettle、spark等；

5、熟悉hadoop、hive、hdfs等常用大数据组件；

6、有互联网业务分布式数据仓库、cube、大数据数据分析等相关经验者加分；

第14篇 大数据开发工程师（数仓方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 理解业务需求，负责数据仓库建设、etl流程的开发和优化工作；

2. 解决业务数据分析、数据报表、数据异常相关的技术问题；

3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析；

任职资格：

1. 计算机相关专业本科及以上学历；

2. 精通java编程语言，并熟悉scala、python、shell等一门以上脚本语言；

3. 熟悉hadoop大数据平台架构，熟悉spark/spark sql/yarn开发调优技术，具有相关项目经验

4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论，熟悉oracle/mysql数据库；

5. 思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力；

6. 具有高度的责任感，工作认真、踏实。

福利待遇：

1、薪酬：有竞争力的薪酬体系，我们不止跟你谈理想，钱也必须谈一谈~

2、交通：无论天涯，免费班车直达公司，蓦然回首，地铁就在公司不远处。。。

3、工作时间：5天7小时工作制，充足的休息让你一整天元气满满！

4、各种福利：五险一金小case，节日礼物福利补贴说不完！

5、团建活动：下午茶，团队活动，部门聚餐，经费充足不差钱，大公司就是这么壕！

6、发展平台：想要升职加薪走向人生巅峰？上市公司晋升发展机会多多~

第15篇 大数据开发工程师-spark职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 参与公司大数据产品规划，大数据处理分析平台的设计;

2. 负责数据分析、加工、清理、处理程序的开发;

3. 负责数据相关平台的搭建、维护和优化。

4. 负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发；

职位要求：

1. 熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;

2. 熟练使用hadoop、hbase、kafka、hive、spark、presto，熟悉底层框架和实现原理；

3. 使用spark streaming和spark sql进行数据处理， 并具有spark sql优化经验;

4. 熟悉mysql数据库性能优化方法， 了解常见no-sql数据库;

5. 有大规模hbase集群运维经验或对hbase存储原理熟悉者优先；

6. 有数据挖掘、数据分析、机器学习研发实践经验者优先。

有机会接触千亿级海量数据的离线和实时的数据处理，涉及java，spark，hive，spark streaming，hbase，elasticsearch，flink等大数据的前沿技术和多云的统一架构。