大数据开发工程师岗位要求15篇

第1篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2. 根据业务用户需要分析数据，提供数据支持

3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验

2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第2篇 大数据开发工程师岗位职责职位要求

职责描述：

岗位职责：

1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求，如风险评估、成长评价等，包括对模型进行设计、开发、验证、测试、部署及监控、优化。。

2、基于海量用户数据和特征，进行数据质量检查、特征加工、数据清洗等，建立数据挖掘模型。

3、评估数据源的质量和价值，能结合业务需求和场景，从各种数据维度中挖掘数据价值，并设计不同的模型，应用于不同的业务场景中。

职位要求：

1. 计算机、统计学相关背景，熟悉常用各类机器学习算法的原理（如逻辑回归、决策树、svm、神经网络、随机森林、深度学习等）；

2.熟练使用sas、r、python等至少一种分析工具；

3.熟悉大数据分析平台和工具，如hive，hadoop， spark等优先；

4.有较强的逻辑思维能力、优秀的沟通表达能力及团队合作能力。

岗位要求：

学历要求：本科

语言要求：不限

年龄要求：不限

工作年限：5-7年经验

第3篇 大数据开发工程师（杭州）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.参与大数据精准学平台设计与研发，在大数据采集、存储、分析及应用领域都会有所涉及。

2.参与需求分析、系统架构设计、并完成需求设计相应文档的编写。

3.参与核心代码实现、系统性能优化。

4.保质保量地完成项目组分配的开发任务。

5.协助项目经理进行技术支持工作，共同解决产品研发过程遇到的技术难题。

任职要求：

1. 具备3年及以上大数据系统开发经验，计算机相关专业本科及以上学历；

2. 有实时流处理经验，掌握flink、storm等实时处理框架；

3. 熟悉并会使用spark mllib、机器学习、自然语言处理等相关技术和算法；

4. 具有hadoop/spark，以及kafka、flume、hbase、hive、zookeeper等大数据生态圈实际开发经验。深入了解hadoop/spark生态圈产品的工作原理及应用场景；

5. 具备较强的数据分析，问题分析，逻辑思维能力，良好的沟通，团队协作能力。

第4篇 大数据开发工程师（p7-p8)3职位描述与岗位职责任职要求

职位描述：

岗位职责：

分布式大数据系统开发、计算性能调优、 高性能服务框架设计与开发；

参与项目的架构设计、评审、技术攻坚及优化；

参与系统文档的撰写、维护。

任职要求：

本科以上学历，计算机或相关专业；

3年以上linu_后台开发经验，有大规模系统开发经验；

精通http、tcp/ip协议，网络编程；

熟悉linu_操作系统原理，常用工具；

熟悉常用大数据开源组件；

有高并发、大容量后台服务系统设计经验；

具有良好的学习能力、沟通能力、团队合作意识；

强烈的责任心与主动性，对所负责工作有owner意识，并能自我驱动成长；

对hadoop、flink、spark、lucene等开源项目有大规模应用经验，contributor或者committer优先。

第5篇 大数据开发工程师-spark职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 参与公司大数据产品规划，大数据处理分析平台的设计;

2. 负责数据分析、加工、清理、处理程序的开发;

3. 负责数据相关平台的搭建、维护和优化。

4. 负责基于hadoop/spark/hive/kafka等分布式计算平台实现离线分析、实时分析的计算框架的开发；

职位要求：

1. 熟悉java和scala语言、熟悉常用设计模式、具有代码重构意识;

2. 熟练使用hadoop、hbase、kafka、hive、spark、presto，熟悉底层框架和实现原理；

3. 使用spark streaming和spark sql进行数据处理， 并具有spark sql优化经验;

4. 熟悉mysql数据库性能优化方法， 了解常见no-sql数据库;

5. 有大规模hbase集群运维经验或对hbase存储原理熟悉者优先；

6. 有数据挖掘、数据分析、机器学习研发实践经验者优先。

有机会接触千亿级海量数据的离线和实时的数据处理，涉及java，spark，hive，spark streaming，hbase，elasticsearch，flink等大数据的前沿技术和多云的统一架构。

第6篇 大数据开发工程师（数据分析、信息安全、前端开发、数据对接）职位描述与岗位职责任职要求

职位描述：

数据分析工程师：

岗位职责：

1、负责结构化数据和文本的数据处理、建模、分析等工作，如：数据清洗、中文分词、情感分析、文本分类等；

2、负责数据需求的收集、整理和分析，配合其他同事完成结构化数据和文本的需求分析；

3、负责分析结果的可视化展现；

4、负责核心算法的设计与优化。

任职要求：

1、全日制本科毕业；

2、计算机或数学或软件类或统计相关专业；

3、熟悉数据挖掘和文本挖掘的理论基础，掌握统计模型、机器学习相关原理；

4、熟悉r/python/java等编程语言，熟悉常用数据结构和算法，熟悉正则表达式的使用。

web前端开发工程师：

岗位职责：

1、负责前端框架设计及组件库开发、前端开发工作统筹；

2、与后端工程师紧密配合，高效率、高质量地完成页面展现研发工作；

3、负责对产品页面性能的优化和维护；

4、负责数据可视化图表显示。

任职要求：

1、本科及以上学历，专业不限。3年以上前端开发经验；

2、精通html5/css3、_html/_ml，熟悉页面架构和布局，对表现与数据分离、web语义化等有深刻理解；

3、在多浏览器兼容性问题及css/javascript性能优化方面有一定的经验；

4、熟练掌握至少一种前端框架及工具、库。如jquery、angular、webpack；

5、有echars、highcahrts、d3js等数据可视化框架开发经验优先。

信息安全架构工程师：

岗位职责：

1、 规划车联网安全架构，不断完善车联网产品的安全规范和要求，跟进、解决存在的安全隐患；

2、 对上线前的软件或者车上产品进行安全方面验证及测试；

3、 跟进最新漏洞的研究工作，理解漏洞的原理，编制漏洞研究报告和防范措施；

4、 负责行业/国家车联网汽车网络安全部分的技术及标准规范的研究工作。

任职要求：

1、本科以上学历，信息安全，计算机，通信等相关专业；

2、 拥有网络安全专业技能，熟悉车载网络架构，模块及协议；

3、 熟悉常见网络/车辆安全漏洞，掌握漏洞原理以及解决方案具备独立开展渗透工作的能力；

4、 熟悉常见黑客攻击手法，具备对黑客行为的入侵检测能力；

5、 精通安全测试框架，理解网络，应用，数据等不同层面的安全。

数据对接工程师：

岗位职责：

1、负责内部系统的对接工作；

2、第三方平台的数据对接及程序维护；

3、负责各车型的数据采集要求整理及规划；

4、熟悉数据结构和常用算法，有良好的代码规范，能对接入数据/系统提出优化方案。

任职要求：

1、 本科以上学历，信息化项目，计算机，无线传输等相关专业；

2、拥有信息化相关技能，熟悉系统间的交互对接流程；

3、熟悉数据库的管理及查询、同步工作；

4、熟悉信息对接的方式，能用api、视图等进行对接工作。

第7篇 java大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 精通java开发、熟悉restful和maven，精通主流java web开发框架spring、spring boot、spring data jpa、logback、mybatis；

2.熟悉对常用关系型数据库和hdfs、hive，kafka、storm等读写操作，性能优化;

3. 具备系统架构设计能力，具备较强的java程序调优能力及数据库设计和sql调优能力，具备良好的沟通能力；

4. 熟悉多线程编程、熟悉junit单元测试；

第8篇 阿里健康-合资公司-大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责公司数据平台项目的etl设计、实现以及优化。

2、负责etl流程优化，关键问题解决；

3、研究医院信息化数据，负责数据建模、数据存储设计；

4、使用etl技术对医院信息系统数据进行提取、清洗、转换和整合；

5、负责基于hadoop/spark生态的大数据离线/实时处理平台开发;

6、负责基于阿里云的ma_compute的大数据离线处理平台开发;

7、负责数据源调研、入库、开发的全流程工作，并保证数据质量；

岗位要求：

1、有2年以上医疗行业数据建模经验；了解数据建模方法论，并且在项目中实践甚至优化扩展；有大型项目建模经验优先；对数据模型有独到理解；

2、熟悉大数据平台，了解hadoop、hive、hbase，有大型数据中心运维经验或实施经验者优先；

3、2年以上医院业务信息化实施开发经历优先 ；有his、emr开发经验优先；

4、有数据仓库etl经验，对调度、元数据、数据质量等有一定理解；

5、有良好的逻辑思维能力，主动思考，善于学习，与团队沟通无障碍；

6、熟悉java，python，shell，scala等任一种开发语言;

7、拥有良好的沟通、表达能力，工作认真负责，学习能力强，执行力强，乐于接受挑战并具备较好的承压能力；

第9篇 大数据开发工程师/专家（p6-p8）3职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责时空位置大数据对外接口后台和服务框架的开发和运营；

2.负责时空位置大数据数据中、后台的建设以及数据和服务安全方面的建设；

任职要求：

1.重点大学本科以上学历，计算机及相关专业；

2.3年以上相关工作经验，精通算法与数据结构，精通c/c++编程语言；

3.精通linu_、uni_编程环境，熟悉数据库；

4.精通网络编程，有分布式系统开发经验，有大平台开发经验优先；

5.熟悉gis和时空大数据处理和管理，有相关工作经验者优先，

6.具备优秀的独立解决问题能力， 善于团队合作，沟通良好，有一定的抗压能力；

第10篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职位描述：

1. 基于hadoop生态系统进行大数据平台建设；

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop，hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求：

1.统招本科或以上学历，6年以上大数据开发工作经验；

2.熟练掌握shell、python开发语言；

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相关的调优、运维、开发经验；

4.熟练掌握mysql数据库集群；

5. 精通主流etl开发工具，如：informatica、data services、kettle;精通主流调度工具，如：azkaban， oozie；

6.有数据仓库、分析系统、用户画像等产品开发经验者优先；

7.有较强的数据和业务结合能力；

8.有医疗或者大健康背景优先；

9.有较强的独立、主动的学习能力，良好的沟通表达能力。

第11篇 大数据开发工程师（数仓方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 理解业务需求，负责数据仓库建设、etl流程的开发和优化工作；

2. 解决业务数据分析、数据报表、数据异常相关的技术问题；

3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析；

任职资格：

1. 计算机相关专业本科及以上学历；

2. 精通java编程语言，并熟悉scala、python、shell等一门以上脚本语言；

3. 熟悉hadoop大数据平台架构，熟悉spark/spark sql/yarn开发调优技术，具有相关项目经验

4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论，熟悉oracle/mysql数据库；

5. 思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力；

6. 具有高度的责任感，工作认真、踏实。

福利待遇：

1、薪酬：有竞争力的薪酬体系，我们不止跟你谈理想，钱也必须谈一谈~

2、交通：无论天涯，免费班车直达公司，蓦然回首，地铁就在公司不远处。。。

3、工作时间：5天7小时工作制，充足的休息让你一整天元气满满！

4、各种福利：五险一金小case，节日礼物福利补贴说不完！

5、团建活动：下午茶，团队活动，部门聚餐，经费充足不差钱，大公司就是这么壕！

6、发展平台：想要升职加薪走向人生巅峰？上市公司晋升发展机会多多~

第12篇 大数据开发工程师（面向2020年毕业生）职位描述与岗位职责任职要求

职位描述：

此岗位面向2020年毕业生，坐标深圳南山科技园，实习期薪资为3.5-4.5k；要求在公司全职实习半年以上，实习满3个月且评审通过后可签订三方协议，实习满6个月且评审通过后签订劳动合同，无试用期。

岗位职责：

1、从事大数据分布式存储/应用服务的设计和开发，挑战大规模、高并发、易运维的分布式系统设计构建；

2、参与负责大数据运营/风控/分析等数据应用产品开发迭代，包括需求讨论需求/系统/算法的讨论、设计及实现；

3、定位和解决集群组件如spark、hive、hbase、kafka的性能和高可用问题，协助集群监控系统的开发。

任职要求：

1、2020年统招本科及以上学历，计科类相关专业；

2、良好的计算机基础；了解面向对象和设计模式，了解 spring ， mybatis 等常用框架，数据库基础扎实；

3、对技术有强烈的兴趣，喜欢钻研，具有良好的学习能力、沟通和团队合作能力。

加分项：

1、熟悉python、ruby等语言；

2、熟练掌握常见linu_ shell命令；

3、喜欢在mac/linu_下进行开发；

4、有代码洁癖，看到代码中的坏味道有浑身不自在的感觉；

5、自我驱动、喜欢coding。

第13篇 大数据开发工程师（驻场开发）职位描述与岗位职责任职要求

职位描述：

岗位职责：

（1）根据业务进行数据需求的调研、设计、开发及验证工作，并持续进行数据业务的优化；

（2）负责大数据整体设计和开发工作，包括数据接入、清洗、计算、校验等数据加工流程，并沉淀文档；

（3）持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。

（4）此岗位需驻场开发半年左右（地点：新疆）

任职资格：

（1）统招本科或以上学历，计算机、数学等相关专业，工作至少3年以上；

（2）熟悉java/scala开发，有脚本语言（shell，python)开发经验者优先；

（3）至少熟悉一种大数据处理栈技术，如hadoop、spark; 熟悉流计算应用开发，如spark streaming， flink;熟练掌握大数据生态各个工具的原理及使用，如hive， sqoop， kafka等

（4）掌握hbase、redis、elastic search等开源大数据存储技术，并能结合不同的业务场景深入使用；

（5）熟悉storm，spark streaming，flink，beam至少一种

（6）熟悉kafka，redis，es等相关组件

（7）对解决具有挑战性的数据问题充满激情，具有良好的分析问题和解决问题的能力，能够胜任部分数据分析，挖掘，建模工作。

第14篇 大数据开发工程师/架构师职位描述与岗位职责任职要求

职位描述：

1、8年以上后端开发经验，有大数据处理经验；有实时处理工作经历并有一定解决方案者优先；

2、熟悉大数据开源技术，包含（不限于）hadoop/spark/storm/hive/hbase/impala /flume/kafka/solr/es分布式框架/计算/存储/检索等相关技术，并有一定的hadoop生态系统运维经验；

3、至少掌握java/scala/python其中一门开发语言；

4、掌握sql，sparksql进行数据开发；较好的sql性能调优经验；

5、优秀的分析、解决问题能力，充分的数据敏感度；有一定的高性能支撑经验和故障排除能力；

6、具备强烈的工作责任感，喜欢钻研，态度乐观，团队意识强。

第15篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与数据需求的沟通和模型设计；

2、负责大数据平台的数据需求开发，包括实时和批量处理；

3、负责不同数据源的接入解析落地的设计开发工作；

4、负责数据质量监控，解决数据运行和质量问题。

任职要求：

1、计算机本科以上学历，至少有3年数据开发经验；

2、精通java/scala/python，至少有3年以上开发使用经验；

3、熟悉spark，hive，flink，jstorm等大数据实时计算技术；

4、掌握hive sql，sparksql，es query dsl 等查询语言；拥有sql性能调优经验；

5、具有较强的业务理解能力，较强的责任心、团队合作能力和沟通能力；

6、有过图数据库开发或spark mllib开发经验者优先考虑。