hadoop岗位要求15篇

第1篇 大数据基础架构工程师（hadoop）职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的大数据基础设施，包括数据接入，同步，存储、计算，查询等环节的分布式系统，为海量数据和大规模业务系统提供可靠的基础设施；

2、与开源社区保持交流，发现对业务场景有帮助的特性并引入生产环境，或将经内部验证的特性贡献到社区；

3、承担千台规模集群的管理工作，与业务一起解决性能优化、容量规划、预算审计等问题，保障集群高效稳定经济运行；

任职资格：

1、计算机基础扎实，熟悉常用数据结构和算法，具备较强的逻辑思维能力和编码能力；

2、掌握分布式系统原理，对存储、计算、消息队列、资源管理，数据同步等中的一项或多项有深入的理解和认识；

3、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

4，熟悉hadoop， hbase， zookeeper，flume，k8s等基础服务中的一项或多项；

5、有kafka或者同类型技术设计开发及集群管理经验者优先。

第2篇 hadoop开发工程师职位描述与岗位职责任职要求

职位描述：

岗位为公司自研大数据平台产品线，非定制外包。

岗位职责：

1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。

2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；

3.负责探索， 研究新的 hadoop 生态中技术引擎，不断扩充平台能力。

4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案

5.负责公司定制项目的大数据架构的整体解决方案

6.负责各种行业大数据在不同应用场景的最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案

任职资格：

1.三年以上hadoop集群架构开发或架构经验。

2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维

3.精通hadoop各个模块的能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知

4.熟悉linu_系统及调错经验，熟悉 jvm 运行机制，有 shell、python开发经验。

5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神

6.有企业级大数据系统设计经验者优先。

7.有一定的代码经验，python/java/c++/ruby 均可。

第3篇 hadoop高级工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

职位描述：

1、hadoop产品功能设计、开发与测试、性能优化，根据项目具体要求，承担开发任务，按计划完成任务目标

2、负责编制与项目相关的技术文档。

任职要求：

1、计算机相关专业，本科及以上学历，2年以上hadoop开发工作经验；

2、熟练使用linu_系统，熟悉内核和shell脚本编写，能够在linu_环境下进行开发工作；

3、熟练使用java语言进行开发；

4、熟悉分布式文件系的设计和使用，调试优化过hdfs文件系统者优先；

5、良好的代码开发风格及开发习惯，学习能力、沟通能力，英文资料阅读和理解能力；

6、参与过hadoop社区贡献者优先；

以下要求至少满足其中1项：

7、熟悉hadoop的架构和原理，以及参数调优和性能优化，了解partition，shuffle，sort等机制。

8、有设计，调试或者优化类似hdfs文件系统经验；

工作地点：南京

第4篇 senior consultant, hadoop engineer职位描述与岗位职责任职要求

职位描述：

incorporated in 2017， kpmg technology r&d centre combines four functions: r&d， in-house services， outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.

as kpmg’s first r&d centre in china， our business activities currently include:

1.development， design， production of computer software and computer system integration;

2.ai， r&d and delivery of technologies

3.big data-related services and technical support， including data development， data processing， data mining etc.

driven by increasing market demand， we will e_pand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.

responsibilities

work as part of a team supporting the following business platforms:

- enterprise data warehouse

- provide guidance on designing big data platform architecture

- conduct research on latest big data platform products

- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase

skills and e_perience

- familiar with linu_ java development environment and java ee specifications

- familiar with basic data structures and common algorithm

- familiar with shell and/or java and / or scala

- familiar with basic linu_ operations

- ability to multi-task， strong sense of responsibility， and very strong communication skills

- deep knowledge of hadoop， spark， hive， nosql， hbase， map reduce is a plus

第5篇 hadoop运维岗位职责hadoop运维职责任职要求

hadoop运维岗位职责

岗位职责

1、hadoop平台及各服务组件的运维、变更、故障和异常问题迅速定位; 2、hadoop平台以及相关组件的规划、部署、扩容及搭建安装; 3、定期系统分析、性能调优，优化集群性能和资源利用率，提升集群性能，保证hadoop平台各核心服务运行的稳定、高效; 4、编写运维相关的shell脚本或者python脚本，hadoop平台运维相关文档撰写; 5、负责指导中低级工程师，为集群用户和开发人员提供支持; 6、维持服务高效稳定，支撑业务和数据量的快速扩张;

人员要求

1、1年半及以上hadoop生态系统运维经验。 2、熟练掌握linu_操作系统，熟悉linu_文件系统，内核、网络等性能优化; 3、熟练掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生态组件的功能和原理; 4、熟练掌握hadoop的安装部署及性能调优; 5、熟悉一门以上脚本语言(shell、python、perl)，熟悉java; 6、具有良好责任心，团队合作意识，具有良好的沟通能力和客户服务意识; 7、对于优秀人才，学历要求可适当放宽

第6篇 hadoop工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。

2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；

3.负责探索， 研究新的 hadoop 生态中技术引擎，不断扩充平台能力。

4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案

5.负责公司定制项目的大数据架构的整体解决方案

6.负责各种行业大数据在不同应用场景的最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案

任职资格：

1.三年以上hadoop集群架构开发或架构经验。

2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维

3.精通hadoop各个模块的能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知

4.熟悉linu_系统及调错经验，熟悉 jvm 运行机制，有 shell、python开发经验。

5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神

6.有企业级大数据系统设计经验者优先。

7.有一定的代码经验，python/java/c++/ruby 均可。

第7篇 hadoop sre工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、参与打造业界领先的存储、计算、消息队列等分布式系统

2、为海量数据及其上的大规模数据挖掘、数据分析、机器学习业务系统提供可靠、高效的支持

3、深入了解业务需求，利用存储技术支持关键业务场景

任职要求：

1、掌握分布式系统原理，对存储、计算、消息队列的一项或多项有深入的理解和认识

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案

3、有较好的沟通能力；有良好的团队合作精神

第8篇 hadoop高级开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、负责hadoop平台上的数据存储，数据维护和优化；

2、编写一些pig，hive等分析脚本；

3、负责把一些分析结果导入到数据库中，为bi提供基础数据分析；

4、hadoop集群问题排查，并提出解决方案；

5、job报错问题排查；

6、根据集群的问题，开发一些监控程序，解决隐患；

7、平台工具开发或者提供第三方开源工具。

任职要求：

1、深入了解hadoop运行机制，包括hdfs/mapreduce/zookeeper/yarn等工作原理。

2、了解分布式系统的原理。

3、负责hadoop平台上的数据存储，数据维护和优化；

4、hadoop集群问题排查，并提出解决方案；

5、开发监控程序，解决存在的隐患；

6、有hadoop平台运维经验优先。

7、有大数据平台工具开发经验。

第9篇 高级系统架构师（hadoop/spark)职位描述与岗位职责任职要求

职位描述：

1.计算机及计算机相关专业本科或本科以上学历；

2.十年以上开发工作经验；

3.精通java编程，熟练掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的开发框架，有良好的编程习惯。

4.精通大数据hadoop、spark、hbase、hive、kafka等产品技术及应用开发。

5.精通多线程编程、分布式事务、存储系统（如oracle、mongodb、redis等）的性能调优和应用开发；

6.具备优秀的逻辑思维能力，对解决挑战性问题充满热情，善于解决问题和分析问题；

7.有强烈的上进心和求知欲，善于学习新事物，良好的团队合作精神，较强的沟通能力和学习能力。

第10篇 hadoop开发工程师b02职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 参与人工智能开源开放平台核心系统的构建；

2. 人工智能开源开放平台相关前沿技术、运用调研及落地；

3. 负责人工智能开源开放平台性能的优化。

任职要求：

1. 国内学历：统招全日制 985/211 硕士及以上学历，取得学位证和毕业证；

2. 国外学历：海外全日制硕士及以上学历；qs 世界大学排名前 300 高等院校；海外留学时长不少于 1.5 年；

3. 有大型互联网公司大数据平台及数据开发经验者优先；

4. 扎实的java、python基础，掌握常用数据结构（链表、哈希、树）等；

5. 精通linu_/uni_环境，熟悉linu_性能调优，熟练掌握shell，有良好的计算机网络基础；

6. 有较强的产品理解，能从技术角度推动产品优化；

7. 有如下技能者优先，spark/spark streaming/hadoop/hdfs/kafka/elastic search；

8. 英语6级，能读懂相关外文技术文献。

第11篇 hadoop运维工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1.kafka集群、spark、hive、hbase、hadoop平台运维；

2.独立完成运维过程中问题定位、问题解决、并进行总结文档编写；

3.参与大数据平台etl处理，合理规划大数据资源，提高大数据平台资源利用率，负责基于大数据平台的开发和基础建设；

4.负责大数据平台相关系统的运维工作；

5.跟踪大数据论坛社区新技术发展，持续更新技术资源，挖掘更多应用场景。

任职要求：

1.统招本科以上学历，3年以上大数据开发经验；

2.熟悉hadoop、spark、kafka等技术，对底层架构有深入了解，有基于底层架构进行开发者优先考虑，精通linu_脚本，熟悉linu_脚本开发；

3.掌握flink/kylin/presto/elasticsearch/redis等一种或多种技术优先；精通hive、hbase数据库开发，对其底层架构有深入研究者优先考虑；

4.熟悉数据架构，对数据处理有深入理解。熟悉掌握java/python/scala开发语言；

5.性格乐观，积极主动，能够主动承担责任和解决实际问题。

第12篇 架构师（java&hadoop）职位描述与岗位职责任职要求

职位描述：

职责描述：

职责描述：

1. 负责设计和搭建软件系统架构（平台、数据库、接口和应用架构等），解决开发中各种系统架构问题。

2. 优化现有系统的性能，解决软件系统平台关键技术问题攻关、核心功能模块设计。

3. 在项目需求不断细化的工程中校正整体的架构设计，以及详细模块拆分设计。

4. 营造技术学习氛围，带领团队不断完善开发方法及流程，提升开发效率与质量，加强技术标准及规范。

5. 带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。

6. 参与讨论公司产品发展方向，完整的规划和把握产品研发架构。

任职要求：

五年以上java开发经验，有独立完成项目经验和能力；

1.精通springmvc+mybatis或ssh等框架的搭建和开发；

2. 精通tomcat，apache，ngin_ 等web服务器的管理和调优；

3. 精通mysql/mariadb 或 postgres数据库的开发，管理和调优；

4. 熟练使用redis， rabbitmq， mongodb等相关或类似技术；

5. 懂得node.js， jquery， h5，websocket，长链接，nio等技术；

6. 熟练使用linu_（centos/ubuntu)操作和管理；

7. 擅长系统性能调优和疑难问题调试；

8. 熟悉oracle、hbase、hive等数据库的开发优化；

9.熟悉hadoop、spark等大数据平台；

10.懂得构建高性能高并发分布式服务架构体系优先；

11. 懂的数据安全、应用安全和系统安全可以加分；

12. 具有团队合作精神、能带队和懂项目管理可以加分。

第13篇 hadoop研发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责公司大数据平台的hadoop技术栈研究，形成技术解决方案和整体的大数据架构。

2.负责hadoop平台（分布式存储、分布式资源管理和调度、分布式计算等）的架构研究、测试、优化搭建工作；

3.负责探索， 研究新的 hadoop 生态中技术引擎，不断扩充平台能力。

4.制定hadoop整体集群使用规范，规范的hadoop日常维护、异常处理等工作，保障集群稳定、运行规范解决方案

5.负责公司定制项目的大数据架构的整体解决方案

6.负责各种行业大数据在不同应用场景的最佳开发实践，提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案

任职资格：

1.三年以上hadoop集群架构开发或架构经验。

2.精通hadoop架构的设计以及生态，hadoop的集群的搭建、部署、开发和运维

3.精通hadoop各个模块的能力定位和配置，对hdfs、hbase、mr、spark等基本组件熟知

4.熟悉linu_系统及调错经验，熟悉 jvm 运行机制，有 shell、python开发经验。

5.有钻研新技术的热情和能力，善于交流和表达，富有团队精神

6.有企业级大数据系统设计经验者优先。

7.有一定的代码经验，python/java/c++/ruby 均可。

第14篇 高级hadoop开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1， 基于hadoop进行mapreduce、hive和hbase的应用开发；

2， 维护和管理大规模hadoop集群，解决不断增长的海量数据带来的存储和计算挑战；

3， 大数据平台数据清洗、转换和建模的开发。

任职要求：

1， 熟悉hadoop/hbase/spark/hive生态环境体系的搭建和管理，掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等开源项目的原理和使用方法，具有实际集群搭建和调优经验；

2， 熟悉并有java开发经验，有大平台架构开发经验；

3， 掌握至少一种nosql数据库，具有真正项目使用经验；

4， 掌握数据分析的基本流程，擅长数据采集、清洗、分析等环节；

5， 熟悉后端服务（restful api 服务实现）优先；

6， 熟悉使用sqlserver、oracle、mysql一种；

7， 良好团队协作和沟通能力；

8， 大专及以上学历，3-5年及以上工作经验。

第15篇 hadoop架构师岗位职责hadoop架构师职责任职要求

hadoop架构师岗位职责

工作职责:

1、负责全行大数据在各类业务场景中的应用规划及设计方案的制定;

2、负责对全行大数据的标准化进行梳理并制定相应方案;

3、负责制定全行的元数据集，并对元数据管理的流程、技术方案进行设计;

4、面向数据价值服务为数据应用场景进行方案设计并指导落实实施;

5、负责对大数据相关领域的创新性研究和知识产权保护工作;

6、领导交办的其他工作内容。

任职要求:

1、 全日制本科及以上学历，计算机、通信工程、数学等相关专业;

2、 具备3年以上大数据相关开发经验，2年以上大数据系统相关设计经验;

3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式计算等大数据相关技术，并具备相关开发经验;

4、 在金融行业或互联网金融领域有过相关工作经验者优先考虑;

5、 具备良好的沟通能力、团队合作精神，能接受高强度工作。 大数据架构师:

工作职责:

1、负责全行大数据在各类业务场景中的应用规划及设计方案的制定;

2、负责对全行大数据的标准化进行梳理并制定相应方案;

3、负责制定全行的元数据集，并对元数据管理的流程、技术方案进行设计;

4、面向数据价值服务为数据应用场景进行方案设计并指导落实实施;

5、负责对大数据相关领域的创新性研究和知识产权保护工作;

6、领导交办的其他工作内容。

任职要求:

1、 全日制本科及以上学历，计算机、通信工程、数学等相关专业;

2、 具备3年以上大数据相关开发经验，2年以上大数据系统相关设计经验;

3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式计算等大数据相关技术，并具备相关开发经验;

4、 在金融行业或互联网金融领域有过相关工作经验者优先考虑;

5、 具备良好的沟通能力、团队合作精神，能接受高强度工作。