hadoop岗位是一个专注于大数据处理和分析的关键角色,主要负责管理和优化企业的大数据基础设施,确保数据的有效存储、处理和检索,以支持业务决策和创新。
1. 精通hadoop生态系统,包括hdfs、mapreduce、yarn、hbase等组件。
2. 具备java编程能力,能够编写和优化mapreduce作业。
3. 熟悉大数据处理工具,如pig、hive、spark等。
4. 理解数据仓库和etl流程,能设计高效的数据处理方案。
5. 掌握linux操作系统和shell脚本,以便进行系统管理和自动化任务。
6. 良好的问题解决能力和团队协作精神,能够在压力下工作。
7. 持续关注大数据技术动态,不断提升技术水平和行业洞察。
作为hadoop专家,你将承担起构建和维护大规模分布式数据处理平台的责任。你的日常工作可能包括配置和调整hadoop集群,监控性能,解决系统瓶颈,以及开发和优化数据处理流程。此外,你也需要与业务团队紧密合作,理解他们的需求,提供数据解决方案,并确保数据安全和合规性。
1. 集群管理:搭建、配置和维护hadoop集群,确保高可用性和稳定性。
2. 性能调优:通过监控和分析,识别并解决性能问题,提升数据处理效率。
3. 数据处理:设计和实现基于hadoop的数据处理流程,满足业务需求。
4. 安全保障:实施数据安全策略,保护敏感信息,遵守数据隐私法规。
5. 技术咨询:为业务团队提供大数据相关的技术支持和咨询服务。
6. 项目协作:参与跨部门项目,与其他it专业人员共同完成复杂的数据集成任务。
7. 培训指导:培训新员工,提升团队对hadoop技术的理解和应用能力。
8. 创新探索:研究新的大数据技术和工具,推动技术升级和业务创新。
hadoop岗位是企业数据战略的核心,需要具备深厚的技术功底和业务理解,以驱动数据驱动的决策和业务增长。
第1篇 senior consultant, hadoop engineer职位描述与岗位职责任职要求
职位描述:
incorporated in 2017, kpmg technology r&d centre combines four functions: r&d, in-house services, outsourced services and operational services.it is kpmg’s first r&d centre and second delivery centre in china.
as kpmg’s first r&d centre in china, our business activities currently include:
1.development, design, production of computer software and computer system integration;
2.ai, r&d and delivery of technologies
3.big data-related services and technical support, including data development, data processing, data mining etc.
driven by increasing market demand, we will e_pand the r&d centre’s scope of business on an ongoing basis to enable technologies to provide quality services for our clients.
responsibilities
work as part of a team supporting the following business platforms:
- enterprise data warehouse
- provide guidance on designing big data platform architecture
- conduct research on latest big data platform products
- take responsibility for designing the core components of big data platform such as: hdfs、mapreduce、hiva、hbase
skills and e_perience
- familiar with linu_ java development environment and java ee specifications
- familiar with basic data structures and common algorithm
- familiar with shell and/or java and / or scala
- familiar with basic linu_ operations
- ability to multi-task, strong sense of responsibility, and very strong communication skills
- deep knowledge of hadoop, spark, hive, nosql, hbase, map reduce is a plus
第2篇 hadoop架构师岗位职责hadoop架构师职责任职要求
hadoop架构师岗位职责
工作职责:
1、负责全行大数据在各类业务场景中的应用规划及设计方案的制定;
2、负责对全行大数据的标准化进行梳理并制定相应方案;
3、负责制定全行的元数据集,并对元数据管理的流程、技术方案进行设计;
4、面向数据价值服务为数据应用场景进行方案设计并指导落实实施;
5、负责对大数据相关领域的创新性研究和知识产权保护工作;
6、领导交办的其他工作内容。
任职要求:
1、 全日制本科及以上学历,计算机、通信工程、数学等相关专业;
2、 具备3年以上大数据相关开发经验,2年以上大数据系统相关设计经验;
3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式计算等大数据相关技术,并具备相关开发经验;
4、 在金融行业或互联网金融领域有过相关工作经验者优先考虑;
5、 具备良好的沟通能力、团队合作精神,能接受高强度工作。 大数据架构师:
工作职责:
1、负责全行大数据在各类业务场景中的应用规划及设计方案的制定;
2、负责对全行大数据的标准化进行梳理并制定相应方案;
3、负责制定全行的元数据集,并对元数据管理的流程、技术方案进行设计;
4、面向数据价值服务为数据应用场景进行方案设计并指导落实实施;
5、负责对大数据相关领域的创新性研究和知识产权保护工作;
6、领导交办的其他工作内容。
任职要求:
1、 全日制本科及以上学历,计算机、通信工程、数学等相关专业;
2、 具备3年以上大数据相关开发经验,2年以上大数据系统相关设计经验;
3、 熟悉hadoop、hive、hbase、flume、sqoop、spark以及流式计算等大数据相关技术,并具备相关开发经验;
4、 在金融行业或互联网金融领域有过相关工作经验者优先考虑;
5、 具备良好的沟通能力、团队合作精神,能接受高强度工作。
第3篇 架构师(java&hadoop)职位描述与岗位职责任职要求
职位描述:
职责描述:
职责描述:
1. 负责设计和搭建软件系统架构(平台、数据库、接口和应用架构等),解决开发中各种系统架构问题。
2. 优化现有系统的性能,解决软件系统平台关键技术问题攻关、核心功能模块设计。
3. 在项目需求不断细化的工程中校正整体的架构设计,以及详细模块拆分设计。
4. 营造技术学习氛围,带领团队不断完善开发方法及流程,提升开发效率与质量,加强技术标准及规范。
5. 带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。
6. 参与讨论公司产品发展方向,完整的规划和把握产品研发架构。
任职要求:
五年以上java开发经验,有独立完成项目经验和能力;
1.精通springmvc+mybatis或ssh等框架的搭建和开发;
2. 精通tomcat,apache,ngin_ 等web服务器的管理和调优;
3. 精通mysql/mariadb 或 postgres数据库的开发,管理和调优;
4. 熟练使用redis, rabbitmq, mongodb等相关或类似技术;
5. 懂得node.js, jquery, h5,websocket,长链接,nio等技术;
6. 熟练使用linu_(centos/ubuntu)操作和管理;
7. 擅长系统性能调优和疑难问题调试;
8. 熟悉oracle、hbase、hive等数据库的开发优化;
9.熟悉hadoop、spark等大数据平台;
10.懂得构建高性能高并发分布式服务架构体系优先;
11. 懂的数据安全、应用安全和系统安全可以加分;
12. 具有团队合作精神、能带队和懂项目管理可以加分。
第4篇 hadoop sre工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、参与打造业界领先的存储、计算、消息队列等分布式系统
2、为海量数据及其上的大规模数据挖掘、数据分析、机器学习业务系统提供可靠、高效的支持
3、深入了解业务需求,利用存储技术支持关键业务场景
任职要求:
1、掌握分布式系统原理,对存储、计算、消息队列的一项或多项有深入的理解和认识
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案
3、有较好的沟通能力;有良好的团队合作精神
第5篇 hadoop工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责公司大数据平台的hadoop技术栈研究,形成技术解决方案和整体的大数据架构。
2.负责hadoop平台(分布式存储、分布式资源管理和调度、分布式计算等)的架构研究、测试、优化搭建工作;
3.负责探索, 研究新的 hadoop 生态中技术引擎,不断扩充平台能力。
4.制定hadoop整体集群使用规范,规范的hadoop日常维护、异常处理等工作,保障集群稳定、运行规范解决方案
5.负责公司定制项目的大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的最佳开发实践,提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格:
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态,hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的能力定位和配置,对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linu_系统及调错经验,熟悉 jvm 运行机制,有 shell、python开发经验。
5.有钻研新技术的热情和能力,善于交流和表达,富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验,python/java/c++/ruby 均可。
第6篇 hadoop开发工程师b02职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 参与人工智能开源开放平台核心系统的构建;
2. 人工智能开源开放平台相关前沿技术、运用调研及落地;
3. 负责人工智能开源开放平台性能的优化。
任职要求:
1. 国内学历:统招全日制 985/211 硕士及以上学历,取得学位证和毕业证;
2. 国外学历:海外全日制硕士及以上学历;qs 世界大学排名前 300 高等院校;海外留学时长不少于 1.5 年;
3. 有大型互联网公司大数据平台及数据开发经验者优先;
4. 扎实的java、python基础,掌握常用数据结构(链表、哈希、树)等;
5. 精通linu_/uni_环境,熟悉linu_性能调优,熟练掌握shell,有良好的计算机网络基础;
6. 有较强的产品理解,能从技术角度推动产品优化;
7. 有如下技能者优先,spark/spark streaming/hadoop/hdfs/kafka/elastic search;
8. 英语6级,能读懂相关外文技术文献。
第7篇 高级hadoop开发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1, 基于hadoop进行mapreduce、hive和hbase的应用开发;
2, 维护和管理大规模hadoop集群,解决不断增长的海量数据带来的存储和计算挑战;
3, 大数据平台数据清洗、转换和建模的开发。
任职要求:
1, 熟悉hadoop/hbase/spark/hive生态环境体系的搭建和管理,掌握hadoop、hbase、mapreduce、hdfs、hive、kylin、zookeeper等开源项目的原理和使用方法,具有实际集群搭建和调优经验;
2, 熟悉并有java开发经验,有大平台架构开发经验;
3, 掌握至少一种nosql数据库,具有真正项目使用经验;
4, 掌握数据分析的基本流程,擅长数据采集、清洗、分析等环节;
5, 熟悉后端服务(restful api 服务实现)优先;
6, 熟悉使用sqlserver、oracle、mysql一种;
7, 良好团队协作和沟通能力;
8, 大专及以上学历,3-5年及以上工作经验。
第8篇 hadoop程序员岗位职责
职责
搭建和维护hadoop数据分析平台
协助研究r与hadoop结合实施大数据挖掘
依据分析挖掘方案,建立模型、生成分析结果、统计表、图和列表等的程序代码。
协助项目团队负责人履行项目职责。
能力和技能
熟悉linu_操作系统、java、hadoop的运营及算法。
具备基本的统计编程知识,例如r、base sas、sas/stat、sas宏语言、sql。
具备一定的沟通能力。
具备有效处理多任务的能力。
具备一定的计算能力及发现细节的能力。
具备团队合作能力。
学历和经验要求:
计算机、数学专业学士学历及以上,或同等教育背景并具有统计编程经验;有hadoop运营经验、hadoop算法经验者优先。
第9篇 hadoop运维岗位职责
hadoop运维工程师 杭州麦歌算法科技有限公司 杭州麦歌算法科技有限公司,麦歌算法,麦歌算法
任职要求:职位描述:
1. 根据业务需求和落地环境确定大数据平台的方案和具体搭建
2. 负责大数据平台及相关业务系统的(hadoop/spark/elasticsearch/zeppelin/jupyter等)的运维工作
3. 对大数据基础平台系统稳定性负责,负责故障应急响应及指挥,做好故障发现和预防,为其持续优化提供建设性意见
4. 与数据组合作,帮助处理优化项目中数据处理工作(数据采集、清洗、汇总、集成等),保证数据的准确性和稳定性
岗位要求:
1. 精通scala或python至少一门编程语言,两种都熟悉优先
2. 精通shell脚本编程
3. 熟悉hadoop/hive/hbase/spark等分布式计算环境进行海量数据分析与计算;
4. 做过数据仓库,对数据治理、数据标准及元数据有很好理念及实施经验的优先;
5. 熟悉devops等自动化运维工具;
6. 有过10台以上集群运维的经验
7. 良好的沟通能力和团队精神,具备创新意识;
8. 以结果为导向,具有强烈的责任心、钻研精神和良好的团队沟通能力。
关键词 :hadoop spark
第10篇 大数据基础架构工程师(hadoop)职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的大数据基础设施,包括数据接入,同步,存储、计算,查询等环节的分布式系统,为海量数据和大规模业务系统提供可靠的基础设施;
2、与开源社区保持交流,发现对业务场景有帮助的特性并引入生产环境,或将经内部验证的特性贡献到社区;
3、承担千台规模集群的管理工作,与业务一起解决性能优化、容量规划、预算审计等问题,保障集群高效稳定经济运行;
任职资格:
1、计算机基础扎实,熟悉常用数据结构和算法,具备较强的逻辑思维能力和编码能力;
2、掌握分布式系统原理,对存储、计算、消息队列、资源管理,数据同步等中的一项或多项有深入的理解和认识;
3、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
4,熟悉hadoop, hbase, zookeeper,flume,k8s等基础服务中的一项或多项;
5、有kafka或者同类型技术设计开发及集群管理经验者优先。
第11篇 高级系统架构师(hadoop/spark)职位描述与岗位职责任职要求
职位描述:
1.计算机及计算机相关专业本科或本科以上学历;
2.十年以上开发工作经验;
3.精通java编程,熟练掌握spring cloud、spring boot、spring framework、spring security、spring mvc、spring data、mybatis、hibernate、zookeeper等主流的开发框架,有良好的编程习惯。
4.精通大数据hadoop、spark、hbase、hive、kafka等产品技术及应用开发。
5.精通多线程编程、分布式事务、存储系统(如oracle、mongodb、redis等)的性能调优和应用开发;
6.具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题;
7.有强烈的上进心和求知欲,善于学习新事物,良好的团队合作精神,较强的沟通能力和学习能力。
第12篇 hadoop高级开发工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、负责hadoop平台上的数据存储,数据维护和优化;
2、编写一些pig,hive等分析脚本;
3、负责把一些分析结果导入到数据库中,为bi提供基础数据分析;
4、hadoop集群问题排查,并提出解决方案;
5、job报错问题排查;
6、根据集群的问题,开发一些监控程序,解决隐患;
7、平台工具开发或者提供第三方开源工具。
任职要求:
1、深入了解hadoop运行机制,包括hdfs/mapreduce/zookeeper/yarn等工作原理。
2、了解分布式系统的原理。
3、负责hadoop平台上的数据存储,数据维护和优化;
4、hadoop集群问题排查,并提出解决方案;
5、开发监控程序,解决存在的隐患;
6、有hadoop平台运维经验优先。
7、有大数据平台工具开发经验。
第13篇 hadoop研发工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责公司大数据平台的hadoop技术栈研究,形成技术解决方案和整体的大数据架构。
2.负责hadoop平台(分布式存储、分布式资源管理和调度、分布式计算等)的架构研究、测试、优化搭建工作;
3.负责探索, 研究新的 hadoop 生态中技术引擎,不断扩充平台能力。
4.制定hadoop整体集群使用规范,规范的hadoop日常维护、异常处理等工作,保障集群稳定、运行规范解决方案
5.负责公司定制项目的大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的最佳开发实践,提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格:
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态,hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的能力定位和配置,对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linu_系统及调错经验,熟悉 jvm 运行机制,有 shell、python开发经验。
5.有钻研新技术的热情和能力,善于交流和表达,富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验,python/java/c++/ruby 均可。
第14篇 hadoop架构师岗位职责
hadoop架构师 泰康在线财产保险股份有限公司 泰康在线财产保险股份有限公司,泰康在线,泰康 工作职责:
1.负责搭建数据平台、数据仓库平台、物联网数据平台、ai数据平台,负责数据平台架构的整合、优化、开发、部署实施、运维相关工作,确保数据平台稳定运行
2.主导搭建数据平台(dw / ai / hadoop平台等),提供数据接口对接、存储、提取、处理、清洗、逻辑解析、规范化、iot设备互联互通能力
3.具备java, sql 开发经验,性能调测,开源代码商业化,底层基础架构搭建
4.参与公司数据处理方向的技术拓展,保障公司业务的数据需求
5.负责数据平台实时计算/分布式并行计算的架构设计代码编写,及开源技术组件的二次开发
6.运用hadoop/sparksql 与 spark streaming 或者其它数据分析技术,进行包括需求分析,平台选择,技术构架涉及等技术支持工作,确保能够保障公司业务的数据需求
任职要求:
1.熟悉传统数据仓库,至少三年以上数据仓库开发、构建、运维经验
2.熟悉hadoop技术体系, 有hadoop/spark 架构经验,有hadoop计算集群在实际项目上的开发和维护经验
3.两年以上基于hadoop/spark/hbase/hive等分布式数据计算应用开发经验
4.熟悉数据平台数据同步技术,如:ogg,cdc,sqoop等,并有实际经验
5.熟悉大数据大数据性能优化,并有实际项目经验
6.熟悉apache mahout/spark mlib的各种算法
7.精通java,熟练掌握mapreduce原理以及数据分析相关的二次开发
8.熟悉linu_/uni_, 熟悉perl/python/shell 等脚本开发语言
9.了解敏捷开发流程, 有敏捷开发经验者优先
10.良好的数据结构和算法基础,有较强的算法设计和实现能力
11.本科以上学历,计算机及相关专业
第15篇 hadoop高级工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
职位描述:
1、hadoop产品功能设计、开发与测试、性能优化,根据项目具体要求,承担开发任务,按计划完成任务目标
2、负责编制与项目相关的技术文档。
任职要求:
1、计算机相关专业,本科及以上学历,2年以上hadoop开发工作经验;
2、熟练使用linu_系统,熟悉内核和shell脚本编写,能够在linu_环境下进行开发工作;
3、熟练使用java语言进行开发;
4、熟悉分布式文件系的设计和使用,调试优化过hdfs文件系统者优先;
5、良好的代码开发风格及开发习惯,学习能力、沟通能力,英文资料阅读和理解能力;
6、参与过hadoop社区贡献者优先;
以下要求至少满足其中1项:
7、熟悉hadoop的架构和原理,以及参数调优和性能优化,了解partition,shuffle,sort等机制。
8、有设计,调试或者优化类似hdfs文件系统经验;
工作地点:南京
第16篇 hadoop运维工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1.kafka集群、spark、hive、hbase、hadoop平台运维;
2.独立完成运维过程中问题定位、问题解决、并进行总结文档编写;
3.参与大数据平台etl处理,合理规划大数据资源,提高大数据平台资源利用率,负责基于大数据平台的开发和基础建设;
4.负责大数据平台相关系统的运维工作;
5.跟踪大数据论坛社区新技术发展,持续更新技术资源,挖掘更多应用场景。
任职要求:
1.统招本科以上学历,3年以上大数据开发经验;
2.熟悉hadoop、spark、kafka等技术,对底层架构有深入了解,有基于底层架构进行开发者优先考虑,精通linu_脚本,熟悉linu_脚本开发;
3.掌握flink/kylin/presto/elasticsearch/redis等一种或多种技术优先;精通hive、hbase数据库开发,对其底层架构有深入研究者优先考虑;
4.熟悉数据架构,对数据处理有深入理解。熟悉掌握java/python/scala开发语言;
5.性格乐观,积极主动,能够主动承担责任和解决实际问题。
第17篇 hadoop运维岗位职责hadoop运维职责任职要求
hadoop运维岗位职责
岗位职责
1、hadoop平台及各服务组件的运维、变更、故障和异常问题迅速定位; 2、hadoop平台以及相关组件的规划、部署、扩容及搭建安装; 3、定期系统分析、性能调优,优化集群性能和资源利用率,提升集群性能,保证hadoop平台各核心服务运行的稳定、高效; 4、编写运维相关的shell脚本或者python脚本,hadoop平台运维相关文档撰写; 5、负责指导中低级工程师,为集群用户和开发人员提供支持; 6、维持服务高效稳定,支撑业务和数据量的快速扩张;
人员要求
1、1年半及以上hadoop生态系统运维经验。 2、熟练掌握linu_操作系统,熟悉linu_文件系统,内核、网络等性能优化; 3、熟练掌握hdfs、yarn、hive、hbase、spark、storm等hadoop生态组件的功能和原理; 4、熟练掌握hadoop的安装部署及性能调优; 5、熟悉一门以上脚本语言(shell、python、perl),熟悉java; 6、具有良好责任心,团队合作意识,具有良好的沟通能力和客户服务意识; 7、对于优秀人才,学历要求可适当放宽
第18篇 hadoop开发工程师职位描述与岗位职责任职要求
职位描述:
岗位为公司自研大数据平台产品线,非定制外包。
岗位职责:
1.负责公司大数据平台的hadoop技术栈研究,形成技术解决方案和整体的大数据架构。
2.负责hadoop平台(分布式存储、分布式资源管理和调度、分布式计算等)的架构研究、测试、优化搭建工作;
3.负责探索, 研究新的 hadoop 生态中技术引擎,不断扩充平台能力。
4.制定hadoop整体集群使用规范,规范的hadoop日常维护、异常处理等工作,保障集群稳定、运行规范解决方案
5.负责公司定制项目的大数据架构的整体解决方案
6.负责各种行业大数据在不同应用场景的最佳开发实践,提供流计算、批处理分析、数据挖掘、bi分析等技术解决方案
任职资格:
1.三年以上hadoop集群架构开发或架构经验。
2.精通hadoop架构的设计以及生态,hadoop的集群的搭建、部署、开发和运维
3.精通hadoop各个模块的能力定位和配置,对hdfs、hbase、mr、spark等基本组件熟知
4.熟悉linu_系统及调错经验,熟悉 jvm 运行机制,有 shell、python开发经验。
5.有钻研新技术的热情和能力,善于交流和表达,富有团队精神
6.有企业级大数据系统设计经验者优先。
7.有一定的代码经验,python/java/c++/ruby 均可。
79位用户关注