高级大数据工程师岗位职责5篇

第1篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2. 根据业务用户需要分析数据，提供数据支持

3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验

2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第2篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职位描述：

1. 基于hadoop生态系统进行大数据平台建设；

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop，hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求：

1.统招本科或以上学历，6年以上大数据开发工作经验；

2.熟练掌握shell、python开发语言；

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相关的调优、运维、开发经验；

4.熟练掌握mysql数据库集群；

5. 精通主流etl开发工具，如：informatica、data services、kettle;精通主流调度工具，如：azkaban， oozie；

6.有数据仓库、分析系统、用户画像等产品开发经验者优先；

7.有较强的数据和业务结合能力；

8.有医疗或者大健康背景优先；

9.有较强的独立、主动的学习能力，良好的沟通表达能力。

第3篇 高级大数据研发工程师（数据可视化）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责全公司的数据平台数据可视化研发工作

2.独立完成数据可视化研发工作

任职要求：

1.计算机、电子通信、数学、统计或者相关专业本科及以上学历

2.熟练掌握java/python中的一种语言

3.熟悉数据可视化开发，熟悉echarts应用开发的优先

4.熟悉web开发，熟悉html，js，css

5.熟悉quick bi的优先

6.具备良好的团队合作精神，工作有激情

7.对数据敏感，有产品思维的优先

第4篇 高级大数据产品研发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1. 参与公司数据开发平台、bi产品等大数据产品的设计和开发;

2. 负责数据开发平台、bi产品等大数据产品的部署和维护，保证其稳定和可靠;

3. 关注和参与大数据方向开源产品的技术动态与演进，推动产品与技术架构持续更新;

任职要求:

1. 计算机相关专业，本科及以上学历，5年以上软件开发经验，3年以上互联网产品或分布式系统开发设计经验;

2. 精通java， python， scala等一种或几种编程语言， 并熟悉linu_操作系统及bash shell编程;

3. 有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验， 并熟悉上述常用的分布式系统架构设计和原理;

4. 熟悉微服务框架及相关技术， 如dubbo， springcloud等;

5. 熟悉mysql、redis， 并了解或接触过其他数据库如 oracle， sqlserver， postgresql， mongodb等;

6. 了解容器技术， 如docker， kubernetes;

7. 具有一定的软件设计能力， 热爱大数据和技术，相信技术改变世界，学习能力强，认同数据价值，有面向业务的思维， 较强的自主学习能力和英文技术文档阅读能力;

8. 良好的沟通能力、团队精神及服务意识，勇于接受挑战，能承受较大的工作压力;

9. 有生产环境快速trouble-shooting的经验和能力者优先;

10. 有olap，多维度数据分析经验优先，有对数据仓库有较强的理论基础和理解者优先;

第5篇 高级大数据工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1、参与大数据开放平台基础能力建设，承担系统架构、组件开发、方案验证等工作；

2、参与构建大数据系列产品，包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线；

任职要求：

1、 统招本科或以上学历，5年以上大数据开发工作经验；

2、扎实的java基础，能熟练使用java进行软件功能开发；

3、熟练掌握基于hadoop生态的大数据开发工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有实时系统开发经验优先；

4、熟悉常用的数据挖掘算法，例如聚类、回归、决策树等，有过nlp项目经验优先；

5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先；

6、工作积极主动，善于合作，敏而好学；