管理者范文网 > 安全管理 > 岗位职责 > 工程岗位职责
栏目

高级大数据工程师岗位职责5篇

发布时间:2022-12-13 热度:68

高级大数据工程师岗位职责

第1篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 基于公司大数据产品进行数据开发,包括数据的采集,清洗,预处理,存储,建模,分析挖掘等

2. 根据业务用户需要分析数据,提供数据支持

3. 参与公司大数据产品的运维和监控,保障数据质量和服务稳定性

任职要求:

1. 具备本科以上学历, 计算机, 软件以及相关专业, 5年以上大数据开发经验

2. 熟悉数据仓库维度建模, 并能根据客户需求进行数据开发, 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java, 对hadoop相关的技术和组件(hdfs, mr, hbase, hive, spark, storm, kafka等)有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第2篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述:

职位描述:

1. 基于hadoop生态系统进行大数据平台建设;

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop,hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求:

1.统招本科或以上学历,6年以上大数据开发工作经验;

2.熟练掌握shell、python开发语言;

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理,有相关的调优、运维、开发经验;

4.熟练掌握mysql数据库集群;

5. 精通主流etl开发工具,如:informatica、data services、kettle;精通主流调度工具,如:azkaban, oozie;

6.有数据仓库、分析系统、用户画像等产品开发经验者优先;

7.有较强的数据和业务结合能力;

8.有医疗或者大健康背景优先;

9.有较强的独立、主动的学习能力,良好的沟通表达能力。

第3篇 高级大数据研发工程师(数据可视化)职位描述与岗位职责任职要求

职位描述:

岗位职责:

1.负责全公司的数据平台数据可视化研发工作

2.独立完成数据可视化研发工作

任职要求:

1.计算机、电子通信、数学、统计或者相关专业本科及以上学历

2.熟练掌握java/python中的一种语言

3.熟悉数据可视化开发,熟悉echarts应用开发的优先

4.熟悉web开发,熟悉html,js,css

5.熟悉quick bi的优先

6.具备良好的团队合作精神,工作有激情

7.对数据敏感,有产品思维的优先

第4篇 高级大数据产品研发工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1. 参与公司数据开发平台、bi产品等大数据产品的设计和开发;

2. 负责数据开发平台、bi产品等大数据产品的部署和维护,保证其稳定和可靠;

3. 关注和参与大数据方向开源产品的技术动态与演进,推动产品与技术架构持续更新;

任职要求:

1. 计算机相关专业,本科及以上学历,5年以上软件开发经验,3年以上互联网产品或分布式系统开发设计经验;

2. 精通java, python, scala等一种或几种编程语言, 并熟悉linu_操作系统及bash shell编程;

3. 有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验, 并熟悉上述常用的分布式系统架构设计和原理;

4. 熟悉微服务框架及相关技术, 如dubbo, springcloud等;

5. 熟悉mysql、redis, 并了解或接触过其他数据库如 oracle, sqlserver, postgresql, mongodb等;

6. 了解容器技术, 如docker, kubernetes;

7. 具有一定的软件设计能力, 热爱大数据和技术,相信技术改变世界,学习能力强,认同数据价值,有面向业务的思维, 较强的自主学习能力和英文技术文档阅读能力;

8. 良好的沟通能力、团队精神及服务意识,勇于接受挑战,能承受较大的工作压力;

9. 有生产环境快速trouble-shooting的经验和能力者优先;

10. 有olap,多维度数据分析经验优先,有对数据仓库有较强的理论基础和理解者优先;

第5篇 高级大数据工程师职位描述与岗位职责任职要求

职位描述:

岗位职责:

1、参与大数据开放平台基础能力建设,承担系统架构、组件开发、方案验证等工作;

2、参与构建大数据系列产品,包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线;

任职要求:

1、 统招本科或以上学历,5年以上大数据开发工作经验;

2、扎实的java基础,能熟练使用java进行软件功能开发;

3、熟练掌握基于hadoop生态的大数据开发工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有实时系统开发经验优先;

4、熟悉常用的数据挖掘算法,例如聚类、回归、决策树等,有过nlp项目经验优先;

5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先;

6、工作积极主动,善于合作,敏而好学;

《高级大数据工程师岗位职责5篇.doc》
将本文的Word文档下载,方便收藏和打印
推荐度:
点击下载文档

相关专题

相关信息

分类查询入口

一键复制