大数据开发岗位要求15篇

第1篇 大数据开发工程师岗位职责职位要求

职责描述：

岗位职责：

1、运用大数据分析工具和技术解决风险管理业务中遇到的实际问题与需求，如风险评估、成长评价等，包括对模型进行设计、开发、验证、测试、部署及监控、优化。。

2、基于海量用户数据和特征，进行数据质量检查、特征加工、数据清洗等，建立数据挖掘模型。

3、评估数据源的质量和价值，能结合业务需求和场景，从各种数据维度中挖掘数据价值，并设计不同的模型，应用于不同的业务场景中。

职位要求：

1. 计算机、统计学相关背景，熟悉常用各类机器学习算法的原理（如逻辑回归、决策树、svm、神经网络、随机森林、深度学习等）；

2.熟练使用sas、r、python等至少一种分析工具；

3.熟悉大数据分析平台和工具，如hive，hadoop， spark等优先；

4.有较强的逻辑思维能力、优秀的沟通表达能力及团队合作能力。

岗位要求：

学历要求：本科

语言要求：不限

年龄要求：不限

工作年限：5-7年经验

第2篇 大数据开发工程师（数仓方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 理解业务需求，负责数据仓库建设、etl流程的开发和优化工作；

2. 解决业务数据分析、数据报表、数据异常相关的技术问题；

3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析；

任职资格：

1. 计算机相关专业本科及以上学历；

2. 精通java编程语言，并熟悉scala、python、shell等一门以上脚本语言；

3. 熟悉hadoop大数据平台架构，熟悉spark/spark sql/yarn开发调优技术，具有相关项目经验

4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论，熟悉oracle/mysql数据库；

5. 思路清晰，具备良好的沟通能力和理解能力，较强的学习能力以及快速解决问题的能力；

6. 具有高度的责任感，工作认真、踏实。

福利待遇：

1、薪酬：有竞争力的薪酬体系，我们不止跟你谈理想，钱也必须谈一谈~

2、交通：无论天涯，免费班车直达公司，蓦然回首，地铁就在公司不远处。。。

3、工作时间：5天7小时工作制，充足的休息让你一整天元气满满！

4、各种福利：五险一金小case，节日礼物福利补贴说不完！

5、团建活动：下午茶，团队活动，部门聚餐，经费充足不差钱，大公司就是这么壕！

6、发展平台：想要升职加薪走向人生巅峰？上市公司晋升发展机会多多~

第3篇 大数据开发工程师 [数仓方向]职位描述与岗位职责任职要求

职位描述：

工作职责：

1、使用etl工具（如sqoop、kettle）进行数据加工、清洗等流程；

2、根据业务需求，进行数仓日常数据分析、数据报表开发；

3、使用hive进行数据处理，及数据模型构建；

4、具备良好的分析问题和解决问题的能力；

5、具备较强的沟通能力和逻辑表达能力，具备良好的团队合作精神和主动沟通意识；

任职要求：

1、计算机相关专业本科及以上学历；

2、熟练使用sql（mysql / oracle）；

3、熟练数据库/数据仓库分层设计、宽表设计、星型模型设计等；

4、熟练etl工具、sqoop、kettle、spark等；

5、熟悉hadoop、hive、hdfs等常用大数据组件；

6、有互联网业务分布式数据仓库、cube、大数据数据分析等相关经验者加分；

第4篇 大数据开发架构师职位描述与岗位职责任职要求

职位描述：

大数据架构师

岗位描述：

1. 负责公司大数据基础框架的整体架构设计，结合公司实际业务情况进行技术选型；

2. 负责数据存储、计算平台的整体评估、设计以及核心功能模块的开发；

3. 协助团队解决开发过程中的技术难题，负责新技术的调研，并能在团队内推广应用；

岗位要求：

1. 计算机相关专业本科以上学历，5年以上工作经验，3年以上大数据相关经验；

2. 熟悉常用的数据结构、算法以及数据建模理论；

3. 有过支撑每日亿级别数据的大数据平台建设经验，了解数据仓库实施方法论、了解数据仓库体系，并支撑过实际业务场景；

4. 具备较强的编码能力，掌握 java/scala/python 开发语言之一，熟练使用 sql 进行数据访问；

5. 精通 hadoop 生态系统基础设施，包括flume、kafka、hbase、hive、spark、storm等；

6. 有团队管理经验者优先；

第5篇 健康科技中心-高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职位描述：

1. 基于hadoop生态系统进行大数据平台建设；

2. 负责各业务条线相关指标数据的数据建模

3. 负责基于sqoop，hive、spark、sparksql、mysql进行大数据开发

4. 负责离线运算、实时计算平台项目的设计、开发及运维

5. 负责对数据平台进行性能调优

任职要求：

1.统招本科或以上学历，6年以上大数据开发工作经验；

2.熟练掌握shell、python开发语言；

3.熟练掌握hadoop、hive、hbase、spark、spark sql、storm、sqoop、kafka、flume、sparkmlib等分布式框架原理，有相关的调优、运维、开发经验；

4.熟练掌握mysql数据库集群；

5. 精通主流etl开发工具，如：informatica、data services、kettle;精通主流调度工具，如：azkaban， oozie；

6.有数据仓库、分析系统、用户画像等产品开发经验者优先；

7.有较强的数据和业务结合能力；

8.有医疗或者大健康背景优先；

9.有较强的独立、主动的学习能力，良好的沟通表达能力。

第6篇 高级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 基于公司大数据产品进行数据开发，包括数据的采集，清洗，预处理，存储，建模，分析挖掘等

2. 根据业务用户需要分析数据，提供数据支持

3. 参与公司大数据产品的运维和监控，保障数据质量和服务稳定性

任职要求：

1. 具备本科以上学历， 计算机， 软件以及相关专业， 5年以上大数据开发经验

2. 熟悉数据仓库维度建模， 并能根据客户需求进行数据开发， 向模型更新数据

3. 使用过至少一种以上的etl工具

4. 熟练掌握java， 对hadoop相关的技术和组件(hdfs， mr， hbase， hive， spark， storm， kafka等）有全面深入了解

5. 熟练掌握shell或者python中的一种

6. 具备spark开发经验者优先

7. 具备实时计算(kafka+storm/spark streaming) 经验者优先

8. 具备数据分析和数据挖掘方面经验者优先

第7篇 大数据开发（实时计算）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参与计算框架和服务的定制和改进，为公司批处理和流式计算能力提供支撑

2、基于业务需求和应用场景，设计和实现公司大数据相关产品

3、负责设计，开发，优化数据接入、数据存储、数据计算服务框架

4、为公司所有业务线提供数据支持和服务

5、主要是为实时数仓计算提供数据支持和服务

任职要求：

1、本科以上学历，3年以上大数据开发经验，掌握数据仓库理论、模型设计方法等

2、对大数据实时数仓建设有成熟的解决方案和实践经验

3、熟悉spark，flink、storm等大型分布式平台组件

4、精通sql ，sparksql优先，熟悉java，scala、python编程

5、有较强的性能优化及问题排查、解决能力

6、具备良好的沟通能力，做事认真、仔细，有责任心，具有团队协作能力

7、对kafka消息队列中间件有过深度使用经验、对于druid、kudu、presto有过项目经验

8、对于数据采集、数据订阅有成熟的解决方案或是项目经验

第8篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述：

工作职责:

1、 根据公司数据分析需求进行基于hadoop 平台的项目开发；

2、 根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理， 监控等；

3、 负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

4、 负责设计并优化基于hive 的数据仓库的建设；

5、 制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案，并落地。

任职资格:

1．从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验 ，具备海量数据加工处理相关经验；

2. 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

3．有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

4. 熟练掌握kettlesqoop、data_、airflow等;

5. 有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

6. 熟悉分布式计算presto/imapa优先;

7．有实时计算方面的经验的优先。

第9篇 大数据开发经理职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参与大数据平台、工具平台的架构、设计以及实现；

2、参与对项目的开发需求进行评审，制定项目的设计文档、开发计划文档等；

3、负责公司各类数据产品数据抽取、清洗，以及数据算法与存储的设计和优化；

4、优化大数据平台的性能，提高稳定性；

5、负责大数据平台的组件升级与参数优化。

岗位要求：

1、本科及以上学历，3年以上相关技术背景，具备扎实的数据结构和算法基础，扎实的工程实现能力；

2、熟悉hadoop大数据相关技术体系，包括但不限于hbase、hdfs、storm、kafka、spark、hive、flume等；

3、精通java或python，能熟练编写规范代码，有较强的数据库及sql开发调优能力；

4、熟悉自然语言处理/机器学习/数据挖掘领域，熟悉常用的机器学习算法优先考虑；

5、有大规模数据收集，日志处理经验，有电商数据分析背景优先考虑；

6、深入研究过大数据框架的运行机制、实现原理、源码者优先考虑。

第10篇 大数据开发主管职位描述与岗位职责任职要求

职位描述：

岗位职责：

负责大数据平台项目架构设计；

负责与客户进行具体业务需求沟通，引导客户需求并确认；

负责需求分析以及平台设计、数据模型设计工作，并输出相关文档，与第三方进行沟通，并确认项目关键节点进度。

任职要求：

国家正规院校统招本科以上学历，有5年以上工作经验，至少1年以上大数据架构师工作经验、熟悉大数据平台项目的操作流程；

熟练掌握python、hadoop、spark、kafka等工具；

较好的沟通理解能力和主动性。

第11篇 java大数据开发高级工程师岗位职责职位要求

职责描述：

岗位要求:

1、计算机或相关专业本科以上学历，3年以上专业java开发经验，有过大型项目经验优先；

2、精通 jdbc、jsp / ibatis /spring/ struts2等java主流技术；

3、熟悉web容器及主流开源框架，熟悉http的基本工作原理；

4、熟悉io、多线程、集合类等基础框架，熟悉缓存、消息、搜索等机制；

5、熟悉linu_操作系统，熟悉mysql数据库；，精通sql语言；

6、有大型项目架构设计开发和数据库优化经验优先；

7、具有良好的团队协作精神，较强的沟通能力，具备良好的问题定位分析能力和新兴技术学习能力。

岗位职责：

1.负责研发公司自主呼叫中心产品；

2.协助实施部门定位跟踪产品问题；

3.客户化项目定制开发

岗位要求：

学历要求：大专

语言要求：不限

年龄要求：不限

工作年限：3-5年

第12篇 中级大数据开发工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与公司商业智能平台的研发工作；

2、参与公司商业智能平台的升级改造工作，包括运维工作。

任职要求：

1、正规院校本科及以上学历，软件、计算机、通信、信息安全、网络工程等相关专业；

2、良好的java开发背景，熟悉spring/mybatis技术体系；

3、良好的sql功底，熟悉mysql或oracle数据库；

4、熟悉linu_；

5、了解开源pentaho产品，包括prd、mondrian、saiku、kettle等；

6、熟悉hadoop、hive、hbase、storm、spark等大数据平台；

7、沟通能力强，有较强的学习能力，有较强的责任心与良好的团队协作能力。

第13篇 大数据开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责:

1、根据业务需求进行数据模型的调研、设计、开发及验证工作，并持续进行模型的优化；

2、负责数据模型架构的构建，建立数据抽取、清洗、校验等数据加工流程规范及olap多维数据分析模型；

3、持续对系统的技术架构进行改进和优化，提升海量数据的查询性能和用户体验。

任职资格:

1、统招本科或以上学历，计算机、数据挖掘等相关专业，工作至少3年以上；

2、熟悉java开发，有脚本语言（shell，python)开发经验者优先；

3、至少熟悉一种大数据处理技术，如hadoop、spark；

4、掌握hbase、redis、elastic search等开源大数据存储技术，并能结合不同的业务场景深入使用；

5、精通sql，精通mysql、oracle、sql server等一种大型数据库，以及数据库的维护和优化。

6、熟悉常用java web开发框架，如：spring、mybatis等；

7、熟悉多线程编程，并对java自带线程池有一定研究；

8、对解决具有挑战性的问题充满激情，具有良好的分析问题和解决问题的能力。

第14篇 java大数据开发职位描述与岗位职责任职要求

职位描述：

职责描述：

1. 参与大数据平台和大数据处理框架的架构规划设计；

2. 参与数据治理工作，提升数据易用性及数据质量；

3. 理解并合理抽象业务需求，发挥数据价值，主动思考不断优化，与业务团队紧密合作；

4. 配合大数据负责人完成hadoop、spark等集群的管理、优化和维护，保证集群规模持续、稳定。

任职要求：

1. 两年以上相关工作经验；

2. 熟练掌握java语言，熟练使用linu_，强悍的编码和处理问题能力；

3. 熟悉大数据开源栈spark/hadoop、hive、hbase、elasticsearch、kafka、redis， strom/spark-streaming/flink，有至少tb以上级大数据处理经验. 有sparkstreaming的实时统计开发经验优先；

4. 对数据敏感，认真细致，善于从数据中发现疑点；

5. 善于沟通，具备优秀的技术与业务结合能力；

6. 学习能力强，喜欢研究开源新技术，有团队观念，具备独立解决问题的能力

第15篇 大数据开发（数据仓库）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参与计算框架和服务的定制和改进，为公司批处理和流式计算能力提供支撑

2、基于业务需求和应用场景，设计和实现公司大数据相关产品

3、负责设计，开发，优化数据接入、数据存储、数据计算服务框架

4、为公司所有业务线提供数据支持和服务

任职要求：

1、本科以上学历，3年以上大数据开发经验，掌握数据仓库理论、模型设计方法、etl设计理论等

2、对大数据离线数仓有成熟的解决方案和实践经验

3、深入理解公司业务，建立指标分析体系，利用数据分析，不断驱动业务优化，策略分析经验丰富优先

4、了解sql， hive sql，sparksql优先，熟悉python编程，java基础编程

5、有较强的性能优化及问题排查、解决能力

6、具备良好的沟通能力，做事认真、仔细，有责任心，具有团队协作能力