数据工程师任职要求15篇

第1篇 流媒体大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责直播端及服务端海量用户行为数据的加工处理，数据洞察驱动业务优化；

2、打造业界领先的大数据平台，支撑数据采集，加工，建模，分析，实验，可视化的全流程；

3、打造业界领先的分布式计算，存储系统，解决大规模生产环境集群可用性和性能优化问题。

任职要求：

1、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；

2、对开源大数据系统有相关经验者优先，包括但不限于hadoop/spark/hive/flink/kafka/druid 等；

3、对数据敏感，掌握量化分析方法，善于从数据中发现问题者优先。

第2篇 数据工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、根据业务需求，进行数据项目的需求分析、模型设计、etl设计开发；

2、负责把业务数据接入、处理、存储到数据库；

3、搭建数据集成平台，实现数据采集自动化；

4、负责etl的性能、存储、调试等。

任职要求：

1、有hadoop、hive等大数据开发实在经验；

2、了解/熟悉银行业务或信托业务或零售等业务，有1年以上数据类项目设计与开发经验；

3、2年以上工作经验，其中至少有1年以上etl相关工作经验；

4、要求熟练使用主流数据库 oracle、mysql、db2等；

5、熟悉一种或多种etl工具优先考虑，informatica， kettle等；

6、熟悉 linu_开发环境，有java后台开发经验；掌握r，spark，python，js更佳；

8、了解关系数据库理论、数据仓库架构及原理、数据仓库实施方法论。

第3篇 大数据工程师-流式计算职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作；

2.负责根据需求建立数据模型、进行全网数据在线抽取分析；

3.负责算法的工程化、产品化工作；关注机器学习、数据挖掘、人工智能等方向前沿研究，并能将具体场景建模后与之结合快速工程化并落地；

4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定，并保证数据质量；

5.负责大数据计算平台的研发工作。

任职要求：

1.计算机、信息系统、数学或相近专业本科以上学历，4年以上软件研发经验；

2.精通spark／hadoop/hive/hbase/并有实战经验；

3.有scala， java， python等开发经验，精通sql；

4.有海量在线、离线数据分析系统设计和开发经验；

5.精通主流数据挖掘算法及其原理，能根据业务场景，建立挖掘模型，选择最合适和高效的算法并实现；

6.需要有责任心， 工作积极主动， 思路清晰，擅长沟通、有团队合作精神。

第4篇 python数据工程师职位描述与岗位职责任职要求

职位描述：

岗位职责：

1. 高校数据库的管理与维护；

2. 高校数据的分析；

3. 协助开发各类数据平台；

4. 数据清洗与入库；

5. 完成上级安排的其他工作。

岗位要求：

1. 全日制本科以上学历，计算机相关专业，1年以上相关工作经验；

2. 熟悉python，全面掌握python的基本语法，基本数据结构，常用library，熟悉numpy，pandas的基本用法和功能，了解python自然语言处理；

3.熟练掌握mysql；

4. 有一定的数理统计基础，热爱和数据打交道；

5. 认同创业文化，事业心强。

第5篇 数据工程师 tools & infrastructure职位描述与岗位职责任职要求

职位描述：

职责描述：

## 职能概述

1. 协助设计、实现高效稳定的存储和计算系统

2. 参与数据分析管道上的模块化软件工具的设计、开发和维护工作

3. 参与数据处理、清理版本化工具的设计、开发和维护工作

4. 参与数据可视化工具基础建设工作

5. 参与数据产品发布和管理工具、基础设施软件框架的设计、开发和维护工作

## 技术和能力要求

1. 熟悉sql，nosql数据库原理，基本文件系统原理。对分布式架构，自动化运维等工程概念有一定了解。

2. 熟悉数据科学工作流程，熟悉获取，清洗阶段的数据工程场景。了解编译器原理。有一定的算法基础。

3. 乐于挑战没有显著答案的问题，能快速理解业务场景，从具体问题中抽象出通用解决方案。

4. 具有工程思维，热衷追求可测量的指标，用证据说话。

5. 熟练掌握 python或java 至少一种语言，熟悉go语言为加分项。

6. 计算机科学，统计学等相关基础理工科专业毕业，硕士优先

7. 3年数据科学相关领域软件工作经验。

8. 对新技术有好奇心，有一定英文基础，有开源项目贡献经验优先。

第6篇 大数据工程师（电商行业）职位描述与岗位职责任职要求

职位描述：

工作职责：

1、基于hive的数据仓库建设、etl开发；

2、使用hive/flink等平台进行分析内部及外部的数据，配合业务团队进行定量和定性分析，把数据转化成为业务增值的信息；

3、探索、评估新的技术和解决方案，提高数据并行计算能力和运行速度。

任职要求：

1、熟悉大数据相关技术：kafka/flink/hadoop/druid/hbase 等；

2、具备数据库系统理论知识，掌握主流数据库管理和应用，精通sql；

3、了解统计以及数据挖掘、机器学习、人工智能技术，会使用关联分析、分类预测、聚类分析等常用分析方法；

4、熟练使用 java、python、php、go语言中的一种或者多种；

6、两年以上大数据开发经验，有高性能分布式平台开发经验，有电商行业经验优先。

第7篇 etl数据工程师岗位职责任职要求

etl数据工程师岗位职责

岗位职责:

1. 参与金融大数据研发;

2. 参与数据仓库etl流程的优化及解决etl相关技术问题;

3. 负责数据基础架构的升级和优化，不断提升系统的稳定性和效率;

4. 设计并实现对机器学习、数据挖掘的系统性支持;

岗位要求:

1. 计算机相关专业，本科及以上学历;

2. 具备良好的编程习惯，熟悉常用的数据结构和算法;

3. 熟练掌握php/python/java任一语言;

4. 具备良好的数据库理论基础知识，较强的sql书写能力，熟练使用mysql/postgres等数据库;

5. 有数据处理，etl流程优化实战经验，熟悉kettle/informatica等抽取工具;

6. 有使用 kafka，storm，spark streaming 实时数据处理系统建设经验优先。

etl数据工程师岗位

第8篇 oracle数据工程师岗位职责任职要求

oracle数据工程师岗位职责

工作职责:

1. 数据仓库和业务数据集市建设

2. 业务模型抽象、数据模型设计开发

3. 支持业务的数据需求，跟pm一起完善业务的数据分析体系和工具

4. etl、数据应用和服务的设计开发

5. 积累数据生产、分析工具，不断提高数据生产效率

6. 实时数据仓库设计、开发与服务

岗位要求:

1. 快速的业务学习和理解能力，有良好的自驱能力，对工作充满热情

2. 熟悉数据仓库各类模型建模理论，了解数据仓库数据分层架构，熟悉多维数据模型设计

3. 具备大型数据仓库架构设计、模型设计、etl设计的相关经验

4. 精通oracle数据库技术，深刻理解数据库/oracle特性，有过硬的sql能力，能编写高性能的数据处理程序。

5. 具备hadoop、hive、hbase，spark等大数据技术背景，并具有开发经验者优先

6. 具备海量数据处理经验者优先

oracle数据工程师岗位

第9篇 高级数据工程师（数仓方向）职位描述与岗位职责任职要求

职位描述：

工作职责:

1.负责全司数据的数据调研，数据模型设计，etl开发，任务监控和优化等

2.负责数据仓库多场景的基础服务层建设，如多维分析，即席查询，实时推送等

3.负责基于数据仓库之上的数据中台建设，如数据管控系统，特征工程，指标库等数据分析相关的通用服务

4.负责数据管理共享系统的设计，开发和实施；

任职资格:

1、计算机、数学相关专业全日制本科以上学历；

2、熟悉数据治理方法论，了解数据质量、数据模型和元数据管理等相关技术

3、5年以上具备大型数据仓库架构设计（离线&实时）、模型设计、etl设计的相关经验

4、要求至少精通一种主流的etl产品，如：datastage或infomatica

5、精通oracle存储过程的开发

6、具有丰富的etl实施经验，熟悉金融投资行业优先

第10篇 推送数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动用户行为的理解和建模，帮助公司各项业务满足用户需求，提升用户覆盖；

2、负责在数据建设层面，对用户隐私进行脱敏处理，保证后续数据研发过程中保护用户隐私；

3、探索、挖掘公司各项指标、用户满意度、用户增长上的各项规律，并利用这些规律帮助产品提升和扩展，增加用户满意度，扩展用户群体。

任职要求：

1、本科及以上学历，计算机、统计学、数学等相关专业；

2、较强的编程和数据工具运用能力，有hadoop，hive，spark，kafka，elasticsearch或者其他的大数据工具的使用经验；

3、对数据仓库、数据建模有一定认知；有过数据使用相关经验。

第11篇 数据工程师(数据赋能）职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责开发数据处理产品模组;

2.负责根据数据分析师提出的开发规格，开发数据流程及数据服务接口;

3.运用 etl相关工具，负责自动化数据处理流程。

4.负责执行数据管理策略应用开发，包含数据质量，数据目录，元数据管理产品开发;

5.负责保证项目进度，总结项目经验，归纳案例，实现经验共享。

任职要求：

本科毕业，计算机相关专业

专业技能：

1.具备 java / python/ r 等语言开发能力， 熟练使用 etl 工具 (nifi ， streamset ， informatica ， kettle ，sqoop等工具)

2.熟悉 hadoop，hive，hbase，mongodb， elk，spark， flink， kafka 等大数据组件，数据库管理，data warehouse (teradata， greenplum) 等经验

3.熟悉 数据处理方法及流程，数据清洗，数据模型，数据管理等领域有相关经验

4 对数据敏感度高，曾开发数据服务产品daas 者优先

应知应会：

1. 能解释分析结果并转换成改善方案

3. 应用数据产品解决分析问题

第12篇 金融数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责国内外上市公司、股票、基金、债券等金融相关数据进行收集、整理和分类；

2、根据业务需求和相关算法模型公式，对原始数据进行加工、清洗工作；

3、协助处理项目反馈的数据问题，保证数据质量和精准度；

4、搭建和完善数据采集平台，保证平台的高效和稳定性；

任职要求：

1、本科以上学历，计算机、经济、金融、统计等相关专业；

2、良好的数据敏感度，能从海量数据提炼核心结果；有丰富的数据分析、挖掘、清洗和建模的经验，能独立编写数据分析报告，及时发现和分析其中隐含的变化和问题;

3.独立工作能力强，学习能力强，基础扎实，有责任心，思维活跃，有较强的沟通协调能力；

4、具备数据建模及数据化运营相关经验，互联网、金融行业者优先;

第13篇 大数据工程师-数据流方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动所有产品线风控方向的数据流和相关数据服务；

2、面向超大规模数据问题，每天处理千亿增量的用户行为数据；

3、负责流式数据的实时传递，清洗，转换，计算，并对外提供查询服务；

4、负责相同数据集的批处理功能。

任职要求：

1、有至少tb以上级大数据处理经验，编码能力强悍，具备生产系统快速 trouble-shooting 的经验和能力；

2、熟悉大数据处理工具/框架中的一项或多项，包括但不限于hadoop， mapreduce， hive， storm， spark， druid， kafka， hbase， canal，es等；

3、对开源社区有过贡献者优先，请在简历上说明。

第14篇 中级数据工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

（1）对测试过程中采集的测试数据，依据标准进行检查与反馈，对不合格数据及时给出整改意见；项目结项后，对数据进行整理入库。

（2）依据测试方案，依托测试系统与工具，对测试数据进行分析，结合分析结果编制测试报告；对数据分析中出现的问题，与系统部、标准部进行沟通，及时解决。

（3）依据测试计划，按照测试流程，进行日常测试工作，包括但不限于：测试前技术交底，测试设备和测试场地准备与定期维护和检查，客户进场与离场登记与检查等。

（4）依据测试方案，构建测试场景环境，实施测试执行，包括但不限于：试验前搭建、调试设备；试验中记录测试数据；试验后进行数据分析等。

任职要求：

教育背景：

（1）计算机、软件、应用数据、统计学及相关专业毕业；

（2）正规大学全日制本科及以上学历，985、211优先。

基本技能：

（1）word、powerpoint、e_cel熟练运用；

（2）c1以上驾驶执照，并熟练驾驶2年以上。

工作经验：

（1）1年以上工作经验；

专业技能：

（1）熟悉数据分析的基本概念和方法，熟练使用技术手段进行数据分析和挖掘，熟悉数据挖掘及机器学习算法，能够熟练运用数据挖掘技术对数据进行分析处理，并从数据中提取有价值的信息；

（2）会使用（包括培训后能独立使用）测试场地内的各类设施、设备与系统，包含但不限于交通信号系统、雨雾模拟设备、高精度定位数采设备，abd与4a相关设备等；

（3）良好的沟通协调能力，较强的执行力；

（4）会使用matlab、r、python等任何一种语言，有技术开发背景优先；

（5）有汽车领域测试咨询从业背景，汽车测试、检测与认证从业经验优先；

工作态度:

（1）好学上进，耐心细致，有责任心；

（2）工作勤奋，善于思考问题；

（3）有时间观念，独立性强，具有团队合作精神。

第15篇 主数据工程师（急）（大数据公司）职位描述与岗位职责任职要求

职位描述：

岗位职责

1、参与主数据管理系统的需求调研和需求分析，负责集团主数据的梳理。

2、负责数据治理相关流程， 规范和标准的制定和实施，包括主数据、 元数据、数据标准等。

3、负责公司主数据管理、数据质量管理、数据生命周期管理等数据治理相关工作。

4、主数据管理系统日常管理和运维工作。

5、负责编写业务需求分析、解决方案、测试用例、用户操作手册等。

6、协助部门领导完成其他相关工作。

任职要求：

1、本科及以上学历，计算机相关专业，三年以上工作经验。

2、至少参与1个大型主数据项目完整实施，掌握mdm理论和实施方法。

3、熟悉数据库、数据仓库，具备一定开发能力。

4、熟悉数据管理理论和方法，熟练掌握数据建模理论和方法，熟悉项目管理方法论。

5、有ibm主数据项目经验者优先。