大数据工程师岗位要求15篇

第1篇 大数据工程师-广告系统职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动海量用户行为数据的处理，在分布式计算平台基础上建立高效、实时的数据 pipeline；

2、负责推荐系统、广告系统的数据分析，发现模式与规律，为实验解释、系统改进提供数据支持；

3、负责 hadoop，spark 等大数据基础设施和平台的改进，解决大规模生产环境集群可用性和性能优化问题。

任职要求：

1、2019届毕业，本科及以上学历，计算机相关专业；

2、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；

3、对数据敏感，掌握量化分析方法，善于从数据中发现问题，提出假设并使用数据进行验证；

4、对至少一项分布式计算平台有使用经验，例如 hadoop，spark，hive，storm，kafka 等；

5、有参与开源项目对社区有贡献的经历，有互联网公司实习经历，有大数据处理或用户行为数据分析经验者优先。

第2篇 工业大数据工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、针对工厂四大ai场景（机器视觉/图像识别、机器学习/phm、知识发现、自然语言处理），给出有竞争力的算法实现；

2、深入了解业务需求，能对算法和模型应用效果进行评估、分析和优化等；

3、ai和大数据相关课程开发培训；

任职要求：

1、全日制本科及以上学历，有5年以上相关工作经验；

2、曾经实作过ai算法功能，有深度学习项目和相关经验，图像处理经验优先考虑；

3、熟悉流行的ai学习开源工具，如tensorflow等，有计算机视觉、深度学习的开发经验者优先；

4、具备处理、清洗、核定分析数据能力，熟悉编程语言python等。

第3篇 大数据工程师职位描述与岗位职责任职要求

职位描述：

这是一个为商业人工智能领域构建实时大数据分析平台的工作机会。我们希望您具备计算机科学或者相关专业领域的专业背景，并拥有构建分布式可扩展数据处理及大数据存储方面的丰富经验。您将担任跨职能的团队中的重要角色。我们希望您斗志昂扬，注重结果，积极主动，具备推动产品的增长和成功的成功经验。

工作职责

•在云端或者本地集群上构建可扩展的实时数据处理流水线，收集、转换、加载并管理各类数据源

•构建可扩展的分布式数据存储

•确保所构建的数据处理管道具有高质量并可审计

•开发相关工具以优化数据的提取、分析及可视化效率

•评估数据工程领域的新技术，并开发原型，以持续改善工作

•与框架和其他团队合作，确保系统运行符合设计预期

工作要求

•全日制硕士以上学历，计算机相关专业，cet6

•具备大数据相关技术例如spark， kafka， hadoop， hbase， hive等的丰富经验

•具备五年以上java、scala、python相关工作经验，mysql， redshift等sql相关经验

•具备三年以上可扩展实时etl开发经验

•熟悉azure/aws/gcp相关工具与知识

•良好的书面/口头沟通技巧

•具备机器学习算法方面工作经验者优先

第4篇 大数据工程师-流式计算职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作；

2.负责根据需求建立数据模型、进行全网数据在线抽取分析；

3.负责算法的工程化、产品化工作；关注机器学习、数据挖掘、人工智能等方向前沿研究，并能将具体场景建模后与之结合快速工程化并落地；

4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定，并保证数据质量；

5.负责大数据计算平台的研发工作。

任职要求：

1.计算机、信息系统、数学或相近专业本科以上学历，4年以上软件研发经验；

2.精通spark／hadoop/hive/hbase/并有实战经验；

3.有scala， java， python等开发经验，精通sql；

4.有海量在线、离线数据分析系统设计和开发经验；

5.精通主流数据挖掘算法及其原理，能根据业务场景，建立挖掘模型，选择最合适和高效的算法并实现；

6.需要有责任心， 工作积极主动， 思路清晰，擅长沟通、有团队合作精神。

第5篇 大数据工程师-数据流方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动所有产品线风控方向的数据流和相关数据服务；

2、面向超大规模数据问题，每天处理千亿增量的用户行为数据；

3、负责流式数据的实时传递，清洗，转换，计算，并对外提供查询服务；

4、负责相同数据集的批处理功能。

任职要求：

1、有至少tb以上级大数据处理经验，编码能力强悍，具备生产系统快速 trouble-shooting 的经验和能力；

2、熟悉大数据处理工具/框架中的一项或多项，包括但不限于hadoop， mapreduce， hive， storm， spark， druid， kafka， hbase， canal，es等；

3、对开源社区有过贡献者优先，请在简历上说明。

第6篇 高级大数据工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1、参与大数据开放平台基础能力建设，承担系统架构、组件开发、方案验证等工作；

2、参与构建大数据系列产品，包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线；

任职要求：

1、 统招本科或以上学历，5年以上大数据开发工作经验；

2、扎实的java基础，能熟练使用java进行软件功能开发；

3、熟练掌握基于hadoop生态的大数据开发工具，包括hive、spark、hbase、sqoop、es、impala、flink、storm等，有实时系统开发经验优先；

4、熟悉常用的数据挖掘算法，例如聚类、回归、决策树等，有过nlp项目经验优先；

5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先；

6、工作积极主动，善于合作，敏而好学；

第7篇 华为大数据工程师岗位职责职位要求

职责描述：

1. 负责项目组数据挖掘、数据分析、数据建模工作，能够按要求、高质量地完成任务；

2. 熟练掌握分析设计工具，按照规范的要求，编写设计文档；

3. 按照设计功能，实现模块的代码编写和维护；

4. 按照公司的规范进行编码，并对开发的代码进行单元测试；

5. 负责项目开发过程中的技术攻关及运行中出现的技术问题。

任职资格：

1、3年以上数据仓库和数据建模经验，包括不限于：etl、dw、olap、多维数据模型等；

2、一定的数据可视分析基础，熟练掌握power pivot、powerbi等工具用于数据分析；

3、有ssas方案的设计或开发经验优先；

4、熟练使用至少一款bi相关工具，包括tableau，powerbi，oracle biee，qlik等等。

5、理解数据仓库和数据建模相关知识。

6、沟通能力优秀，勤奋好学，热爱数据工作；

7、良好的团队精神，工作负责，具有良好的职业操守。

8、本科以上学历学位，具备cet-4/6优先。

岗位要求：

学历要求：本科

语言要求：不限

年龄要求：不限

工作年限：3-4年经验

第8篇 大数据工程师（ elasticsearch/spark）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、 负责基于elasticsearch的研发；

2、 负责基于spark生态系统的研发；

3、 负责elasticsearch/spark集群调优；

4、 负责对数据进行建模。

任职要求：

1、 大学本科及以上学历，计算机相关专业；

2、 三年以上工作经验；

3、 熟练掌握java/scala后端开发，如多线程、网络等；

4、 熟练掌握python、shell中的一种脚本语言；

5、 熟悉spark 生态系统组件，如：hadoop、flume、kafka、hbase、hive、pig、zookeeper；

6、 熟悉linu_开发环境；

7、 熟悉elasticsearch、lucene优先；

8、 能够读懂及书写英文文档；

9、 有spark调优、统计学知识的优先考虑；

10、 有机器学习经验者优先考虑；

11、 对新技术有孜孜不倦的热情。

第9篇 大数据工程师岗位职责职位要求

职责描述：

华为企业bg-大数据工程师

1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作

2、数据处理流程设计及开发

3、海量数据的采集、存储、管理、分析、建模

4、负责大数据、数仓平台的监控及优化，针对持续增长的数据提供相应的解决方案

5、负责大数据、数仓项目的疑难问题解决，性能优化

专业知识要求：

1、有3年以上相关岗位工作经历，或者非金融业的数据服务或信息数据管理工作经验

2、数学、计算机技术等相关专业

3、精通大数据（mppdb、hadoop）等相关技术，并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。

4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种，精通数据仓库理论架构，包括但不限于数据调度、etl、元数据管理、数据监控；

5、精通1-2门开发语言（java/python/scala/shell）

6、具有比较突出的组织、策划、协调及沟通能力，有强烈的结果导向和客户导向。

岗位要求：

学历要求：本科

语言要求：不限

年龄要求：不限

工作年限：3-5年

第10篇 微信安全大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

通过海量数据挖掘建立微信安全画像和数据仓库，协助在线策略进行安全控制

构建机器学习无监督或有监督算法模型，协助精准识别微信体系内各种恶意行为

建立大规模文本内容识别能力，包括但不限于文本分类，聚类等常见nlp任务模式

任职要求：

数学、统计、计算机、自然语言处理等相关专业硕士及以上学历；或者三年以上互联网数据分析和大数据开发相关工作经验；

熟悉经典的聚类、分类等机器学习和深度学习算法，有大规模机器学习系统开发经验优先；

熟练掌握c++/java/scala/python等至少一门编程语言。

有主流大数据平台spark/hadoop/flink/storm等平台开发经验，熟悉分布式计算原理优先

第11篇 流媒体大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责直播端及服务端海量用户行为数据的加工处理，数据洞察驱动业务优化；

2、打造业界领先的大数据平台，支撑数据采集，加工，建模，分析，实验，可视化的全流程；

3、打造业界领先的分布式计算，存储系统，解决大规模生产环境集群可用性和性能优化问题。

任职要求：

1、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；

2、对开源大数据系统有相关经验者优先，包括但不限于hadoop/spark/hive/flink/kafka/druid 等；

3、对数据敏感，掌握量化分析方法，善于从数据中发现问题者优先。

第12篇 资深大数据工程师职位描述与岗位职责任职要求

职位描述：

【岗位职责】：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；

2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；

3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；

4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；

5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；

6、参与公司数据治理策略等的制订和实施；

7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

【任职资格】：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队；

2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；

3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；

4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；

5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；

6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式

7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。

8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第13篇 增长大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

负责用户增长方向的离线和实时数据仓库体系建设工作，提升数据分析工作的效率；

结合内外部数据，构建完整的用户生命周期行为数据体系；

构建的支持用户增长的数据分析产品，支持快速的深度分析海量ab测试实验结果；

深度分析用户行为、行业情况和ab测试数据，利用数据挖掘算法对多维数据进行关联分析。

任职要求：

本科及以上学历，计算机、统计、数学、通信等理工类相关专业；

熟悉数据仓库理论和技术体系，熟练掌握sql/hive/mapreduce/spark/flink等大规模数据处理技术；

至少精通（python/java/scala/c++/r）一门编程语言，熟练运用各种常用算法和数据结构 ；

有分布式计算、分布式存储、数据挖掘经验者优先，有开发设计用户画像方面经验者优先；

熟悉实时计算框架和相关处理技术者优先；

熟悉growth hacking，或对此方向有兴趣者优先。

第14篇 java大数据工程师岗位职责职位要求

职责描述：

岗位职责：

1、 负责大数据挖掘与数据算法实现；

2、 负责网络业务智能诊断课题任务。

岗位要求：

1、2年以上数据分析、数据挖掘及模型开发经验；

2、熟练掌握至少一门语言（java、python、r、scala）进行挖掘和分析；熟练掌握数据分析工具（sas、spss、r、python），对数据进行快速验证和分析；

3、熟悉常用的数据挖掘和机器学习算法（决策树、逻辑回归、svm、贝叶斯、神经网络等）；有大数据并行处理分布式计算经验，熟悉hadoop/hive/storm/spark等；

4、熟悉数据可视化相关理论，有数学建模经验优先。

工作地点：福州

岗位要求：

学历要求：本科及以上

语言要求：不限

年龄要求：不限

工作年限：经验1-3年

第15篇 大数据工程师（电商行业）职位描述与岗位职责任职要求

职位描述：

工作职责：

1、基于hive的数据仓库建设、etl开发；

2、使用hive/flink等平台进行分析内部及外部的数据，配合业务团队进行定量和定性分析，把数据转化成为业务增值的信息；

3、探索、评估新的技术和解决方案，提高数据并行计算能力和运行速度。

任职要求：

1、熟悉大数据相关技术：kafka/flink/hadoop/druid/hbase 等；

2、具备数据库系统理论知识，掌握主流数据库管理和应用，精通sql；

3、了解统计以及数据挖掘、机器学习、人工智能技术，会使用关联分析、分类预测、聚类分析等常用分析方法；

4、熟练使用 java、python、php、go语言中的一种或者多种；

6、两年以上大数据开发经验，有高性能分布式平台开发经验，有电商行业经验优先。