大数据要求15篇

第1篇 大数据行业专家职位描述与岗位职责任职要求

职位描述：

职责描述：

负责部门团队人员规划、能力建设、业务发展方向引导

任职要求：

1、熟悉大数据发展方向、主流技术及市场现状，深入理解行业客户诉求

2、5年以上相关工作经验，具备行业属性，在金融、公共安全、医疗等领域有一定探索

3、有团队管理经验，能保障团队整体能力提升

4、符合公司价值观，品德端正，积极进取，勇于担当，善于学习，追求卓越，心理韧性强

5、具备较强的创新、沟通影响能力、组织协调能力，同时有良好的评估探究问题、人际关系构建能力

第2篇 大数据计算引擎高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的大数据计算引擎，服务于今日头条全公司的数十个用户产品线；

2、面向超大规模数据问题，每天千亿增量的用户行为数据，秒级处理pb级别的数据计算；

3、善于理解和抽象业务问题，支撑多样的海量数据分析场景。

任职要求：

1、强悍的系统设计&编码能力，追求优雅的设计和优秀的代码质量，高标准，快速行动；

2、对hive/kylin/presto/spark/tez/impala 的一项或多项有深入研究者优先；

3、有pb规模的数据处理经验者优先/4、开源项目commiter或贡献过patch 者优先，请在简历上说明。

第3篇 高级大数据产品研发工程师职位描述与岗位职责任职要求

职位描述：

岗位职责:

1. 参与公司数据开发平台、bi产品等大数据产品的设计和开发;

2. 负责数据开发平台、bi产品等大数据产品的部署和维护，保证其稳定和可靠;

3. 关注和参与大数据方向开源产品的技术动态与演进，推动产品与技术架构持续更新;

任职要求:

1. 计算机相关专业，本科及以上学历，5年以上软件开发经验，3年以上互联网产品或分布式系统开发设计经验;

2. 精通java， python， scala等一种或几种编程语言， 并熟悉linu_操作系统及bash shell编程;

3. 有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用经验， 并熟悉上述常用的分布式系统架构设计和原理;

4. 熟悉微服务框架及相关技术， 如dubbo， springcloud等;

5. 熟悉mysql、redis， 并了解或接触过其他数据库如 oracle， sqlserver， postgresql， mongodb等;

6. 了解容器技术， 如docker， kubernetes;

7. 具有一定的软件设计能力， 热爱大数据和技术，相信技术改变世界，学习能力强，认同数据价值，有面向业务的思维， 较强的自主学习能力和英文技术文档阅读能力;

8. 良好的沟通能力、团队精神及服务意识，勇于接受挑战，能承受较大的工作压力;

9. 有生产环境快速trouble-shooting的经验和能力者优先;

10. 有olap，多维度数据分析经验优先，有对数据仓库有较强的理论基础和理解者优先;

第4篇 大数据安全专家职位描述与岗位职责任职要求

职位描述：

职责描述：

1、负责大数据安全整体技术解决方案的牵头设计、编写，以及部分落地产品的设计；

2、负责公司数据安全战略级项目的售前咨询，推进公司整体数据安全解决方案体系建设和完善。

任职要求：

1、硕士以上学历，3年以上数据安全、网络安全或者大数据领域工作经验；

2、具有智慧城市、智慧公安、大型企业网络安全、数据安全或者大数据解决方案工作经验者优先；

3、熟悉并研究过数据安全生命周期、数据治理、个人隐私保护、gdpr、大数据安全、dsmm者优先；

4、熟悉并研究过前沿数据安全技术，如：大数据安全、同态加密、数据脱敏、数据鉴权；

5、熟悉国内外大数据安全、网络安全行业发展，熟悉hadoop/hive安全设计；

6、具有良好的沟通、演讲和编写解决方案的能力。

第5篇 大数据研发工程师-产品运营方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责企业级大数据平台的研发，服务于今日头条公司内外的几十条产品线；

2、不局限于按部就班的研发工作，有强烈的产品sense，对用户体验敏感，能够综合运用技术/产品/运营方案，提升终端用户体验；

3、平台产品包括但不限于：用户行为分析，查询中心，bi报表，元数据管理，abtest系统，数据开发套件等；

任职要求：

1、计算机等相关专业优先，本科及以上学历；

2、复合型人才，有研发能力的pm，或有产品运营能力的研发等均可投递；

3、做事积极主动，优秀的组织协调，推进执行能力，思路手段灵活，对用户体验负责；有数据分析，大数据研发，数据产品设计，售前售后等经验之一者，优先考虑；

第6篇 大数据平台高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的通用数据平台和分析型产品，服务于今日头条全公司的数十个用户产品线；

2、面向pb级超大规模数据问题，每天处理千亿增量的用户行为数据；

3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程；

4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第7篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求

职位描述：

工作职责:

1、 根据公司数据分析需求进行基于hadoop 平台的项目开发；

2、 根据需求进行数据仓库模型设计，熟练使用kettle工具进行etl程序的开发；包括实时数据加工，计算，etl，管理， 监控等；

3、 负责针对源系统进行数据抽取、处理、分析等相关工作，及项目中涉及到的数据库创建、维护及提供数据接口工作；

4、 负责设计并优化基于hive 的数据仓库的建设；

5、 制定数据库备份和恢复策略及工作流程与规范。

6、能出具消费品品牌制造行业应用的数据分析技术解决方案，并落地。

任职资格:

1．从事数据仓库领域至少2年以上，熟悉数据仓库模型设计与etl开发经验 ，具备海量数据加工处理相关经验；

2. 熟悉数据仓库领域知识和技能者优先，包括但不局限于：元数据管理、数据开发测试工具与方法、数据质量、主数据管理；

3．有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关实践经验着优先，重点考察hive、hdfs、hbase;

4. 熟练掌握kettlesqoop、data_、airflow等;

5. 有消费品品牌制造、零售行业经验，尤其快消品行业和财务领域数据项目经验者优先;

6. 熟悉分布式计算presto/imapa优先;

7．有实时计算方面的经验的优先。

第8篇 大数据应用分析岗位职责大数据应用分析职责任职要求

大数据应用分析岗位职责

职责描述:

1、基于行业电商大数据，撰写专业分析报告，对行业市场产品和用户评论进行深度分析和探索，为行业研判、品类拓展等提供策略支持。

2、研究企业在互联网上的售销、用户评论、舆情、行业咨询等等互联网大数据，在产品企划、研发、品质、营销、售后、市场研究等领域提供数据驱动业务运营能力。

3、推动公司大数据产品的持续运营，包括但不限于:数据稽核、功能拓展、数据小品、业务培训等工作。

4、梳理数据分析方法与流程，沉淀知识积累。

任职要求:

1、全日制本科或以上学历，数学、统计、市场营销等相关专业优先考虑。3年以上数据统计、分析和挖掘相关工作经验，有电商分析经验优先考虑。

2、熟练使用python，sql，e_cel者优先。

3、对数据敏感，有业务意识，具备良好的逻辑分析能力和系统性思维能力。

4、思维敏捷，有耐心、有责任感，工作积极主动，具备学习与创新意识，良好的沟通能力及团队协作意识。有洞察力和创新意识，快速学习能力强，适应高强度挑战;

5、理解互联网数据产品的商业模式和产业生态，全面考虑产品形态和推进方式;

第9篇 大数据工程师职位描述与岗位职责任职要求

职位描述：

这是一个为商业人工智能领域构建实时大数据分析平台的工作机会。我们希望您具备计算机科学或者相关专业领域的专业背景，并拥有构建分布式可扩展数据处理及大数据存储方面的丰富经验。您将担任跨职能的团队中的重要角色。我们希望您斗志昂扬，注重结果，积极主动，具备推动产品的增长和成功的成功经验。

工作职责

•在云端或者本地集群上构建可扩展的实时数据处理流水线，收集、转换、加载并管理各类数据源

•构建可扩展的分布式数据存储

•确保所构建的数据处理管道具有高质量并可审计

•开发相关工具以优化数据的提取、分析及可视化效率

•评估数据工程领域的新技术，并开发原型，以持续改善工作

•与框架和其他团队合作，确保系统运行符合设计预期

工作要求

•全日制硕士以上学历，计算机相关专业，cet6

•具备大数据相关技术例如spark， kafka， hadoop， hbase， hive等的丰富经验

•具备五年以上java、scala、python相关工作经验，mysql， redshift等sql相关经验

•具备三年以上可扩展实时etl开发经验

•熟悉azure/aws/gcp相关工具与知识

•良好的书面/口头沟通技巧

•具备机器学习算法方面工作经验者优先

第10篇 大数据挖掘岗位职责任职要求

大数据挖掘岗位职责

大数据挖掘应用设计岗位要求:

1.大数据专业，具有丰富的数据仓库开发经验，有2年及以上基于hadoop/storm/hive/hbase等应用开发经验，对分布式计算理论有深刻理解;

2. 熟练掌握大数据/机器学习方法及相关算法，对数据结构、算法有深刻理解;

3.精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;

4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一种脚本语言;

5.熟悉高并发分布式计算系统的设计，精通map reduce编程框架，熟悉常用的nosql和内存数据库技术，如hadoop，hdfs，hbase，mongodb等分布式数据体系，熟悉storm / spark stream等相关的流式计算系统;

6.良好的系统分析、架构设计能力。

岗位职责:

1. 参与设计客户要求的数据挖掘应用，参与撰写相关文档;

2. 相关系统的编程、部署、实施工作;

3. 根据业务需要，跟踪大数据技术领域趋势并能结合实际业务应用。岗位要求:

1.大数据专业，具有丰富的数据仓库开发经验，有2年及以上基于hadoop/storm/hive/hbase等应用开发经验，对分布式计算理论有深刻理解;

2. 熟练掌握大数据/机器学习方法及相关算法，对数据结构、算法有深刻理解;

3.精通java、熟练掌握mapreduce原理及数据分析相关的二次开发;

4.熟悉 linu_/uni_ shell 、熟悉(perl/python/shell)任意一种脚本语言;

5.熟悉高并发分布式计算系统的设计，精通map reduce编程框架，熟悉常用的nosql和内存数据库技术，如hadoop，hdfs，hbase，mongodb等分布式数据体系，熟悉storm / spark stream等相关的流式计算系统;

6.良好的系统分析、架构设计能力。

岗位职责:

1. 参与设计客户要求的数据挖掘应用，参与撰写相关文档;

2. 相关系统的编程、部署、实施工作;

3. 根据业务需要，跟踪大数据技术领域趋势并能结合实际业务应用。

大数据挖掘岗位

第11篇 大数据平台架构师岗位职责大数据平台架构师职责任职要求

大数据平台架构师岗位职责

工作职责:

负责大数据开发、数据挖掘、算法平台的技术架构及建设;

负责大数据实时检索分析平台的架构和建设;

负责pcg业务算法推荐，实时流计算框架的研发优化;

跟踪移动互联网开源大数据框架、新算法框架的技术选型及平台化预研及架构;

负责业务挖掘、算法应用的平台支持;

负责>;5人的技术或ft团队管理。

任职要求:

5年以上系统建设，设计，架构经验;4年以上大数据系统开发，设计，架构经验;3年以上软件工程管理经验;

熟悉商业智能系统，熟悉数据仓库，熟悉数据集市;

熟悉大数据相关技术:hadoop， hive， hbase， zookeeper， spark， cassandra， mapreduce;并阅读过相关源码;

管理过数据量上t级别，节点数300以上的大数据集群，开发，优化并管理过上t级别的大数据作业;

熟悉常用机器学习算法，了解深度学习，强化学习，迁移学习算法，了解相关原理(ff， bf， sgd等);

熟悉各种抽样方法(分层，过抽样等)，特征处理方法(缺失值处理，离散化等);

熟悉机器学习框架或工具(spark mllib，tensorflow， caffe等)，了解源码并能应用项目;

具备大数据云平台、计算存储平台、可视化开发平台经验，具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验，对大数据处理及应用有浓厚兴趣;

具备较强的团队管理能力和沟通能力，思维活跃，前瞻学习能力强;

了解软件项目管理、敏捷管理方法论，在中大型项目中有所实践。

第12篇 流媒体大数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责直播端及服务端海量用户行为数据的加工处理，数据洞察驱动业务优化；

2、打造业界领先的大数据平台，支撑数据采集，加工，建模，分析，实验，可视化的全流程；

3、打造业界领先的分布式计算，存储系统，解决大规模生产环境集群可用性和性能优化问题。

任职要求：

1、热爱计算机科学和互联网技术，优秀的编码能力，乐于快速学习和尝试新技术、新工具；

2、对开源大数据系统有相关经验者优先，包括但不限于hadoop/spark/hive/flink/kafka/druid 等；

3、对数据敏感，掌握量化分析方法，善于从数据中发现问题者优先。

第13篇 大数据咨询经理岗位职责描述岗位要求

职位描述：

岗位职责：

1、根据公司产品定位，开拓大数据商业化的合作业务，与客户建立良好的人际关系，并及时配合产品、销售部进行数据源挖掘；

2、深入了解公司业务模型与技术算法逻辑，针对客户定制化的数据合作需求，提供最优解决方案，并协调内部资源推动结果落地；

3、完成公司现有客户资源的持续性合作以及销售线索的跟进，向客户准确传达公司服务信息、企业优势及核心竞争力，为公司树立良好的市场口碑；

4、参与数据产品的市场定位、运营模式设置、用户画像定位等综合产品打磨工作。

岗位要求：

1、统招本科及以上学历，数据变现、数据咨询、运营商合作等相关行业经验5年以上；

2、良好的客户形象和公关能力，具备大数据交易行业的资深经验和客户关系；

3、对市场机会有敏锐的嗅觉，能够发现潜在商机；

4、具备一定的大数据专业基础和自学能力工作热情，积极主动，有一定的数据技术背景更佳；

5、人品端正，具有独立开展工作及团队合作精神。

第14篇 大数据查询引擎高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的交互式数据分析系统，服务于今日头条全公司的数十个用户产品线；

2、面向超大规模数据问题，每天千亿增量的用户行为数据，秒级处理pb级别的数据计算；

3、善于理解和抽象业务问题，支撑多样的海量数据分析场景。

任职要求：

1、理解分布式系统，思路清晰，具备生产系统快速 trouble-shooting 的经验和能力，擅长分析深层次的原因；

2、对市面上常见的 olap 系统设计与源码有深入研究，给 hive/kylin/presto/spark/tez 等项目提交过 patch者优先。

第15篇 大数据研发专家职位描述与岗位职责任职要求

职位描述：

职责描述：

1、负责全域数据和应用产品的数据体系的建设，通过数据+算法+工程化能力，处理和萃取数据，让其成为应用和产品的能源；

2、参与大数据基础架构和技术体系的规划建设，包括数据采集平台、数据资产管理与治理平台、数据质量及稳定性保障体系、数据处理智能化和自动化体系的建设。

3、 以上工作职责有具体的细分，你可以基于你的兴趣和爱好选择不同的方向发展；

任职要求：

以下能力项不是全部要求，我们有多个细分岗位供您选择

1、有从事分布式数据存储与计算平台应用开发经验，熟悉hadoop生态相关技术并有相关开发经验，有spark/flink的开发经验尤佳；

2、较为丰富的数据仓库及数据平台的架构经验，精通数据仓库建模及etl设计开发；有较为系统的海量数据性能处理经验；在大数据资产管理与治理有一定成功产品化经验；

3、具备丰富的大型互联网日志采集系统设计或架构经验，具备较扎实的理论基础和工程能力，熟悉http、http等协议，有ngin_、apache等web服务器上的模块开发或子系统的架构设计能力，有ios或android客户端sdk及服务端架构设计经验；

4、具备一定的java、python语言的开发能力，具备机器学习算法能力尤佳；

5、 良好的思维逻辑性、语言表达能力；有较好英语口语能力，将安排海外岗位；