大数据平台岗位职责15篇

岗位职责是什么

大数据平台岗位是企业信息技术部门的核心角色，负责设计、构建和维护高效稳定的大数据处理和分析系统。此岗位专注于利用先进的数据科学技术，挖掘并转化海量数据为企业决策提供有力支持。

岗位职责要求

1. 深入理解大数据技术栈，包括hadoop、spark、hive、hbase等，并具备实际项目经验。

2. 精通至少一种编程语言，如java、python或scala，用于数据处理和开发大数据解决方案。

3. 熟悉数据库管理和sql，能够优化查询性能，确保数据准确性和一致性。

4. 具备良好的统计学和机器学习基础，能应用到数据分析和预测模型中。

5. 有云平台（如aws、azure或google cloud）经验，了解大数据服务如emr、hdinsight或bigquery。

6. 具备良好的团队协作和沟通能力，能与业务部门有效对接需求。

岗位职责描述

大数据平台工程师的角色不仅仅是技术实施者，更是数据驱动创新的推动者。他们需要搭建高性能的数据处理管道，确保数据的实时流动和存储。此外，他们还需要监控系统性能，解决可能出现的技术问题，以保证系统的稳定运行。更重要的是，他们需要与业务团队紧密合作，理解业务需求，通过数据洞察为战略决策提供依据。

有哪些内容

1. 数据架构设计：规划和实施高效的数据存储和处理架构，确保数据的安全性和可扩展性。

2. 平台优化：持续优化大数据平台，提高数据处理速度，减少资源消耗。

3. 数据集成：整合来自多个源的异构数据，实现数据的一致性和完整性。

4. 分析工具开发：构建自定义分析工具和报表，支持业务部门进行数据驱动的决策。

5. 数据安全：实施数据加密和访问控制策略，保护企业敏感信息。

6. 项目协作：与项目经理、数据科学家和业务分析师共同参与项目，确保数据解决方案满足业务需求。

7. 技术培训：分享大数据知识和技术，提升团队的整体数据素养。

大数据平台岗位在企业数字化转型中扮演着至关重要的角色，通过驾驭大数据的力量，为企业创造价值，驱动业务发展。

大数据平台岗位职责范文

第1篇 大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

负责spark、hadoop计算平台的设计和开发工作，构建高效稳定的计算平台，为业务提供大数据分析所需的海量计算服务；

负责数据仓库、以及机器学习平台的建设。

任职要求：

计算机相关专业，本科及以上学历，2年以上大数据平台开发、运维经验；

对spark、hadoop平台计算原理有深刻理解，能够阅读spark、hadoop源码；对社区有源码贡献者优先；

熟悉spark流计算框架或其他开源实时计算框架；

有elasticsearch集群运维、开发经验者优先；

有数据仓库建设经验者优先；

数据大数据算法经验、机器学习平台建设经验者优先；

精通java、熟练掌握mapreduce原理及数据分析相关的二次开发；

对新技术充满热情，具有良好的学习能力、团队协作能力和沟通能力；

能承受较大的工作压力。

第2篇 大数据平台高级开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责大数据开源组件的调研

2、负责大数据平台自研平台系统及功能模块设计与开发

3、配合架构师及测试按时完成开发，保证产品正常发布与迭代

任职要求：

1、本科以上学历，计算机相关专业

2、2年以上大数据平台开发经验

3、精通java，熟悉linu_系统，深入理解并使用主流技术框架，如springboot、mybatis、mq、redis、zk、spring cloud等技术栈，具备丰富的分布式系统的研发经验

4、熟悉hadoop生态圈其他系统，包括hive，pig，hbase，spark，kafka，oozie，sqoop，flume，zookeeper， strom，flink，并了解其原理

5、熟练掌握各类数据结构与算法，具有较强的编码能力

6、具有良好的团队合作精神和表达沟通能力

7、有数据中台，数据服务平台开发经验，熟悉hadoop生态圈组件者优先

第3篇 大数据平台(高级)工程师-实验评估方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的灰度实验/abtest系统，面向头条全公司的所有产品线；

2、建立通用的用户行为指标体系，探索性发掘新指标，研究业界领先的个性化评估方法；

3、从pb级超大规模的用户行为数据中挖掘信息，并设计实验验证假设，为策略/产品改进提供支持。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第4篇 大数据平台架构师岗位职责大数据平台架构师职责任职要求

大数据平台架构师岗位职责

工作职责:

负责大数据开发、数据挖掘、算法平台的技术架构及建设;

负责大数据实时检索分析平台的架构和建设;

负责pcg业务算法推荐，实时流计算框架的研发优化;

跟踪移动互联网开源大数据框架、新算法框架的技术选型及平台化预研及架构;

负责业务挖掘、算法应用的平台支持;

负责>;5人的技术或ft团队管理。

任职要求:

5年以上系统建设，设计，架构经验;4年以上大数据系统开发，设计，架构经验;3年以上软件工程管理经验;

熟悉商业智能系统，熟悉数据仓库，熟悉数据集市;

熟悉大数据相关技术:hadoop， hive， hbase， zookeeper， spark， cassandra， mapreduce;并阅读过相关源码;

管理过数据量上t级别，节点数300以上的大数据集群，开发，优化并管理过上t级别的大数据作业;

熟悉常用机器学习算法，了解深度学习，强化学习，迁移学习算法，了解相关原理(ff， bf， sgd等);

熟悉各种抽样方法(分层，过抽样等)，特征处理方法(缺失值处理，离散化等);

熟悉机器学习框架或工具(spark mllib，tensorflow， caffe等)，了解源码并能应用项目;

具备大数据云平台、计算存储平台、可视化开发平台经验，具备中大型成功项目经验优先;具备大规模分布式计算平台的使用和并行算法的开发经验，对大数据处理及应用有浓厚兴趣;

具备较强的团队管理能力和沟通能力，思维活跃，前瞻学习能力强;

了解软件项目管理、敏捷管理方法论，在中大型项目中有所实践。

第5篇 大数据平台技术经理岗位职责

大数据平台高级技术经理 招银 招银金融租赁有限公司,招银,招银 职责描述:

1. 负责租赁行业大数据平台架构规划、技术落地、与开发团队协同实施;

2. 负责需求调研、需求分析,编写需求分析说明书,负责项目全周期管理;

3. 组织uat测试方案制定、测试案例准备,负责测试环境搭建、以及对项目进行验收测试 。

任职要求:

1. 计算机软件或信息系统相关专业硕士以上学历;

2. 具有三年及以上大数据系统架构规划及系统建设相关的工作经验;

3. 精通大数据平台存储、计算及算法相关技术,精通机器学习相关模型与算法、或nlp或计算机图像识别等相关理论及技术,熟悉精益(敏捷)项目管理、瀑布式项目管理流程,有项目经验者优先;

4. 有强烈的技术思维及自我突破的欲望,性格外向、善于组织沟通、文字表达能力强。

第6篇 大数据平台高级工程师-平台产品方向职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的统一数据平台和分析型产品的研发，服务于今日头条全公司的数十个用户产品线；

2、设计和实现web后端和关键数据服务，用数据�量产品并驱动产品演进。

任职要求：

1、熟悉互联网产品和服务的开发过程，熟悉后端技术架构，具备良好的系统设计能力；

2、扎实的计算机基础，对技术有热情，愿意不断尝试新技术和业务挑战；

3、熟悉python和go语言优先；

4、有大数据集、分布式计算工具(hadoop，spark，hive，storm)等应用开发经验优先；

5、有产品sense，兼具pm技能者优先。

第7篇 大数据平台高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责公司级的通用数据平台和分析型产品，服务于今日头条全公司的数十个用户产品线；

2、面向pb级超大规模数据问题，每天处理千亿增量的用户行为数据；

3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程；

4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。

任职要求：

1、熟悉多项大数据处理/分析相关的工具/框架，e.g.hadoop， mapreduce， hive， storm， spark， kylin，scribe， kafka， hbase， canal，sqoop etc；

2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情；

3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

第8篇 微信支付大数据平台开发工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

岗位特色：

基于海量的微信支付用户、商户、交易和行为数据，使用业界开源的主流技术栈以及我们自研的大数据技术相结合，构建金融级的大数据平台，提供金融级数据安全保障和质量保障，为数据开发者提供工业化的数据平台服务，建立元数据管理、血缘关系、计算任务和计算资源的动态管控、全方位的数据安全风险控制，为数据分析、智慧推荐、金融风控等业务提供数据平台支撑；

工作职责：

负责微信支付大数据基础平台相关开发工作；

负责大数据采集、计算、分析处理相关开发工作；

负责大数据治理相关开发工作，提供一站式的数据平台及工具支持。

任职要求：

本科及以上学历，计算机相关专业，3年及以上开发经验；

熟悉java、php、shell、python等至少三种开发语言；

有分布式系统、大数据服务、数据分析方面的开发经验者优先；

熟悉hadoop，spark，storm，flink，kafka、elasticsearch、druid等平台和组件，有相关项目经验优先；

良好的沟通表达能力，执行力力强，对待工作认真严谨、高度负责。

第9篇 大数据平台架构师岗位职责

大数据平台架构师 ne_ttao 上海复兆信息技术有限公司,ne_ttao,复兆,复兆 职责描述:

1、负责大数据平台框架的规划设计、搭建、优化和运维;

2、负责架构持续优化及系统关键模块的设计开发,协助团队解决开发过程中的技术难题;

3、负责大数据相关新技术的调研,关注大数据技术发展趋势、研究开源技术、将新技术应用到大数据平台,推动数据平台发展;

4、负责数据平台开发规范制定,数据建模及核心框架开发。

任职要求:

1、计算机、数学等专业本科及以上学历;

2、具有5年及以上大数据相关工作经验;

3、具有扎实的大数据和数据仓库的理论功底,负责过大数据平台或数据仓库设计;

4、基于hadoop的大数据体系有深入认识,具备相关产品(hadoop、hive、hbase、spark、storm、 flume、kafka、es等)项目应用研发经验,有hadoop集群搭建和管理经验;

5、熟悉传统数据仓库数据建模,etl架构和开发流程,使用过kettle、talend、informatic等至少一种工具;

6、自驱力强、优秀的团队意识和沟通能力,对新技术有好奇心,学习能力和主动性强,有钻研精神,充满激情,乐于接受挑战;

第10篇 大数据平台架构师 - consulting - cloud - [bj/sh/gz/sz/cd/nj}职位描述与岗位职责任职要求

职位描述：

职责描述：

1.负责大数据平台架构的评估、规划和设计 ；负责海量数据采集、处理及存储、应用方案的技术选型及架构实现；分布式存储、流式/实时计算等应用层架构搭建及核心代码实现。

2.开发大数据平台的核心代码，负责大数据平台的搭建，完成系统调试、集成与实施，技术难题的解决，保证大数据产品的上线运行。

3.根据业务需求持续优化数据架构，保证产品的可靠性、稳定性。

4.指导开发人员完成数据模型规划建设，分析模型构建及分析呈现 ，技术经验。

5.深入研究大数据相关技术和产品，跟进业界先进技术。

1. responsible for the evaluation， planning and design of big data platform architecture;

2. responsible for technical selection and architecture implementation on solutions for mass data collecting， processing and storage.

3. responsible for implementation for distributed storage and streaming/real-time computing system.

4. responsible for core-code developing of the big data platform.

5. responsible for the system debugging， integration and implementation of the big data platform.

6. solving technical problems， and ensure the launch and operation of big data products.

7. continuously optimize data architecture according to business requirements so as to ensure product reliability and stability.

8. instruct developers to plan， build and present data models; share technical e_perience.

9. study deeply on big data related technologies and products; follow up with advanced technology in the industry.

任职要求：

1.不少于5年的工作经验，有3年以上hadoop、spark、hbase平台性能调优经验，具有扎实的企业级应用系统架构（togaf等）理论知识。

2.熟悉hive、hbase、storm、mahout、flume、elasticsearch、spark、kafka等，具备企业级大型项目设计及开发经验。

3.熟悉sparkstreaming等相关的实时计算技术。

4.熟悉大规模数据挖掘、机器学习、自然语言处理、分布式计算中一项或多项技术，并具备大型项目实际工作经验。

5.熟悉主流关系型数据库（oracle、mysql）、nosql数据库，熟悉pl/sql编程。

6.精通linu_操作系统，熟练使用java；熟悉常用框架.如spring、mybatis等。

7.计算机或数学相关专业，本科及以上学历。

8.大学英语四级以上水平。

9.能够经常出差。

1. no less than 5 years of work e_perience， with more than 3 years e_perience on hadoop， spark， hbase platform performance tuning，and with a solid enterprise application system architecture (togaf) theoretical knowledge.

2. proficient inhive， hbase， storm， mahout， flume， elasticsearch， spark， kafka， etc. plenty of designing and development e_perience in large-scale enterprise project.

3. proficient inthe real-time computing technology such as sparkstreaming

4. proficient in one or more technologies in large-scale data mining， machine learning， natural language processing， distributed computing， and have practical e_perience in large-scale projects.

5. proficient in mainstream relational database (oracle， mysql)， nosql database; hands on e_perience with pl/sql programming

6. proficient in linu_ operating system and java; hands on e_perience with common frameworks such as spring， mybatis， etc.

7. bachelor degree or above in mathematics or computer science.

8. cet 4 or above

9. able to travel for long periods of time.

第11篇 30359-大数据平台高级架构师（深圳）职位描述与岗位职责任职要求

职位描述：

工作职责：

负责统一用户增长平台的技术架构及建设；

包括不仅限于：

负责每天万亿级增量流式计算引擎架构；

负责存量离线计算引擎分层设计与架构；

负责实时多维计算、分析的平台架构；

负责拖拽交互式可视化引擎的存储计算架构；

负责大数据实时检索分析平台的架构和建设；

负责技术团队的研发流程优化。

跟踪国际、国内商业及开源数据产品的技术选型及平台化预研及架构；

负责＞5人的技术或ft团队管理

任职要求：

5年以上系统建设，设计，架构经验；4年以上大数据系统开发，设计，架构经验；3年以上软件工程管理经验；

熟悉商业智能系统，熟悉数据仓库，熟悉数据集市；

熟悉大数据相关技术：flink、kafka、kudu、impala、druid、hive、hbase；并阅读过相关源码；

管理过存储量上p级，计算日志量万亿以上分析数据平台；

具备按天万级任务量的数据系统的研发经历；

熟悉常用增长黑客实践、熟悉各类分析模型与算法；

熟悉各种抽样方法（分层，过抽样等），特征处理方法（缺失值处理，离散化等）；

熟悉数据产品或工具（tableau，growingio，mi_panel等）；

具备大数据平台、数据分析平台、可视化开发平台经验，具备中大型成功项目经验优先；具备大规模分布式计算平台的使用和并行算法的开发经验，对大数据处理及应用有浓厚兴趣；

具备较强的团队管理能力和沟通能力，思维活跃，前瞻学习能力强；

了解软件项目管理、敏捷管理方法论，在中大型项目中有所实践。

第12篇 大数据平台高级/资深工程师/专家（基础架构方向）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1、参与小鹏汽车技术中台的大数据云平台产品建设，包括：实时计算处理平台、离线计算处理平台、调用链分析监控、日志处理平台；

2、分析系统瓶颈，处理、协调和解决基础框架中出现的技术问题；

3、大数据新技术研究和应用，并推动适合技术应用于生产；

任职要求：

1、计算机相关专业，本科或以上学历，五年以上开发工作经验，有基础架构开发经验优先；

2、熟练java、python服务端编程，有良好的编码习惯；

3、深入理解mapreduce，熟练使用storm/flink、hadoop、spark，并阅读部分源码；

4、熟练使用hadoop、hdfs、hbase、kafka、elasticsearch；

5、具有自然语言处理、信息检索、机器学习、web挖掘、搜索引擎、推荐引擎等相关经验优先；

6、熟悉docker容器及容器化技术，有kubernetes实战经验者优先；

7、对新技术有执着追求，热爱编程。善于抽象、总结、思考，能及时关注和学习业界最新技术；

8、有较强的自学能力和钻研精神，具有良好的沟通能力和团队合作能力，综合能力强。

第13篇 大数据平台研发职位描述与岗位职责任职要求

职位描述：

职责：hadoop平台功能研发，如性能优化、身份认证&权限控制插件等

1. 修改hadoop等分布式平台源码，优化数据处理逻辑；

2. 针对hadoop等分布式平台，构建统一的身份认证及权限控制系统；

3. 动态脱敏系统及安全控制策略研究及落地；

4. 解析常用的大数据平台通信协议

要求：

1. 熟练掌握c/c++，java中的至少一种编程语言;

2. 熟练掌握常用大数据平台组件的使用；

3. 深入理解常用大数据平台的架构原理，如mr、spark、hive等;

4. 熟悉tcp/ip 协议栈，对常用应用层协议如http有较深理解；

5. 熟悉thrift、grpc等rpc框架及protobuf等序列化框架;

6. 熟悉常用大数据平台的安全组件和控制策略

职位诱惑：

1.试用期薪资不打折不打折

2.公积金按定薪全额的12%缴纳，全额的12%哦

3.入职即享带薪年假

4.周末双休

5.弹性工作制

6.大牛导师带你飞

7.强大平台！任你表演

8.月度团建吃喝玩乐等你来解锁

第14篇 大数据平台工程师职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与公司数据平台架构设计，负责大数据平台和数据仓库相关建设；2、依据公司的大数据技术发展路线，负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设，提供可靠的数据存储和访问能力；3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优，保证集群高效稳定运行；4、规划与开发离线数据平台系统，处理海量数据，优化存储和计算架构的性能；5、负责数据平台技术难点攻关、技术选型评估，参与开发流程的讨论与优化；6、参与公司数据治理策略等的制订和实施；7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作；

8、负责系统核心代码编写、代码审核和重构，指导和培训数据工程师、不断进行系统优化；

任职要求：

1、本科以上学历，5年以上大数据研发经验，带领过10人以上的大数据团队； 2、有大型分布式系统设计经验，负责过海量数据平台上高可用、高性能分布式系统的架构设计；3、熟悉大数据开发框架，熟悉hadoop，hbase，spark等及业界主流流处理平台如，如storm，flunk，sparkstreaming等之一；4、熟悉greenplum等数据仓库技术，并有广泛的实践经验，具备维护和解决生产问题的能力；5、熟悉掌握分布式存储和nosql数据库技术（如monogodb、redis等），有实际生产项目应用经验；6、熟练掌握java，python，scalar中的至少一种编程语言，掌握常见的数据结构，算法，了解软件工程、敏捷开发等知识，熟悉常用设计模式; 7、理解soa，微服务，中间件等paas相关的关键理念与技术，并对其有广泛的实践与应用经验，乐于。8、有民航、电子商务、风控等大数据设计和从业经验者优先。

第15篇 大数据平台架构师职位描述与岗位职责任职要求

职位描述：

岗位职责：

负责云平台大数据平台的架构设计；

云平台的数据治理、数据图谱、数据湖的设计与开发；

大数据计算任务的需求分析、设计、开发和调优；

任职要求：

五年以上大数据相关开发经验；

精通大数据架构体系，有两年以上大数据平台的架构经验；

精通java、python、scala编程语言中的一种或多种；

精通大数据实时计算、离线计算相关技术，如mapreduce，storm，spark， flink， elasticsearch等，有项目实战经验者优先；

精通0zzie，azkaban，airflow等大数据计算调度框架，有开发过调度框架者优先；

精通大数据生态环境的常用中间件，如fluentd、kafka、logstash等；

有工作热情，爱岗敬业，有良好的抗压能力和团队协作能力。