数据工程师岗位职责16篇

第1篇 推送数据工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责字节跳动用户行为的理解和建模，帮助公司各项业务满足用户需求，提升用户覆盖；

2、负责在数据建设层面，对用户隐私进行脱敏处理，保证后续数据研发过程中保护用户隐私；

3、探索、挖掘公司各项指标、用户满意度、用户增长上的各项规律，并利用这些规律帮助产品提升和扩展，增加用户满意度，扩展用户群体。

任职要求：

1、本科及以上学历，计算机、统计学、数学等相关专业；

2、较强的编程和数据工具运用能力，有hadoop，hive，spark，kafka，elasticsearch或者其他的大数据工具的使用经验；

3、对数据仓库、数据建模有一定认知；有过数据使用相关经验。

第2篇 大数据开发工程师-偏数据模型方向-l80542职位描述与岗位职责任职要求

职位描述：

职责描述：

1、参与数据需求的沟通和模型设计；

2、负责大数据平台的数据需求开发，包括实时和批量处理；

3、负责不同数据源的接入解析落地的设计开发工作；

4、负责数据质量监控，解决数据运行和质量问题。

任职要求：

1、计算机本科以上学历，至少有3年数据开发经验；

2、精通java/scala/python，至少有3年以上开发使用经验；

3、熟悉spark，hive，flink，jstorm等大数据实时计算技术；

4、掌握hive sql，sparksql，es query dsl 等查询语言；拥有sql性能调优经验；

5、具有较强的业务理解能力，较强的责任心、团队合作能力和沟通能力；

6、有过图数据库开发或spark mllib开发经验者优先考虑。

第3篇 数据通信系统工程师岗位职责数据通信系统工程师职责任职要求

数据通信系统工程师岗位职责

1、通信、电子、计算机等相关专业;2、有较扎实的通信知识，具备良好的沟通、理解与语言表达能力;3、有高度的责任心、有较强的团队协作和客户服务意识，能较好完成团队内部各项工作，能承受一定工作压力;4、了解通信行业标准和规范，能编制通信工程概预算，熟练使用cad、visio等工程设计软件者;5、熟悉电信运营商网络环境(核心网、增值业务、城域网)，有从事运营商数据平台规划设计者优先;6、熟悉服务器、存储、网络、信息安全、软件开发，有系统集成经验者优先;7、熟练使用visio、cad、word、e_cel、ppt等软件，有技术方案编撰能力;8、语言表达能力强、沟通能力强，能够独立承担客户沟通、方案讲解等工作任务;

第4篇 数据集成工程师岗位职责

数据集成/etl工程师 深圳知汇科技有限公司 深圳知汇科技有限公司,知汇 职责描述:1、分析医院业务数据及数据流,参与数据模型的设计;

2、负责数据集成脚本开发、etl开发,对医院信息系统数据进行提取、清洗、转换和整合;

3、进行数据任务流程调优及准确性改进,进行数据质量监测、校验和提升。

4、负责大数据平台的开发、维护工作;

任职要求:1、2年以上数据平台或商务智能领域开发工作经验,并实际参与过数据集成或etl开发;

2、熟练掌握ssis、kettle、informatica等至少一种etl工具的使用;

3、熟悉sql server等主流数据库(sql server、oracle、mysql等),有sql server事务复制 或oracle的goldengate经验者优先;

4、能熟练进行sql查询优化,熟练使用存储过程、有海量数据处理经验者优先;

5、有医疗信息系统(his、emr、集成平台等)开发及实施经验优先;

第5篇 dba数据库工程师岗位职责

数据库dba 工程师 云天励飞 深圳云天励飞技术有限公司,云天励飞,深圳云天励飞,云天励飞 职位描述:

岗位职责:

1、负责管理核心数据库系统;

2、数据库维护和监控,并进行查询分析和优化;

3、配合技术部项目进行数据库设计,制定合适的数据库架构。

4、完善数据库文档管理,促进知识积累和经验分享,及改善工作效率;

5、研究前瞻性的数据库技术,促进数据库应用技术的成长进化;

任职要求:

1、熟悉数据库的运行机制和体系架构,熟悉mysql,oracle或者sql server中一种;

2、熟悉数据库的管理,扩容,备份,优化;

3、熟悉数据库高可用可扩展解决方案,有数据库故障检测和恢复经验;

4、熟悉 linu_操作系统的管理维护与使用,及常用服务的架设与维护;

5、熟悉sql优化;

6、熟悉 linu_系统下shell/script编程,至少掌握一门脚本编程语言(php、perl、python、ruby);

7、有自动化运维经验者优先;

8、有海量数据构架经验者优先;

有以下经验更优:

1、熟悉mysql的myisam,innodb,memory引擎,精通存储过程和事务;

2、linu_系统硬盘,内存数据库调优。

第6篇 大数据基础架构工程师职位描述与岗位职责任职要求

职位描述：

职位描述:

1、负责hadoop平台集群架构、搭建、运维；

2、负责搭建分布式计算平台、查询引擎、中间件；

3、负责大数据平台资源规划、权限控制；

4、制定平台运营管理规范，保障平台可持续高效、稳定运行。

任职要求：

1、本科或以上学历，计算机相关专业优先；

2、熟悉java后台服务开发和面向对象程序设计；

3、熟悉hadoop生态圈及hdfs、hive、kafka、spark、flink等开源产品；

4、精通java有较强的编码能力，能独立解决技术难题。

附加要求：

1、熟悉hbase、spark、zookeeper等任一开源代码优先；

2、有分布式、缓存、消息队列等研发经验优先。

第7篇 数据库开发工程师-南昌职位描述与岗位职责任职要求

职位描述：

工作概述：

从事数据库开发维护相关工作。

职位要求：

1.熟悉oracle或db2数据库，并从业1年以上；

2.熟练掌握sql语句，并有存储过程开发经验；

3.熟悉电信业务优先录取；

4.做过大数据项目优先录取；

5.团队合作意识，并能适应工作压力和一定量加班。

第8篇 数据抓取资深工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、负责今日头条、西瓜视频、topbuzz、buzzvideo等产品的全球内容接入，通过算法智能解析各语种页面结构，自适应提取页面关键信息

2、负责全网图文、长短视频、sns内容监控，对海量的站内外发文、用户关系分析挖掘；每日处理上亿条数据，提供几十亿内容在线服务

3、负责通用垂直抓取平台建设，服务头条、抖音等所有业务团队，快速解决各种不同的抓取诉求，提供数据和平台支持

4、负责项目整体架构设计与优化，主导代码开发测试，并积极推动上线；负责初、中级工程师的培养

任职要求：

1、具备强悍的编码能力，有扎实的数据结构和算法功底

2、精通python、php、c++、java、golang中的至少一门语言

3、理解http、计算机网络，熟悉html、dom、_path等

4、责任心强，积极主动，有良好的沟通能力和团队合作能力

5、工作认真细致踏实，较强的学习能力、分析解决问题能力

6、有很好的产品意识，对业务流程有良好的抽象和总结能力

第9篇 地图数据工程师岗位职责

地图数据工程师 银泰商业集团有限公司 浙江银泰百货有限公司,银泰商业,银泰 arcgis地图工程师:

【岗位描述】

1、室内地图的采集和绘制;

2、室内定位指纹信息的点位采集

【岗位要求】

1、地图测绘、gis、计算机、室内建筑设计等相关专毕业,或经过相关培训,具有一定的外业测绘和建筑绘图能力;

2、熟练使用autocad和arcgis等制图软件;

3、了解gis数据和地图图式规范,熟悉地图数据的处理流程和方法;

4、有室内地图测量制作和数据处理工作经验者优先(例如高德或百度室内地图);

5、脚本开发项目经验优先。

第10篇 高级java开发工程师（大数据）职位描述与岗位职责任职要求

职位描述：

岗位职责：

1.负责物联网、大数据平台相关的技术研究、研发与测试等工作

2.负责基于物联网、大数据平台进行业务开发

技能要求：

1.本科以上学历，1年以上工作经验；

2.精通java后台程序设计，java基础扎实，要求掌握jvm基本原理、类加载、反射、集合、并发、io、网络等内容；

3.对数据结构、算法有深刻理解；

4.熟悉linu_开发环境，熟悉python、shell、perl中的一种；

5.有hadoop、hbase、storm、kafka等系统的源代码阅读经验者优先。

第11篇 前端开发工程师（数据可视化）职位描述与岗位职责任职要求

职位描述：

工作职责：

1、和大数据工程师共同工作，探索可视化的技术方案和产品应用；

2、开发展示为主的数据大屏和业务分析为主的数据产品以及在移动端数据可视化项目;

3、负责数据产品/可视化大屏的前端架构和应用后台及通用组件的开发；

任职要求：

1、本科及以上学历，功底扎实，视野开阔，对新技术具有敏感和热情；

2、熟悉数据可视化开源方案，有数据分析场景/数据可视化经验者(echarts/highcharts/d3)优先；

3、技术跟随前沿，熟悉servlet，html5，javascript，json，了解node/angularjs/react；

4、熟悉web后台性能优化和前端展示技术;

5、熟悉1-2种分析型数据库(如db/hive/neo4j)者优先。

第12篇 bi数据仓库工程师岗位职责

bi工程师-数据仓库 涂鸦智能 杭州涂鸦科技有限公司,涂鸦智能,爱相机 岗位职责:

1. 负责业务数据调研、需求理解,数据采集方案设计及实现;

2. 负责建立数据模型,根据业务设计数据主题;

3. 负责数据模型的etl编写,参与团队etl流程的优化及解决etl相关技术问题;

4. 理解业务方的数据需求,提供面向业务的olap、报表、数据提取等数据服务;

任职要求:

1. 本科及以上学历,计算机相关专业,2-5年企业级数据平台相关系统开发经验;

2. sql技能娴熟,精通hive-sql,presto-sql

3. 具有扎实的计算机操作系统、数据结构等编程基础,熟悉java或scala语言;

4. 有过2年以上bi项目经验,熟悉开源的bi工具如:metabase,superset,redash.有实际操作经验。

7. 有良好的沟通能力,善于主动思考和行动,有极强的责任心和自驱力。

第13篇 数据爬虫工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1.开发网页自动化脚本。

2.负责商品信息结构化，编写自动化脚本解析网页信息。

3.商品索引系统：亿级sku的库存价格实时跟踪同步，并对商品进行智能分类、本地化、图片处理和去重。

4.设计、开发、测试、部署以及维护并改进各子系统；

5.管理项目优先级并按时交付。

职位要求：

1.全日制统招本科、硕士毕业，1年以上软件开发工作经验；

2.熟悉至少一门通用静态编译编程语言，c/c++/java/c#/go；

3.熟悉web端基础标准，包括html、css、javascript、json等；

4.熟悉python或其他脚本语言，有兴趣和能力根据需求学习其他编程语言；

5.熟悉uni_/linu_环境，memcache/redis/mongodb等存储系统，能独立设计开发包括前后端交互的业务子系统；

6.熟悉常见的设计模式、单元测试、持续开发集成、code review，并能在日常工作践行；

7.了解搜索引擎、电子商务、社交类应用的系统基本架构，能对已有的子系统进行优化调整的优先；

8.活跃的开源项目贡献者优先。

第14篇 大数据架构资深工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、打造业界领先的存储、计算等分布式系统；

2、为海量数据和大规模业务系统提供可靠的基础设施。

任职要求：

1、掌握分布式系统原理，对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识；

2、乐于挑战没有明显答案的问题，能快速理解业务场景，从具体问题中抽象出通用的解决方案；

3、存储方向：对 hdfs， rocksdb， leveldb， memcache， redis， mysql， hbase， kafka 的一项或多项有经验者优先；

4、计算方向：对 spark， mapreduce， storm， hive， presto， impala 的一项或多项有经验者优先；

5、集群管理方向：对 yarn， mesos 的一项或多项有经验者优先；

6、向开源社区贡献过 patch 者优先，请在简历上说明。

第15篇 erp数据工程师岗位职责erp数据工程师职责任职要求

erp数据工程师岗位职责

1.需要将原来各系统的数据进行分析，整理并导入到erp。2.与业务部门沟通，收集需要导入的数据。3.有计算机软件相关背景，熟悉系统维护，可以帮助用户解决日常简单问题，懂数据库者优先考虑4.熟练运用e_cel5.三年左右工作经验，英语一般。6.工作认真负责.细致，有较强的责任心。

第16篇 大数据查询引擎高级工程师职位描述与岗位职责任职要求

职位描述：

工作职责：

1、研发业界领先的交互式数据分析系统，服务于今日头条全公司的数十个用户产品线；

2、面向超大规模数据问题，每天千亿增量的用户行为数据，秒级处理pb级别的数据计算；

3、善于理解和抽象业务问题，支撑多样的海量数据分析场景。

任职要求：

1、理解分布式系统，思路清晰，具备生产系统快速 trouble-shooting 的经验和能力，擅长分析深层次的原因；

2、对市面上常见的 olap 系统设计与源码有深入研究，给 hive/kylin/presto/spark/tez 等项目提交过 patch者优先。