数据研发岗位是企业中至关重要的角色,负责构建、维护和优化数据处理系统,以支持业务决策、战略规划和运营优化。这个职位的核心在于通过数据挖掘、分析和建模,将海量的原始数据转化为有价值的洞见,为企业创造竞争优势。
1. 精通至少一种编程语言,如python、r或java,用于数据处理和分析。
2. 熟练掌握数据库管理系统,如sql,具备大数据处理技术,如hadoop或spark。
3. 具备统计学和机器学习基础,能应用到数据建模和预测分析中。
4. 对数据结构、算法和计算效率有深刻理解。
5. 良好的问题解决能力,能够从复杂数据中发现关键信息。
6. 能够与业务团队有效沟通,将技术解决方案转化为业务价值。
7. 严谨的逻辑思维和良好的项目管理能力。
数据研发人员日常工作包括但不限于:
1. 设计和实施数据采集方案,确保数据质量和完整性。
2. 构建高效的数据处理管道,自动化数据提取、转换和加载(etl)流程。
3. 进行数据清洗、整合和预处理,为分析做好准备。
4. 开发和优化数据模型,以支持业务预测和决策支持。
5. 与业务部门合作,理解需求,开发定制化的数据分析报告和可视化工具。
6. 持续监控和优化数据系统的性能,确保数据安全和合规性。
7. 参与数据治理活动,推动企业数据标准的制定和执行。
1. 数据架构设计:构建和优化数据仓库、数据湖或数据中台,确保数据的存储、访问和共享。
2. 数据分析:运用统计方法和机器学习技术,进行深度分析,揭示业务趋势和模式。
3. 报告与可视化:创建直观的仪表板和报告,帮助管理层快速理解和解读数据。
4. 项目协作:与业务团队、产品经理、数据科学家等跨部门合作,确保数据驱动的项目成功落地。
5. 技术研究:关注最新数据技术和工具,评估并引入适合企业需求的新技术。
6. 数据安全:遵守数据保护法规,实施数据加密、访问控制等措施,保障数据安全。
7. 培训与指导:为团队成员提供数据相关的培训,提升整个组织的数据素养。
作为数据研发人员,不仅需要扎实的技术功底,还需要具备敏锐的业务洞察力,通过持续改进和创新,推动企业数据资产的价值最大化。
第1篇 空间大数据研发工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、研究空间大数据前沿技术,参与空间大数据分析平台的设计和开发;
2、与算法工程师对接,参与空间大数据分析算法的代码实现;
3、其它相关的gis开发工作;
任职资格:
1、计算机、地理信息等相关专业背景,本科及以上学历;
2、对空间数据结构有深刻理解,熟悉空间数据库引擎;
3、扎实的编程基础,能够熟练运用java/scala语言;
4、熟悉大数据管理系统和分布式计算框架,如:hbase、cassandra、mongodb、spark/flink等;
5、熟悉gis领域主流的分布式数据存储方案,有geomesa、geowave、geotrellis、geoserver、geotools、arcgis soe使用经验者优先;
6、具备较强的学习创新能力,能够通过快速学习解决实际问题;
第2篇 大数据研发工程师-广告系统数据平台职位描述与岗位职责任职要求
职位描述:
工作职责:
1、广告各类在线业务的离线数据加工与在线数据服务开发与维护;
2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维;
3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求;
4、海量日志清洗加工,并抽象出可以多业务复用的数据模型。
任职要求:
1、计算机相关专业本科及以上学历,熟悉hadoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验;
2、熟悉java,python等多种编程技术,编程能力强,有web服务开发经验,具备独立完成模块开发能力;
3、理解基本的设计模式,能将业务需求快速理解成技术需求;
4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先;
5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力;
6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。
额外加分项::
github等开源社区贡献者;
具备大规模分布式服务设计能力和经验。
第3篇 资深数据研发工程师-(python/java)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.参与建设投融资数据体系,持续集成相关工具产品,以及搭建大数据业务统一计算层等相关工作;
2.参与公司数据仓库的架构设计和研发,挖掘数据价值, 实现高质量数据的互通与共享;
3.助力数据化运营业务,构建丰富多样的bi应用;
4.对数据采集、数据融合、数据质量、数据应用链路有深入理解,并能协助业务数据集市建设,搭建业务领域模型。
任职要求:
1.数学、计算机、统计学等相关专业本科以上学历,5年以上相关工作经历;
2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验;
3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hdfs、mapreduce、hive、hbase;
4.有实时etl研发经验,对分布式实时大数据处理系统有深入理解,包括但不限于spark streaming、flink、storm...;
5.熟悉数据仓库领域知识和技能者优先,对数据质量管理有独到的见解;
6.业务sense,能够通过梳理设计业务模型发现业务问题,并驱动业务目标实现;
7.有neo4j,word2vec经验优先。
第4篇 高级实时大数据研发工程师/数据技术专家职位描述与岗位职责任职要求
职位描述:
职责描述:
基于flink开源大数据计算平台,在集团整体业务场景下,
1. 研发实时流计算数据研发平台,支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务;
2. 研发实时olap(elasticsearch,druid)赋能业务
3. 研发实时智能化(算法加工程)赋能业务
任职要求:
1.具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
2.精通java语言编程,具备优秀的系统debug/profiling能力和经验
3. 熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力
4.熟悉hadoop/hbase/flink/spark streaming等开源大数据技术,在开源社区活跃者优先
5.熟悉elasticsearch/druid 等olap开源技术优先
6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力
7. 具备实时流计算数据开发经验、全栈开发经验优先
第5篇 大数据研发经理岗位职责任职要求
大数据研发经理岗位职责
大数据平台研发经理 北京构力科技有限公司 北京构力科技有限公司,构力 1. 负责大数据平台核心模块的概要设计、代码编写、调试验证
2. 负责大数据平台的重构优化,不断提升产品的稳定性和性能
3. 负责大数据平台的关键技术的预研、培训工作
大数据研发经理岗位
第6篇 大数据研发工程师-平台服务方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、针对字节跳动全局性数据分析要求,打造行业领先的数据平台,对全球用户数据,打造高效稳定的batch和rt数据流;
2、利用大数据工具,打造计算,传输,分析,监控平台;满足字节跳动全球用户产品的指标计算,多维分析等需求;
3、构建高效稳定的数据服务,支撑字节跳动全球各重要业务的用户增长。
任职要求:
1、计算机、数学相关专业本科及以上学历,一年以上大数据开发工作经验,数据挖掘和bi分析领域优先;
2、熟悉多项大数据领域的开源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid等;
3、强悍的编码和学习能力;善于发现问题,积极探索原因。
第7篇 ai 数据研发工程师 - 语音 & 对话方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、设计构建智能语音对话数据体系,打造一体化多媒体数据存储、索引、处理能力
2、打造 pb 级数据处理引擎,应对日均 tb 级数据增长
3、你有机会为字节跳动全系产品(头条、抖音、火山、西瓜等)提供 ai 数据处理及索引技术,用数据技术影响数亿国内国际用户
任职要求:
1、拥有计算机及相关专业本科以上学历,两年以上 c++/java/go/python 项目开发经验
2、精通数据结构和算法设计,熟悉系统性能调优的方式,熟悉 linu_ 开发环境
3、玩转 spark/storm/hive 等大数据工具,熟知 mysql/redis/mongodb 等常用数据库,不再满足于常规文本处理,渴望挑战大规模多媒体数据处理任务
4、在 acm/noi/ioi/topcoder 中打遍天下无敌手,在算法领域追求极致,渴望挑战更深更广更带感的技术算法问题
第8篇 数据研发工程师岗位职责
数据研发工程师 投中信息 上海投中信息咨询股份有限公司,投中信息 职责描述:
1.负责数据源调研、入库、开发的全流程工作(数据采集、清洗、汇总、集成等),并保证数据质量;
2.有较强的自学能力,能够根据需要学习相关业务和技术知识,并能灵活运用;
3.负责对公司平台的数据进行整理、挖掘及分析工作;
4.基于公司现有产品,提出可扩展,高性能,高可用性设计方案;
任职要求:
1.熟练掌握java编程语言,熟悉python脚本语言,并灵活运用到实际工作中及解决技术问题;
2.熟悉hadoop+spark大数据处理工具和技术,有两年以上的实际大数据处理经验;
3.熟练掌握一至两种开源etl工具软件;
4.熟悉常见机器学习算法(如逻辑回归、svm、神经网络、决策树、贝叶斯等);
5.对机器学习/深度学习有兴趣,并具有一定的理解和研究,熟悉tensorflow、torch等常见框架;有实际项目开发经验者优先;
6.善于分析和解决问题,富有想象力和学习能力,良好的团队合作精神;
7.责任心强,工作踏实,团队协作精神,具备快速解决问题的能力。
第9篇 资深数据研发工程师职位描述与岗位职责任职要求
职位描述:
【岗位职责】
1. 负责数据工具的的开发,维护,推广工作;
2. 基于离线/流式计算技术进行数据分析的处理。
【任职要求】
1. 计算机相关专业本科及以上学历,5年及以上相关工作经验;
2. 掌握java/scala 中至少一种开发语言, 熟悉spring相关框架;
3. 熟悉mysql. es. hbase 等存储引擎的使用;
4. 有强烈的技术好奇心与动手能力。
第10篇 实时大数据研发工程师/数据技术专家(p6-p8)职位描述与岗位职责任职要求
职位描述:
职责描述:
基于flink开源大数据计算平台,在阿里集团整体业务场景下,
1. 研发实时流计算数据研发平台,支持包括核心电商、云计算、大文娱、创新业务在内的等各个综合业务板块务;
2. 研发实时olap(elasticsearch,druid)赋能业务
3. 研发实时智能化(算法加工程)赋能业务
任职要求:
1.具备扎实的计算机理论基础, 对数据结构及算法有较强的功底
2.精通java语言编程,具备优秀的系统debug/profiling能力和经验
3. 熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力
4.熟悉hadoop/hbase/flink/spark streaming等开源大数据技术,在开源社区活跃者优先
5.熟悉elasticsearch/druid 等olap开源技术优先
6.具备实际的大数据业务开发经验以及良好的项目沟通和协调能力
7. 具备实时流计算数据开发经验、全栈开发经验优先
第11篇 搜索数据研发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责bytedance链接理解的研发工作,用最前沿的机器学习算法,进行全网链接分析;
2、负责链接规模控制,进行有效性和价值度判断,实现链接反垃圾、反作弊等;
3、负责链接关系深度挖掘,实现链接归一化、镜像站、pc移动站等。
任职要求:
1、计算机或相关专业,本科及以上学历,对数据结构和算法设计有较为深刻的理解;
2、精通c/c++或python语言编程,熟悉linu_平台、shell编程;
3、出色的分析问题,解决问题能力;
4、熟悉搜索相关领域,有机器学习/深度学习经验者优先。
第12篇 广告业务数据研发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、广告各类在线业务的离线数据加工与在线数据服务开发与维护
2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维
3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求
4、海量日志清洗加工,并抽象出可以多业务复用的数据模型
任职要求:
1、熟悉hadoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验
2、有web服务开发经验,具备独立完成模块开发能力,具备大规模分布式服务设计能力和经验
3、理解基本的设计模式,能将业务需求快速理解成技术需求
4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先
5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力
6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力
第13篇 搜索研发负责人-数据研发职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责bytedance链接理解的研发工作,用最前沿的机器学习算法,进行全网链接分析;
2、负责链接规模控制,进行有效性和价值度判断,实现链接反垃圾、反作弊等;
3、负责链接关系深度挖掘,实现链接归一化、镜像站、pc移动站等。
任职要求:
1、计算机或相关专业,本科及以上学历,对数据结构和算法设计有较为深刻的理解;
2、精通c/c++或python语言编程,熟悉linu_平台、shell编程;
3、出色的分析问题,解决问题能力;
4、熟悉搜索相关领域,有机器学习/深度学习经验者优先。
第14篇 数据研发工程师-新业务职位描述与岗位职责任职要求
职位描述:
工作职责:
1. 负责业务相关的数据平台建设;
2. 包括数据pipeline建设、数据仓库建设、运营系统建设等;
3. 通过海量数据,分析用户行为,进行特征挖掘建设。
任职要求:
1. 工作经验1-3年,学历本科及以上;
2. 有扎实的编程能力,有优秀的代码品位,对解决具有挑战性问题充满激情;
3. 编程语言不限,有python经验更佳,熟悉常用算法和数据结构;
4. 熟悉常用的开源组件:hadoop/hive/kafka/flink/spark等,并了解其特性和使用场景优先;
5. 优秀的沟通理解能力,能快速理解业务,用数据解读业务。
第15篇 大数据研发总监职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责整个公司数据系统的整体架构设计
2. 负责数据仓库、大数据平台、报表可视化的搭建及研发;
3. 按时完成各个业务和产品部门的数据服务需求,不断优化现有的平台架构;
4. 负责数据团队的职位描述与岗位职责任职要求、组织架构设计、梯队培养和日常管理;
5. 带领团队设计、开发具有创新价值的大数据分析平台;
任职要求:
1. 统招本科以上学历,计算机、通信、数学相关专业,具有8年以上研发工作经验;
2. 有5年以上bi、大数据研发经验,4年以上团队管理经验,有良好的团队管理能力;
3. 有较强的沟通和表达的能力,有较强的同理心,能够合理调度资源及时满足和匹配业务需求;
4. 精通hadoop、spark、hive、hbase等主流的大数据技术;
5. 具有高度责任心,较强的抗压能力,意愿强烈;
6. 有较强的数据挖掘、机器学习经验者优先;
7. 有一线互联网公司或医疗行业经验者优先。
第16篇 品牌广告大数据研发工程师-核心广告系统职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责品牌广告业务平台及其相关系统的研发
2、负责现有系统的问题分析和改进,提高系统性能,保证系统稳定性
3、持续改进系统架构、核心算法或者核心技术等,保证系统高性能、高可用性和高可扩展性
4、新技术预研,完成项目的选型和设计,难点公关
任职要求:
1、本科及以上学历,一年以上大数据系统开发经验
2、熟悉python语言, 熟练使用linu_
3、对常用的redis、kafka等工具系统有一定的了解
4、有大数据集、分布式计算工具(hadoop,spark,hive,storm, es)等应用开发经验优先
5、有良好的团队合作精神,较强的沟通能力
6、愿意深入了解业务知识,并能敏锐的发现业务痛点
7、有品牌广告系统、dmp、舆情、指数平台方向开发经验者优先
第17篇 广告大数据研发工程师/专家(p6-p8)3职位描述与岗位职责任职要求
职位描述:
职责描述:
社交广告系统数据工程平台研发,偏重系统架构设计与实现,参加以下一到多项工作:
1. 搭建数据仓库,存储并处理海量的实时、批量数据,满足广告业务的定向、分析和模型特征等业务需要
2. 建设数据发布系统,将数据仓库的数据应用到广告在线业务
3. 特征工程工程系统建设,为模型方提供特征数据流和特征离线调研、评估平台,并保证模型训练和预测阶段的特征线上与线下一致性;
4. 用户标识映射、画像数据在线服务的开发与维护;
5. 广告后台海量日志数据和广告主数据处理平台;
6. 报表和广告策略的统计数据生成和存储;
7. 多维透视业务索引和存储;
任职要求:
重点大学本科以上学历,计算机相关专业;
具有扎实的数据结构和算法功底;
熟练使用 java,scala,c/c++, python;
有海量数据处理经验,熟悉 hadoop,spark,hbase,beam等开源框架 ;
有分布式系统,tensorflow等机器学习系统等经验优先 ;
有较强学习能力和逻辑思维能力,具备良好的问题分析与解决能力;
善于沟通,工作积极主动,责任心强,具备良好的团队协作能力
第18篇 大数据研发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的通用数据平台,包括实时数据流、数据仓库、调度系统、查询引擎,用户行为分析,abtest 实验系统等,降低数据的使用门槛,实现数据的最大价值
2、打造业界领先的存储、计算等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施
任职要求:
1、熟悉多项大数据领域的开源框架,e.g. hadoop, hive, presto, storm, spark, kafka, hbase, redis, rocksdb, elasticsearch, druid, etc.
2、强悍的编码和 troubleshooting 能力
3、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情
第19篇 高级/资深大数据研发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责字节跳动用户行为的理解和建模,帮助公司各项业务满足用户需求,提升用户覆盖;
2、负责在数据建设层面,对用户隐私进行脱敏处理,保证后续数据研发过程中保护用户隐私;
3、探索、挖掘公司各项指标、用户满意度、用户增长上的各项规律,并利用这些规律帮助产品提升和扩展,增加用户满意度,扩展用户群体。
任职要求:
1、本科及以上学历,计算机、统计学、数学等相关专业;
2、强的编程和数据工具运用能力,有hadoop,hive,spark,kafka,elasticsearch或者其他的大数据工具的使用经验;
3、对数据仓库、数据建模有一定认知;有过数据使用相关经验。
第20篇 数据研发工程师-广告数据平台职位描述与岗位职责任职要求
职位描述:
工作职责:
1、广告各类在线业务的离线数据加工与在线数据服务开发与维护
2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维
3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求
4、海量日志清洗加工,并抽象出可以多业务复用的数据模型
任职要求:
1、计算机相关专业本科以上学历,熟悉hadoop架构和工作原理,精通mapreduce编程;精通hive,有hql优化经验
2、熟悉java,python等多种编程技术,编程能力强,有web服务开发经验,具备独立完成模块开发能力
3、理解基本的设计模式,能将业务需求快速理解成技术需求
4、熟练使用mysql,熟练使用elasticsearch、druid者优先;熟悉其原理者优先
5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力
6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力
额外加分项::
github等开源社区贡献者
具备大规模分布式服务设计能力和经验
47位用户关注
87位用户关注