数据工,是企业数据处理团队中的关键角色,主要负责收集、整理、分析和解读各类业务数据,为企业的决策制定提供有力的数据支持。
1. 熟练掌握数据分析工具,如excel、sql、python等,具备数据清洗、预处理和建模的能力。
2. 具备良好的统计学知识,能理解和应用相关统计方法进行数据挖掘。
3. 对业务流程有深入理解,能将业务问题转化为数据问题并进行解答。
4. 注重细节,确保数据的准确性和完整性。
5. 良好的沟通技巧,能以清晰易懂的方式呈现复杂的数据洞察。
数据工的工作日常涉及到对海量数据的处理,从多个来源整合数据,消除数据不一致性,构建数据仓库或数据湖。他们需要对数据进行深度分析,发现潜在的模式、趋势和关联,为管理层提供战略性的见解。此外,他们还需要监控数据质量,及时发现并解决数据问题,保证数据驱动的决策过程的可靠性。
1. 数据采集与整理:从内部系统、外部api或其他数据源收集数据,进行数据清洗和格式化,确保数据可用性。
2. 数据分析:运用统计学方法和数据挖掘技术,对数据进行探索性分析,发现业务洞察。
3. 报告撰写:创建数据报告和可视化图表,以直观的方式展示分析结果,帮助管理层理解数据背后的故事。
4. 项目协作:与业务部门、it部门和其他数据团队紧密合作,确保数据需求得到满足,同时推动数据驱动的改进措施。
5. 系统维护:维护和优化数据基础设施,包括数据库、数据管道和分析工具,提高数据处理效率。
6. 持续学习:跟踪最新的数据分析技术和行业动态,不断提升自身的数据分析能力,以适应企业的发展需求。
数据工的角色在当今数据驱动的企业环境中至关重要,他们的工作成果直接影响到企业的决策质量和业务绩效。作为数据工,不仅要具备技术能力,还需要具备业务敏感性和团队协作精神,以实现数据的最大价值。
第1篇 大数据工程师岗位职责职位要求
职责描述:
华为企业bg-大数据工程师
1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作
2、数据处理流程设计及开发
3、海量数据的采集、存储、管理、分析、建模
4、负责大数据、数仓平台的监控及优化,针对持续增长的数据提供相应的解决方案
5、负责大数据、数仓项目的疑难问题解决,性能优化
专业知识要求:
1、有3年以上相关岗位工作经历,或者非金融业的数据服务或信息数据管理工作经验
2、数学、计算机技术等相关专业
3、精通大数据(mppdb、hadoop)等相关技术,并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。
4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种,精通数据仓库理论架构,包括但不限于数据调度、etl、元数据管理、数据监控;
5、精通1-2门开发语言(java/python/scala/shell)
6、具有比较突出的组织、策划、协调及沟通能力,有强烈的结果导向和客户导向。
岗位要求:
学历要求:本科
语言要求:不限
年龄要求:不限
工作年限:3-5年
第2篇 erp数据工程师岗位职责erp数据工程师职责任职要求
erp数据工程师岗位职责
1.需要将原来各系统的数据进行分析,整理并导入到erp。2.与业务部门沟通,收集需要导入的数据。3.有计算机软件相关背景,熟悉系统维护,可以帮助用户解决日常简单问题,懂数据库者优先考虑4.熟练运用e_cel5.三年左右工作经验,英语一般。6.工作认真负责.细致,有较强的责任心。
第3篇 python数据工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 高校数据库的管理与维护;
2. 高校数据的分析;
3. 协助开发各类数据平台;
4. 数据清洗与入库;
5. 完成上级安排的其他工作。
岗位要求:
1. 全日制本科以上学历,计算机相关专业,1年以上相关工作经验;
2. 熟悉python,全面掌握python的基本语法,基本数据结构,常用library,熟悉numpy,pandas的基本用法和功能,了解python自然语言处理;
3.熟练掌握mysql;
4. 有一定的数理统计基础,热爱和数据打交道;
5. 认同创业文化,事业心强。
第4篇 大数据工程师(电商行业)职位描述与岗位职责任职要求
职位描述:
工作职责:
1、基于hive的数据仓库建设、etl开发;
2、使用hive/flink等平台进行分析内部及外部的数据,配合业务团队进行定量和定性分析,把数据转化成为业务增值的信息;
3、探索、评估新的技术和解决方案,提高数据并行计算能力和运行速度。
任职要求:
1、熟悉大数据相关技术:kafka/flink/hadoop/druid/hbase 等;
2、具备数据库系统理论知识,掌握主流数据库管理和应用,精通sql;
3、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法;
4、熟练使用 java、python、php、go语言中的一种或者多种;
6、两年以上大数据开发经验,有高性能分布式平台开发经验,有电商行业经验优先。
第5篇 服务器数据工程师岗位职责
服务器开发工程师(python数据方向) ihandy 北京汉迪移动互联网科技股份有限公司,ihandy,ihandysoft,汉迪 •岗位 职责
• 负责开发推荐系统的业务后端
• 支持各种业务开发、架构设计和性能调优
• 职位要求
• 精通python,有python web相关开发经验
• 有高并发的设计和实现经验
• 具有极强的编码能力和工程实践能力
• 至少熟悉一种数据库(sql/nosql),至少熟悉一种缓存组件(redis/memcached)
• 了解推荐系统lambda架构者优先
• 有hadoop/spark等大数据处理经验者优先
第6篇 大数据工程师岗位工作职责
简介:大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据工程师职位描述(模板一)
岗位职责:
1.负责数据分析、加工、清洗、处理程序的开发;
2.从事海量数据分析、挖掘相关工作;
3.负责大数据相关平台的搭建、开发、维护、优化;
4.对业务部门的数据分析需求给予实现与支持;
5.对公司的“数据驱动运营”的业务目标进行大数据架构方案实现。
任职要求:
1.计算机相关专业,本科及以上学历,3年以上java开发工作经验,学习能力突出;
2.熟悉hadoop生态系统内常见项目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce开发经验,有实际大数据项目经验优先;
3.熟练掌握oracle、mysql等主流数据库;
4.精通java,熟悉基于j2ee的web架构设计,熟悉web开发流程,有丰富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)开发经验;
5.熟悉linu_/uni_系统环境下的操作;熟悉tomcat等应用服务器的配置和优化;
6.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。大数据工程师职位描述(模板二)
岗位职责:
1.大数据平台功能规划、设计;
2.大数据平台的设计、研发;
3.大数据平台实施、数据接入。
任职要求:
1.统招本科及以上学历,计算机科学、软件工程、数学、统计学相关专业毕业;
2.具有扎实的java基础,精通sql、mysql以及2年以上软件开发经验;
3.熟悉hadoop平台架构,有hadooop、hbase、hive、spark、kafka使用经验;
4.熟练python进行数据处理,网页爬取;
5.有非结构化数据解析、识别经验优先。大数据工程师职位描述(模板三)
岗位职责:
1.负责数据仓库建设、设计、优化和落地;
2.负责数据etl开发、数据平台建设、设计并实现对bi分析、数据产品开发。
任职要求:
1.985院校计算机相关专业本科以上学历;
2.有较扎实的数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验;
3.有hadoop、hive、spark、impala等大数据技术使用经验者优先。大数据工程师职位描述(模板四)
岗位职责:
1.主要负责电信业务的大数据开发工作;
2.结合业务需求设计数据分析场景,并形成后台实现方案,独立完成业务数据建模,并将结果转化为运营指标;
3.对产品全生命周期跟进,协调各种资源保证产品顺利发展。
任职要求:
1.计算机或者相关专业本科及以上学历,3年及以上相关工作经验;
2.熟练掌握java开发语言,熟悉多线程和线程调优,如懂scala开发更佳;
3.熟悉linu_服务器环境、熟悉shell;
4.熟悉分布式系统、集群管理、soa架构等相关技术,熟悉hadoop on yarn集群部署和工作原理,熟练掌握mr开发,有大型集群开发运维经验更佳;
5.熟悉以下技术中3种及以上者优先考虑:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬虫;
6.具有良好的沟通能力和团队精神,具有良好的抗压能力。大数据工程师职位描述(模板五)
岗位职责:
1.负责大数据处理平台应用的开发工作;
2.利用hadoop yarn/storm/spark进行开发、存储、分布式计算应用的代码实现;
3.优化hadoop yarn/storm/spark 参数,实现系统调优,满足行业应用的实时大数据处理需求;
4.学习新技术,提高整个平台的计算能力和效率;
5.开发基于hive、hbase、es等数据处理方式的脚本程序。
任职要求:
1.3年以上hadoop/storm/spark开发经验,对分布式、并行计算理论有深刻理解;
2.精通java/scala/python任一语言;
3.对hadoop/storm/spark源码有研究,有大数据平台开发工作经验者优先;
4.有很好的技术敏感性,良好的学习能力和吃苦耐劳能力;
5.具有较好的沟通协调能力、团队合作能力、文档编写能力。
第7篇 大数据工程师-广告系统职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责字节跳动海量用户行为数据的处理,在分布式计算平台基础上建立高效、实时的数据 pipeline;
2、负责推荐系统、广告系统的数据分析,发现模式与规律,为实验解释、系统改进提供数据支持;
3、负责 hadoop,spark 等大数据基础设施和平台的改进,解决大规模生产环境集群可用性和性能优化问题。
任职要求:
1、2019届毕业,本科及以上学历,计算机相关专业;
2、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;
3、对数据敏感,掌握量化分析方法,善于从数据中发现问题,提出假设并使用数据进行验证;
4、对至少一项分布式计算平台有使用经验,例如 hadoop,spark,hive,storm,kafka 等;
5、有参与开源项目对社区有贡献的经历,有互联网公司实习经历,有大数据处理或用户行为数据分析经验者优先。
第8篇 数据工程师(data engineer)职位描述与岗位职责任职要求
职位描述:
岗位职责:
建立基础设施,收集大量原始数据并处理成适合分析的数据
在大量数据的基础上设计和实施近实时数据应用程序
支持业务团队的操作监控请求
任职要求:
硕士/学士学位,在相关领域拥有1-2年的工作经验
熟练掌握java, python 或scala;熟练使用linu_
bash
熟悉云计算平台(alicloud / aws)
具有大数据平台/编程经验(hadoop / spark )
具有数据库使用经验(oracle / mysql / mongodb),精通sql数据库和sql编程
加分项:
良好的英语口头和书面沟通能力
第9篇 华为大数据工程师岗位职责职位要求
职责描述:
1. 负责项目组数据挖掘、数据分析、数据建模工作,能够按要求、高质量地完成任务;
2. 熟练掌握分析设计工具,按照规范的要求,编写设计文档;
3. 按照设计功能,实现模块的代码编写和维护;
4. 按照公司的规范进行编码,并对开发的代码进行单元测试;
5. 负责项目开发过程中的技术攻关及运行中出现的技术问题。
任职资格:
1、3年以上数据仓库和数据建模经验,包括不限于:etl、dw、olap、多维数据模型等;
2、一定的数据可视分析基础,熟练掌握power pivot、powerbi等工具用于数据分析;
3、有ssas方案的设计或开发经验优先;
4、熟练使用至少一款bi相关工具,包括tableau,powerbi,oracle biee,qlik等等。
5、理解数据仓库和数据建模相关知识。
6、沟通能力优秀,勤奋好学,热爱数据工作;
7、良好的团队精神,工作负责,具有良好的职业操守。
8、本科以上学历学位,具备cet-4/6优先。
岗位要求:
学历要求:本科
语言要求:不限
年龄要求:不限
工作年限:3-4年经验
第10篇 数据工程师(数据赋能)职位描述与岗位职责任职要求
职位描述:
职责描述:
1.负责开发数据处理产品模组;
2.负责根据数据分析师提出的开发规格,开发数据流程及数据服务接口;
3.运用 etl相关工具,负责自动化数据处理流程。
4.负责执行数据管理策略应用开发,包含数据质量,数据目录,元数据管理产品开发;
5.负责保证项目进度,总结项目经验,归纳案例,实现经验共享。
任职要求:
本科毕业,计算机相关专业
专业技能:
1.具备 java / python/ r 等语言开发能力, 熟练使用 etl 工具 (nifi , streamset , informatica , kettle ,sqoop等工具)
2.熟悉 hadoop,hive,hbase,mongodb, elk,spark, flink, kafka 等大数据组件,数据库管理,data warehouse (teradata, greenplum) 等经验
3.熟悉 数据处理方法及流程,数据清洗,数据模型,数据管理等领域有相关经验
4 对数据敏感度高,曾开发数据服务产品daas 者优先
应知应会:
1. 能解释分析结果并转换成改善方案
3. 应用数据产品解决分析问题
第11篇 etl数据工程师职位描述与岗位职责任职要求
职位描述:
职责:
1. 按业务分析需求进行建模;
2. 进行数据仓库需求分析、方案设计、etl装载过程设计;
3. 从业务数据库到数据仓库的etl开发;
4. 结合业务流程和需求进行数据分析;
任职资格:
1. 本科以上学历,计算机等信息技术相关专业;
2. 有互联网金融相关工作经验,了解相关数据流和业务背景优先;
3. 两年及以上数据仓库相关工作经验,对数据仓库系统架构具有良好的认识,熟悉数据仓库相关技术,如 etl、报表开发,具备数据分析技术并具有相关项目经验;
4. 具有hive、spark、mysql、oracle等至少一种大型数据库的应用开发经验,熟悉数据标准管理、元数据管理、数据质量管理;
5. 具备python统计和数据挖掘相关基本开发能力;
6. 沟通能力好,善于规划和总结,注重团队合作及知识共享,能承担一定的工作压力;
第12篇 金融数据工程师岗位职责
资深数据开发工程师-网易金融032 网易集团 网易(杭州)网络有限公司,杭州网易,网易,网易杭州,网易游戏,网易网络,网易集团,网易 工作职责:
1. 根据业务状况构建数据仓库体系和数据指标体系,为信贷风控业务提供数据和框架支持;
2. 沉淀算法和数据分析思路, 提炼数据产品需求, 协作并推动数据产品的落地 ;
3. 与相关团队协作进行数据建模工作,推动业务部门的数据化运营。
任职要求:
1.熟练掌握sql,掌握python/java/scala至少一门编程语言,熟练掌握hive、spark等大数据工具,有数据仓库、数据分析的工作经验;
2.熟悉数据仓库模型设计 ,掌握常用数据建模方法,具备海量数据加工处理(etl)相关经验;
3.较好的业务理解能力,良好的语言沟通与表达能力;
4.热爱技术,勤于钻研,追求极致;
5.良好的技术视野,能适应新业务新技术快速的发展变更,对新业务/新技术有持续学习的热情;
6.优秀的分析问题解决问题能力,喜欢挑战自己,良好的沟通能力。
第13篇 高级数据工程师(数仓方向)职位描述与岗位职责任职要求
职位描述:
工作职责:
1.负责全司数据的数据调研,数据模型设计,etl开发,任务监控和优化等
2.负责数据仓库多场景的基础服务层建设,如多维分析,即席查询,实时推送等
3.负责基于数据仓库之上的数据中台建设,如数据管控系统,特征工程,指标库等数据分析相关的通用服务
4.负责数据管理共享系统的设计,开发和实施;
任职资格:
1、计算机、数学相关专业全日制本科以上学历;
2、熟悉数据治理方法论,了解数据质量、数据模型和元数据管理等相关技术
3、5年以上具备大型数据仓库架构设计(离线&实时)、模型设计、etl设计的相关经验
4、要求至少精通一种主流的etl产品,如:datastage或infomatica
5、精通oracle存储过程的开发
6、具有丰富的etl实施经验,熟悉金融投资行业优先
第14篇 数据工程师-企业saas应用职位描述与岗位职责任职要求
职位描述:
工作职责:
1、根据不同的业务场景,构建业务指标体系,建立和完善日常业务报告体系,能够及时、准确、完整的披露公司整体及各项目的运作情况;
2、参与数据仓库架构设计与数据开发,建设共享数据仓库;
3、通过专项分析,输出专项分析报告,为业务模块的决策和产品方向提供数据支持;
4、参与数据底层的工具、平台、部署流程等技术体系建设的研发工作。
任职要求:
1、本科及以上学历;
2、熟悉数据仓库模型设计方法论,并有实际模型设计及etl开发经验;
3、掌握大型数据库开发技术,如oracle、teradata、db2、mysql等等掌握至少一种,灵活运用sql实现海量数据etl加工处理与查询性能调优;
4、熟悉常用的数据挖掘、分析的工具和方法,有数据挖掘工作经验;熟悉linu_平台,精通shell/c(c++)/php/python/等脚本语言的一种或多种,编码基本功扎实;
5、具备快速学习能力、沟通协调能力及团队精神,有较强的责任心和学习积极性。
第15篇 高级大数据工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与大数据开放平台基础能力建设,承担系统架构、组件开发、方案验证等工作;
2、参与构建大数据系列产品,包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线;
任职要求:
1、 统招本科或以上学历,5年以上大数据开发工作经验;
2、扎实的java基础,能熟练使用java进行软件功能开发;
3、熟练掌握基于hadoop生态的大数据开发工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有实时系统开发经验优先;
4、熟悉常用的数据挖掘算法,例如聚类、回归、决策树等,有过nlp项目经验优先;
5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先;
6、工作积极主动,善于合作,敏而好学;
第16篇 中级数据工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
(1)对测试过程中采集的测试数据,依据标准进行检查与反馈,对不合格数据及时给出整改意见;项目结项后,对数据进行整理入库。
(2)依据测试方案,依托测试系统与工具,对测试数据进行分析,结合分析结果编制测试报告;对数据分析中出现的问题,与系统部、标准部进行沟通,及时解决。
(3)依据测试计划,按照测试流程,进行日常测试工作,包括但不限于:测试前技术交底,测试设备和测试场地准备与定期维护和检查,客户进场与离场登记与检查等。
(4)依据测试方案,构建测试场景环境,实施测试执行,包括但不限于:试验前搭建、调试设备;试验中记录测试数据;试验后进行数据分析等。
任职要求:
教育背景:
(1)计算机、软件、应用数据、统计学及相关专业毕业;
(2)正规大学全日制本科及以上学历,985、211优先。
基本技能:
(1)word、powerpoint、e_cel熟练运用;
(2)c1以上驾驶执照,并熟练驾驶2年以上。
工作经验:
(1)1年以上工作经验;
专业技能:
(1)熟悉数据分析的基本概念和方法,熟练使用技术手段进行数据分析和挖掘,熟悉数据挖掘及机器学习算法,能够熟练运用数据挖掘技术对数据进行分析处理,并从数据中提取有价值的信息;
(2)会使用(包括培训后能独立使用)测试场地内的各类设施、设备与系统,包含但不限于交通信号系统、雨雾模拟设备、高精度定位数采设备,abd与4a相关设备等;
(3)良好的沟通协调能力,较强的执行力;
(4)会使用matlab、r、python等任何一种语言,有技术开发背景优先;
(5)有汽车领域测试咨询从业背景,汽车测试、检测与认证从业经验优先;
工作态度:
(1)好学上进,耐心细致,有责任心;
(2)工作勤奋,善于思考问题;
(3)有时间观念,独立性强,具有团队合作精神。
第17篇 流媒体大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责直播端及服务端海量用户行为数据的加工处理,数据洞察驱动业务优化;
2、打造业界领先的大数据平台,支撑数据采集,加工,建模,分析,实验,可视化的全流程;
3、打造业界领先的分布式计算,存储系统,解决大规模生产环境集群可用性和性能优化问题。
任职要求:
1、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;
2、对开源大数据系统有相关经验者优先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、对数据敏感,掌握量化分析方法,善于从数据中发现问题者优先。
第18篇 gis数据工程师岗位职责
gis 大数据平台研发工程师 岗位职责:
1、gis大数据平台、数据产品、数据服务开发;
2、基于大数据的数据仓库架构设计和开发;
3、gis应用系统开发。
4、产品迭代、质量、流程的把控
任职资格:
1、计算机相关专业本科以上学历,二年以上java 或 asp.net web应用软件开发经验;
2、对虚拟机及linu_下的开发环境有较深厚的开发经验;
3、熟练使用mysql及postgresql,对数据库有较强的设计能力,同时熟悉大数据相关技术;
4、熟悉javascript、html、css等web前端常用开发技术;
5、精通servlet、spring、hibernate、ibatis开发, 熟悉maven,熟悉tomcat、ngin_等应用服务器,熟悉高并发处下的性能优化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等类框架技术,大数据产品开发、数据仓库建设经验者。
7、熟悉arcgis、geoserver、openlayer等gis相关技术者;
8、具有良好的沟通,团队协作、计划和创新的能力。 岗位职责:
1、gis大数据平台、数据产品、数据服务开发;
2、基于大数据的数据仓库架构设计和开发;
3、gis应用系统开发。
4、产品迭代、质量、流程的把控
任职资格:
1、计算机相关专业本科以上学历,二年以上java 或 asp.net web应用软件开发经验;
2、对虚拟机及linu_下的开发环境有较深厚的开发经验;
3、熟练使用mysql及postgresql,对数据库有较强的设计能力,同时熟悉大数据相关技术;
4、熟悉javascript、html、css等web前端常用开发技术;
5、精通servlet、spring、hibernate、ibatis开发, 熟悉maven,熟悉tomcat、ngin_等应用服务器,熟悉高并发处下的性能优化;
6、熟悉hadoop(hdfs/mapreduce/hive)、spark、hbase等类框架技术,大数据产品开发、数据仓库建设经验者。
7、熟悉arcgis、geoserver、openlayer等gis相关技术者;
8、具有良好的沟通,团队协作、计划和创新的能力。
第19篇 大数据工程师职位描述与岗位职责任职要求
职位描述:
这是一个为商业人工智能领域构建实时大数据分析平台的工作机会。我们希望您具备计算机科学或者相关专业领域的专业背景,并拥有构建分布式可扩展数据处理及大数据存储方面的丰富经验。您将担任跨职能的团队中的重要角色。我们希望您斗志昂扬,注重结果,积极主动,具备推动产品的增长和成功的成功经验。
工作职责
•在云端或者本地集群上构建可扩展的实时数据处理流水线,收集、转换、加载并管理各类数据源
•构建可扩展的分布式数据存储
•确保所构建的数据处理管道具有高质量并可审计
•开发相关工具以优化数据的提取、分析及可视化效率
•评估数据工程领域的新技术,并开发原型,以持续改善工作
•与框架和其他团队合作,确保系统运行符合设计预期
工作要求
•全日制硕士以上学历,计算机相关专业,cet6
•具备大数据相关技术例如spark, kafka, hadoop, hbase, hive等的丰富经验
•具备五年以上java、scala、python相关工作经验,mysql, redshift等sql相关经验
•具备三年以上可扩展实时etl开发经验
•熟悉azure/aws/gcp相关工具与知识
•良好的书面/口头沟通技巧
•具备机器学习算法方面工作经验者优先
第20篇 数据工程师-bj职位描述与岗位职责任职要求
职位描述:
工作职责:
1、基于每日百亿级展现数据,搭建大数据处理平台;实现流式事件的实时计算,落地储存。对于离线数据完成数据仓库的建立,为数据挖掘提供有效的数据;
2、使用用户行为数据,广告投放数据,挖掘数据层次关系,分析媒体.流量.广告主等数据来提高变现效率;
3、数据分析,挖掘,模型具体的产品化;了解广告业务,能和pm合作,基于数据驱动持续优化数据产品。
任职资格:
1、熟悉c++、java、python中的一种或多种编程技术,编程能力强,熟悉大数据处理技术,善于学习应用业界领先数据架构和技术;
2、对大数据开源组件有使用经验,对hadoop/hive/spark/es/druid 其中一项精通;
3、熟悉数据挖掘算法,包括数据清洗.统计学习.分类聚类算法,并能够验证算法效果,将算法应用在广告业务中;
4、善于学习,思维活跃,善于从数据中发现.思考并解决问题;
5、有广告研发经验者优先,对广告行业有自己思考
30位用户关注
96位用户关注
96位用户关注
12位用户关注