第1篇 贵金属大数据工程师岗位职责
大数据工程师 工作职责:
1.负责公司大数据平台框架的研发设计工作。
2.通过对贵金属业务规则的理解,完成对数据的分析和处理。
3.开发数据后台,将数据分析结果呈现到前端。
任职要求:
1.全日制本科以上学历,计算机,数学或统计相关专业。
2.有数据分析,数据处理等相关领域的工作经验。
3.有pb级别的文本数据的清洗和处理经验。
4.熟悉常用的大数据技术。如:spark streaming,hbase,kafka 等。
5.熟悉java开发语言。
第2篇 流媒体大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责直播端及服务端海量用户行为数据的加工处理,数据洞察驱动业务优化;
2、打造业界领先的大数据平台,支撑数据采集,加工,建模,分析,实验,可视化的全流程;
3、打造业界领先的分布式计算,存储系统,解决大规模生产环境集群可用性和性能优化问题。
任职要求:
1、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;
2、对开源大数据系统有相关经验者优先,包括但不限于hadoop/spark/hive/flink/kafka/druid 等;
3、对数据敏感,掌握量化分析方法,善于从数据中发现问题者优先。
第3篇 大数据工程师-数据流方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责字节跳动所有产品线风控方向的数据流和相关数据服务;
2、面向超大规模数据问题,每天处理千亿增量的用户行为数据;
3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务;
4、负责相同数据集的批处理功能。
任职要求:
1、有至少tb以上级大数据处理经验,编码能力强悍,具备生产系统快速 trouble-shooting 的经验和能力;
2、熟悉大数据处理工具/框架中的一项或多项,包括但不限于hadoop, mapreduce, hive, storm, spark, druid, kafka, hbase, canal,es等;
3、对开源社区有过贡献者优先,请在简历上说明。
第4篇 微信安全大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
通过海量数据挖掘建立微信安全画像和数据仓库,协助在线策略进行安全控制
构建机器学习无监督或有监督算法模型,协助精准识别微信体系内各种恶意行为
建立大规模文本内容识别能力,包括但不限于文本分类,聚类等常见nlp任务模式
任职要求:
数学、统计、计算机、自然语言处理等相关专业硕士及以上学历;或者三年以上互联网数据分析和大数据开发相关工作经验;
熟悉经典的聚类、分类等机器学习和深度学习算法,有大规模机器学习系统开发经验优先;
熟练掌握c++/java/scala/python等至少一门编程语言。
有主流大数据平台spark/hadoop/flink/storm等平台开发经验,熟悉分布式计算原理优先
第5篇 增长大数据工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
负责用户增长方向的离线和实时数据仓库体系建设工作,提升数据分析工作的效率;
结合内外部数据,构建完整的用户生命周期行为数据体系;
构建的支持用户增长的数据分析产品,支持快速的深度分析海量ab测试实验结果;
深度分析用户行为、行业情况和ab测试数据,利用数据挖掘算法对多维数据进行关联分析。
任职要求:
本科及以上学历,计算机、统计、数学、通信等理工类相关专业;
熟悉数据仓库理论和技术体系,熟练掌握sql/hive/mapreduce/spark/flink等大规模数据处理技术;
至少精通(python/java/scala/c++/r)一门编程语言,熟练运用各种常用算法和数据结构 ;
有分布式计算、分布式存储、数据挖掘经验者优先,有开发设计用户画像方面经验者优先;
熟悉实时计算框架和相关处理技术者优先;
熟悉growth hacking,或对此方向有兴趣者优先。
第6篇 大数据工程师-广告系统职位描述与岗位职责任职要求
职位描述:
工作职责:
1、负责字节跳动海量用户行为数据的处理,在分布式计算平台基础上建立高效、实时的数据 pipeline;
2、负责推荐系统、广告系统的数据分析,发现模式与规律,为实验解释、系统改进提供数据支持;
3、负责 hadoop,spark 等大数据基础设施和平台的改进,解决大规模生产环境集群可用性和性能优化问题。
任职要求:
1、2019届毕业,本科及以上学历,计算机相关专业;
2、热爱计算机科学和互联网技术,优秀的编码能力,乐于快速学习和尝试新技术、新工具;
3、对数据敏感,掌握量化分析方法,善于从数据中发现问题,提出假设并使用数据进行验证;
4、对至少一项分布式计算平台有使用经验,例如 hadoop,spark,hive,storm,kafka 等;
5、有参与开源项目对社区有贡献的经历,有互联网公司实习经历,有大数据处理或用户行为数据分析经验者优先。
第7篇 大数据工程师职位描述与岗位职责任职要求
职位描述:
这是一个为商业人工智能领域构建实时大数据分析平台的工作机会。我们希望您具备计算机科学或者相关专业领域的专业背景,并拥有构建分布式可扩展数据处理及大数据存储方面的丰富经验。您将担任跨职能的团队中的重要角色。我们希望您斗志昂扬,注重结果,积极主动,具备推动产品的增长和成功的成功经验。
工作职责
•在云端或者本地集群上构建可扩展的实时数据处理流水线,收集、转换、加载并管理各类数据源
•构建可扩展的分布式数据存储
•确保所构建的数据处理管道具有高质量并可审计
•开发相关工具以优化数据的提取、分析及可视化效率
•评估数据工程领域的新技术,并开发原型,以持续改善工作
•与框架和其他团队合作,确保系统运行符合设计预期
工作要求
•全日制硕士以上学历,计算机相关专业,cet6
•具备大数据相关技术例如spark, kafka, hadoop, hbase, hive等的丰富经验
•具备五年以上java、scala、python相关工作经验,mysql, redshift等sql相关经验
•具备三年以上可扩展实时etl开发经验
•熟悉azure/aws/gcp相关工具与知识
•良好的书面/口头沟通技巧
•具备机器学习算法方面工作经验者优先
第8篇 大数据工程师(电商行业)职位描述与岗位职责任职要求
职位描述:
工作职责:
1、基于hive的数据仓库建设、etl开发;
2、使用hive/flink等平台进行分析内部及外部的数据,配合业务团队进行定量和定性分析,把数据转化成为业务增值的信息;
3、探索、评估新的技术和解决方案,提高数据并行计算能力和运行速度。
任职要求:
1、熟悉大数据相关技术:kafka/flink/hadoop/druid/hbase 等;
2、具备数据库系统理论知识,掌握主流数据库管理和应用,精通sql;
3、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法;
4、熟练使用 java、python、php、go语言中的一种或者多种;
6、两年以上大数据开发经验,有高性能分布式平台开发经验,有电商行业经验优先。
第9篇 高级大数据工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、参与大数据开放平台基础能力建设,承担系统架构、组件开发、方案验证等工作;
2、参与构建大数据系列产品,包括但不限于用户画像、用户增长与用户经营、数据分析挖掘、实时计算、数据分发、机器学习平台、风控反欺诈等产品线;
任职要求:
1、 统招本科或以上学历,5年以上大数据开发工作经验;
2、扎实的java基础,能熟练使用java进行软件功能开发;
3、熟练掌握基于hadoop生态的大数据开发工具,包括hive、spark、hbase、sqoop、es、impala、flink、storm等,有实时系统开发经验优先;
4、熟悉常用的数据挖掘算法,例如聚类、回归、决策树等,有过nlp项目经验优先;
5、有过互联网公司数据仓库、分析系统、用户画像、广告平台等产品开发经验者优先;
6、工作积极主动,善于合作,敏而好学;
第10篇 大数据工程师岗位工作职责
简介:大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据工程师职位描述(模板一)
岗位职责:
1.负责数据分析、加工、清洗、处理程序的开发;
2.从事海量数据分析、挖掘相关工作;
3.负责大数据相关平台的搭建、开发、维护、优化;
4.对业务部门的数据分析需求给予实现与支持;
5.对公司的“数据驱动运营”的业务目标进行大数据架构方案实现。
任职要求:
1.计算机相关专业,本科及以上学历,3年以上java开发工作经验,学习能力突出;
2.熟悉hadoop生态系统内常见项目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce开发经验,有实际大数据项目经验优先;
3.熟练掌握oracle、mysql等主流数据库;
4.精通java,熟悉基于j2ee的web架构设计,熟悉web开发流程,有丰富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)开发经验;
5.熟悉linu_/uni_系统环境下的操作;熟悉tomcat等应用服务器的配置和优化;
6.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。大数据工程师职位描述(模板二)
岗位职责:
1.大数据平台功能规划、设计;
2.大数据平台的设计、研发;
3.大数据平台实施、数据接入。
任职要求:
1.统招本科及以上学历,计算机科学、软件工程、数学、统计学相关专业毕业;
2.具有扎实的java基础,精通sql、mysql以及2年以上软件开发经验;
3.熟悉hadoop平台架构,有hadooop、hbase、hive、spark、kafka使用经验;
4.熟练python进行数据处理,网页爬取;
5.有非结构化数据解析、识别经验优先。大数据工程师职位描述(模板三)
岗位职责:
1.负责数据仓库建设、设计、优化和落地;
2.负责数据etl开发、数据平台建设、设计并实现对bi分析、数据产品开发。
任职要求:
1.985院校计算机相关专业本科以上学历;
2.有较扎实的数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验;
3.有hadoop、hive、spark、impala等大数据技术使用经验者优先。大数据工程师职位描述(模板四)
岗位职责:
1.主要负责电信业务的大数据开发工作;
2.结合业务需求设计数据分析场景,并形成后台实现方案,独立完成业务数据建模,并将结果转化为运营指标;
3.对产品全生命周期跟进,协调各种资源保证产品顺利发展。
任职要求:
1.计算机或者相关专业本科及以上学历,3年及以上相关工作经验;
2.熟练掌握java开发语言,熟悉多线程和线程调优,如懂scala开发更佳;
3.熟悉linu_服务器环境、熟悉shell;
4.熟悉分布式系统、集群管理、soa架构等相关技术,熟悉hadoop on yarn集群部署和工作原理,熟练掌握mr开发,有大型集群开发运维经验更佳;
5.熟悉以下技术中3种及以上者优先考虑:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬虫;
6.具有良好的沟通能力和团队精神,具有良好的抗压能力。大数据工程师职位描述(模板五)
岗位职责:
1.负责大数据处理平台应用的开发工作;
2.利用hadoop yarn/storm/spark进行开发、存储、分布式计算应用的代码实现;
3.优化hadoop yarn/storm/spark 参数,实现系统调优,满足行业应用的实时大数据处理需求;
4.学习新技术,提高整个平台的计算能力和效率;
5.开发基于hive、hbase、es等数据处理方式的脚本程序。
任职要求:
1.3年以上hadoop/storm/spark开发经验,对分布式、并行计算理论有深刻理解;
2.精通java/scala/python任一语言;
3.对hadoop/storm/spark源码有研究,有大数据平台开发工作经验者优先;
4.有很好的技术敏感性,良好的学习能力和吃苦耐劳能力;
5.具有较好的沟通协调能力、团队合作能力、文档编写能力。
第11篇 大数据工程师-流式计算职位描述与岗位职责任职要求
职位描述:
岗位职责:
1.负责对核心业务数据实现数据的自动化/半自动化抽取、清洗、转化、标注等工作;
2.负责根据需求建立数据模型、进行全网数据在线抽取分析;
3.负责算法的工程化、产品化工作;关注机器学习、数据挖掘、人工智能等方向前沿研究,并能将具体场景建模后与之结合快速工程化并落地;
4.完成各种面向业务目标的数据模型的定义和应用开发规范的制定,并保证数据质量;
5.负责大数据计算平台的研发工作。
任职要求:
1.计算机、信息系统、数学或相近专业本科以上学历,4年以上软件研发经验;
2.精通spark/hadoop/hive/hbase/并有实战经验;
3.有scala, java, python等开发经验,精通sql;
4.有海量在线、离线数据分析系统设计和开发经验;
5.精通主流数据挖掘算法及其原理,能根据业务场景,建立挖掘模型,选择最合适和高效的算法并实现;
6.需要有责任心, 工作积极主动, 思路清晰,擅长沟通、有团队合作精神。
第12篇 资深大数据工程师职位描述与岗位职责任职要求
职位描述:
【岗位职责】:
1、参与公司数据平台架构设计,负责大数据平台和数据仓库相关建设;
2、依据公司的大数据技术发展路线,负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设,提供可靠的数据存储和访问能力;
3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;
4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;
5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;
6、参与公司数据治理策略等的制订和实施;
7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;
8、负责系统核心代码编写、代码审核和重构,指导和培训数据工程师、不断进行系统优化;
【任职资格】:
1、本科以上学历,5年以上大数据研发经验,带领过10人以上的大数据团队;
2、有大型分布式系统设计经验,负责过海量数据平台上高可用、高性能分布式系统的架构设计;
3、熟悉大数据开发框架,熟悉hadoop,hbase,spark等及业界主流流处理平台如,如storm,flunk,sparkstreaming等之一;
4、熟悉greenplum等数据仓库技术,并有广泛的实践经验,具备维护和解决生产问题的能力;
5、熟悉掌握分布式存储和nosql数据库技术(如monogodb、redis等),有实际生产项目应用经验;
6、熟练掌握java,python,scalar中的至少一种编程语言,掌握常见的数据结构,算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式
7、理解soa,微服务,中间件等paas相关的关键理念与技术,并对其有广泛的实践与应用经验,乐于。
8、有民航、电子商务、风控等大数据设计和从业经验者优先。
第13篇 工业大数据工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、针对工厂四大ai场景(机器视觉/图像识别、机器学习/phm、知识发现、自然语言处理),给出有竞争力的算法实现;
2、深入了解业务需求,能对算法和模型应用效果进行评估、分析和优化等;
3、ai和大数据相关课程开发培训;
任职要求:
1、全日制本科及以上学历,有5年以上相关工作经验;
2、曾经实作过ai算法功能,有深度学习项目和相关经验,图像处理经验优先考虑;
3、熟悉流行的ai学习开源工具,如tensorflow等,有计算机视觉、深度学习的开发经验者优先;
4、具备处理、清洗、核定分析数据能力,熟悉编程语言python等。
第14篇 大数据工程师( elasticsearch/spark)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1、 负责基于elasticsearch的研发;
2、 负责基于spark生态系统的研发;
3、 负责elasticsearch/spark集群调优;
4、 负责对数据进行建模。
任职要求:
1、 大学本科及以上学历,计算机相关专业;
2、 三年以上工作经验;
3、 熟练掌握java/scala后端开发,如多线程、网络等;
4、 熟练掌握python、shell中的一种脚本语言;
5、 熟悉spark 生态系统组件,如:hadoop、flume、kafka、hbase、hive、pig、zookeeper;
6、 熟悉linu_开发环境;
7、 熟悉elasticsearch、lucene优先;
8、 能够读懂及书写英文文档;
9、 有spark调优、统计学知识的优先考虑;
10、 有机器学习经验者优先考虑;
11、 对新技术有孜孜不倦的热情。
21位用户关注