第1篇 大数据运维工程师职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 负责大数据平台的业务监控、持续交付、应急响应、容量规划、性能优化;
2. 负责cloudera manage平台各大数据组件(例例如:hdfs、yarn、hbase、hive、hue、impala、spark、sqoop、zk等)安装调试与支持;
3. 深入研究大数据相关运维技术,持续优化集群服务架构,探索新的hadoop运维技术及发展方向;
4. 负责hadoop平台的用户管理、权限分配、资源分配;
岗位要求:
1. 熟悉apache hadoop、spark、kafka、hbase、hive等大数据组件的安装部署、故障处理理、性能调优,具有cdh等组件实际使用经验;
2. 具有cloudera manage平台搭建维护经验;
3. 熟悉linu_,有cloudera使用经验优先;
4. 有一定的hql/sql性能调优工作;
5. 熟悉azkaban工作流组件优先。
第2篇 大数据java开发工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、根据业务需求与前端组协作开发并实现各功能;
2、与架构师一起确定后端研发中涉及到的技术框架选型及相关实现;
3、与架构师一起确定协作完成核心接口的定义、使用、测试并保证业务代码的运行效率;
4、与测试组及运维组协作实现产品上线,并监控产品服务,及时处理线上异常;
5、能带领小团队独立工作,分解项目需求,完成模块设计,组织评审,制订开发计划,保证质量;
6、参与code review ,从技术层面带领团队整体实力提升。
任职资格:
职位要求
1、计算机相关专业,本科及以上学历;
2、具有3年或以上java web项目开发工作经验;
3、java基础扎实,深入理解成熟java开源框架,如spring, springmvc等;
4、熟练使用和配置一种或一种以上tomcat、jetty、ngin_等主流应用服务器;
5、熟练使用mysql等常用数据库,对redis有深入理解和实际设计及使用经验;
6、有丰富的高并发,高吞吐系统开发经验;
7、有较强的承压能力以及学习能力;
有以下经验者优先:
1、深入理解redis
2、了解apache karaf、apache camel,有相关使用经验
3、熟悉阿里云或中间件相关技术
第3篇 大数据平台(高级)工程师-实验评估方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、研发业界领先的灰度实验/abtest系统,面向头条全公司的所有产品线;
2、建立通用的用户行为指标体系,探索性发掘新指标,研究业界领先的个性化评估方法;
3、从pb级超大规模的用户行为数据中挖掘信息,并设计实验验证假设,为策略/产品改进提供支持。
任职要求:
1、熟悉多项大数据处理/分析相关的工具/框架,e.g.hadoop, mapreduce, hive, storm, spark, kylin,scribe, kafka, hbase, canal,sqoop etc;
2、强悍的编码能力,生产环境快速 trouble-shooting能力,对新技术有强烈的学习热情;
3、优秀的理解沟通能力,能快速理解业务背景,对数据敏感,崇尚数据说话,深信数据在驱动业务、支撑决策上的价值,有web应用开发能力者优先。
第4篇 资深大数据工程师职位描述与岗位职责任职要求
职位描述:
【岗位职责】:
1、参与公司数据平台架构设计,负责大数据平台和数据仓库相关建设;
2、依据公司的大数据技术发展路线,负责基于hadoop生态系统和mpp数据库的大规模数据平台的研发及数据仓库建设,提供可靠的数据存储和访问能力;
3、负责公司大数据平台和数据仓库的搭建、开发、管理、监控和性能调优,保证集群高效稳定运行;
4、规划与开发离线数据平台系统,处理海量数据,优化存储和计算架构的性能;
5、负责数据平台技术难点攻关、技术选型评估,参与开发流程的讨论与优化;
6、参与公司数据治理策略等的制订和实施;
7、负责协助产品经理进行数据仓库相关的需求分析、建模、宽表设计等工作;
8、负责系统核心代码编写、代码审核和重构,指导和培训数据工程师、不断进行系统优化;
【任职资格】:
1、本科以上学历,5年以上大数据研发经验,带领过10人以上的大数据团队;
2、有大型分布式系统设计经验,负责过海量数据平台上高可用、高性能分布式系统的架构设计;
3、熟悉大数据开发框架,熟悉hadoop,hbase,spark等及业界主流流处理平台如,如storm,flunk,sparkstreaming等之一;
4、熟悉greenplum等数据仓库技术,并有广泛的实践经验,具备维护和解决生产问题的能力;
5、熟悉掌握分布式存储和nosql数据库技术(如monogodb、redis等),有实际生产项目应用经验;
6、熟练掌握java,python,scalar中的至少一种编程语言,掌握常见的数据结构,算法,了解软件工程、敏捷开发等知识,熟悉常用设计模式
7、理解soa,微服务,中间件等paas相关的关键理念与技术,并对其有广泛的实践与应用经验,乐于。
8、有民航、电子商务、风控等大数据设计和从业经验者优先。
第5篇 大数据云计算工程师岗位职责
高级java开发工程师(云计算大数据方向) 中软国际科技 中软国际科技服务有限公司,中软国际,中软国际科技,中软国际科技服务,中软 职责描述:
1、负责/参与应用系统平台设计、重构、优化,主导/参与技术难题攻关;
2、负责并参与系统需求分析、功能模块详细设计,完成系统业务功能实现、测试及维护工作;
3、负责编写相应的需求、设计与技术文档,向系统使用者提供技术支持服务;
4、参与线上系统环境的升级、运维监控、性能调优;
5、推动跟进业务线需求,为改善系统的功能积极提出建议。
任职要求:
1、3以上java语言开发经验,基础扎实, 熟练使用springmvc框架进行开发;
2、对多线程编程,线程安全等有较深理解. 能够熟练使用线程池等常用功能;
3、熟练使用jpa,hibernate,mybatis中的一种或多种持久层框架;
4、熟练使用sql的crud命令;
5、具有库表结构设计能力, 并且有一定的sql开发及优化能力。
第6篇 大数据开发工程师(数仓方向)职位描述与岗位职责任职要求
职位描述:
岗位职责:
1. 理解业务需求,负责数据仓库建设、etl流程的开发和优化工作;
2. 解决业务数据分析、数据报表、数据异常相关的技术问题;
3. spark/yarn/hdfs 的性能改进、功能扩展、故障分析;
任职资格:
1. 计算机相关专业本科及以上学历;
2. 精通java编程语言,并熟悉scala、python、shell等一门以上脚本语言;
3. 熟悉hadoop大数据平台架构,熟悉spark/spark sql/yarn开发调优技术,具有相关项目经验
4. 掌握数据仓库(dw)/olap/商业智能(bi)/数据统计理论,熟悉oracle/mysql数据库;
5. 思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;
6. 具有高度的责任感,工作认真、踏实。
福利待遇:
1、薪酬:有竞争力的薪酬体系,我们不止跟你谈理想,钱也必须谈一谈~
2、交通:无论天涯,免费班车直达公司,蓦然回首,地铁就在公司不远处。。。
3、工作时间:5天7小时工作制,充足的休息让你一整天元气满满!
4、各种福利:五险一金小case,节日礼物福利补贴说不完!
5、团建活动:下午茶,团队活动,部门聚餐,经费充足不差钱,大公司就是这么壕!
6、发展平台:想要升职加薪走向人生巅峰?上市公司晋升发展机会多多~
第7篇 数据平台-大数据开发套件服务端高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、面向公司的大数据开发套件产品设计与研发,包括大数据任务建设平台,元数据管理系统,数据质量监控平台,任务运维平台等
2、参与需求调研与用户技术支持
3、追求极致,构建业内领先的数据平台产品
任职要求:
1、精通java/scala语言,包括jvm、类装载、线程、并发、io资源管理、网络
2、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战
3、精通soa架构和微服务架构
4、有 ide 开发经验者优先考虑
5、熟悉前端技术的全栈开发工程师优先
6、熟悉hadoop ecosystem常用开源框架者优先,例如hadoop/flink/spark等
第8篇 大数据架构资深工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、打造业界领先的存储、计算等分布式系统;
2、为海量数据和大规模业务系统提供可靠的基础设施。
任职要求:
1、掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识;
2、乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案;
3、存储方向:对 hdfs, rocksdb, leveldb, memcache, redis, mysql, hbase, kafka 的一项或多项有经验者优先;
4、计算方向:对 spark, mapreduce, storm, hive, presto, impala 的一项或多项有经验者优先;
5、集群管理方向:对 yarn, mesos 的一项或多项有经验者优先;
6、向开源社区贡献过 patch 者优先,请在简历上说明。
第9篇 大数据工程师岗位职责职位要求
职责描述:
华为企业bg-大数据工程师
1、基于hadoop/spark/mppdb的大数据、数仓平台架构设计及开发工作
2、数据处理流程设计及开发
3、海量数据的采集、存储、管理、分析、建模
4、负责大数据、数仓平台的监控及优化,针对持续增长的数据提供相应的解决方案
5、负责大数据、数仓项目的疑难问题解决,性能优化
专业知识要求:
1、有3年以上相关岗位工作经历,或者非金融业的数据服务或信息数据管理工作经验
2、数学、计算机技术等相关专业
3、精通大数据(mppdb、hadoop)等相关技术,并精通hbase/hive/mr/spark/solr/storm/flink其中的任意3个组件技术。
4、至少精通主流数据库技术oracle/postresql/mysql/sql server中的一种,精通数据仓库理论架构,包括但不限于数据调度、etl、元数据管理、数据监控;
5、精通1-2门开发语言(java/python/scala/shell)
6、具有比较突出的组织、策划、协调及沟通能力,有强烈的结果导向和客户导向。
岗位要求:
学历要求:本科
语言要求:不限
年龄要求:不限
工作年限:3-5年
第10篇 fwz-大数据挖掘工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、熟知公司业务数据和业务变化,构建业务数据模型;
2、维护业务数据模型,验证数据质量,保障数据完整和可靠;
3、进行数据研发和分析,支持业务优化、监控和考核;
4、不断学习数据技术,使用新技术高效完成任务。
5、平台的搭建与数据维护
任职要求:
1、国内外高校计算机、数学类相关专业,本科以上学历;
2、2年以上大规模数据研发、挖掘、分析相关工作经验;
3、熟悉mysql、oracle、sqlserver或至少其中之一,熟悉sql语言;
4、具有hadoop、hive、hbase、spark、strom等开源工具的使用经验,并能结合不同的业务场景使用;
5、具有python、shell开发经验;
6、有物流行业相关工作经验者优先;
7、了解数理统计、数据分析及挖掘,熟知常用算法,有运用机器学习算法建模的理论基础或实际经验者优先;应用大数据平台完成项目或任务。
第11篇 大数据工程师岗位工作职责
简介:大数据(big data),指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
大数据工程师职位描述(模板一)
岗位职责:
1.负责数据分析、加工、清洗、处理程序的开发;
2.从事海量数据分析、挖掘相关工作;
3.负责大数据相关平台的搭建、开发、维护、优化;
4.对业务部门的数据分析需求给予实现与支持;
5.对公司的“数据驱动运营”的业务目标进行大数据架构方案实现。
任职要求:
1.计算机相关专业,本科及以上学历,3年以上java开发工作经验,学习能力突出;
2.熟悉hadoop生态系统内常见项目的使用(hdfs、hive、hbase、spark、zookeeper、yarn等),具有python、spark 、mapreduce开发经验,有实际大数据项目经验优先;
3.熟练掌握oracle、mysql等主流数据库;
4.精通java,熟悉基于j2ee的web架构设计,熟悉web开发流程,有丰富的web mvc(struts/spring mvc、spring,hibernate/mybatis等)开发经验;
5.熟悉linu_/uni_系统环境下的操作;熟悉tomcat等应用服务器的配置和优化;
6.具有良好的沟通能力、组织能力及团队协作精神,有较强的分析和解决问题的能力。大数据工程师职位描述(模板二)
岗位职责:
1.大数据平台功能规划、设计;
2.大数据平台的设计、研发;
3.大数据平台实施、数据接入。
任职要求:
1.统招本科及以上学历,计算机科学、软件工程、数学、统计学相关专业毕业;
2.具有扎实的java基础,精通sql、mysql以及2年以上软件开发经验;
3.熟悉hadoop平台架构,有hadooop、hbase、hive、spark、kafka使用经验;
4.熟练python进行数据处理,网页爬取;
5.有非结构化数据解析、识别经验优先。大数据工程师职位描述(模板三)
岗位职责:
1.负责数据仓库建设、设计、优化和落地;
2.负责数据etl开发、数据平台建设、设计并实现对bi分析、数据产品开发。
任职要求:
1.985院校计算机相关专业本科以上学历;
2.有较扎实的数据仓库理论基础,对数据模型建设、应用层建设有比较丰富的经验;
3.有hadoop、hive、spark、impala等大数据技术使用经验者优先。大数据工程师职位描述(模板四)
岗位职责:
1.主要负责电信业务的大数据开发工作;
2.结合业务需求设计数据分析场景,并形成后台实现方案,独立完成业务数据建模,并将结果转化为运营指标;
3.对产品全生命周期跟进,协调各种资源保证产品顺利发展。
任职要求:
1.计算机或者相关专业本科及以上学历,3年及以上相关工作经验;
2.熟练掌握java开发语言,熟悉多线程和线程调优,如懂scala开发更佳;
3.熟悉linu_服务器环境、熟悉shell;
4.熟悉分布式系统、集群管理、soa架构等相关技术,熟悉hadoop on yarn集群部署和工作原理,熟练掌握mr开发,有大型集群开发运维经验更佳;
5.熟悉以下技术中3种及以上者优先考虑:hive、hbase、impala、ngin_、zookeeper、redis、kafka、storm、spark、es、爬虫;
6.具有良好的沟通能力和团队精神,具有良好的抗压能力。大数据工程师职位描述(模板五)
岗位职责:
1.负责大数据处理平台应用的开发工作;
2.利用hadoop yarn/storm/spark进行开发、存储、分布式计算应用的代码实现;
3.优化hadoop yarn/storm/spark 参数,实现系统调优,满足行业应用的实时大数据处理需求;
4.学习新技术,提高整个平台的计算能力和效率;
5.开发基于hive、hbase、es等数据处理方式的脚本程序。
任职要求:
1.3年以上hadoop/storm/spark开发经验,对分布式、并行计算理论有深刻理解;
2.精通java/scala/python任一语言;
3.对hadoop/storm/spark源码有研究,有大数据平台开发工作经验者优先;
4.有很好的技术敏感性,良好的学习能力和吃苦耐劳能力;
5.具有较好的沟通协调能力、团队合作能力、文档编写能力。
第12篇 大数据计算引擎高级工程师职位描述与岗位职责任职要求
职位描述:
工作职责:
1、研发业界领先的大数据计算引擎,服务于今日头条全公司的数十个用户产品线;
2、面向超大规模数据问题,每天千亿增量的用户行为数据,秒级处理pb级别的数据计算;
3、善于理解和抽象业务问题,支撑多样的海量数据分析场景。
任职要求:
1、强悍的系统设计&编码能力,追求优雅的设计和优秀的代码质量,高标准,快速行动;
2、对hive/kylin/presto/spark/tez/impala 的一项或多项有深入研究者优先;
3、有pb规模的数据处理经验者优先/4、开源项目commiter或贡献过patch 者优先,请在简历上说明。
第13篇 sfj-大数据挖掘与分析工程师(数据分析方向)职位描述与岗位职责任职要求
职位描述:
职责描述:
1、用系统化的方法分析业务变化趋势,为管理层决策和产品完善提供数据支持;
2、运用hive/sql做数据挖掘分析,用数据驱动产品改进、业务发展;
3、指导与支持产品经理、业务经理设定目标,并检验是否达标。
任职要求:
1、统计、生物统计、运筹、应用数学相关专业本科及以上学历;
2、三年以上在互联网或物联网行业的数据分析工作经验;有app数据运营、物流数据分析经验的优先;
3、优秀的商业分析能力,有及时发现和分析其中隐含问题的敏锐性 ,能从复杂用户行为数据进行抽象概括,建立数学模型并用ppt等表达;
4、熟悉sql与hive,掌握统计分析方法;
5、有设计a/b test的能力,精通各种统计假设检验的方法,如:t-test, chi-square等;
6、具备r或python能力。
第14篇 大数据主任工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1. 负责客户业务需求、数据分析需求的调研、收集与分析;
2. 负责 kyligence enterprise 大数据平台整体架构和数据架构设计;
3. 负责技术设计及技术实现规范编制,指导开发团队进行项目设计、项目实现及技术汇报;
4. 负责项目重难点模块的功能设计和难点攻坚;
5. 参与 kyligence enterprise/apache kylin 的应用设计、开发、测试及优化工作。
任职要求:
1. 计算机相关专业,本科及以上学历;
2. 有 3 年以上工作经验,其中包括2年以上大数据平台架构和系统设计经验;
3. 精通 hadoop、hive、hbase原理,熟悉大数据生态技术,如storm、spark、flink、kafka、zookeeper等,有大规模集群架构、开发及运维经验,能根据业务场景设计合适的技术栈完成业务需求
4. 熟练sql 语言,掌握 oracle、db2、mysql 等一种或多种数据库系统的使用,有一定的 sql 性能调优经验;
5. 至少熟悉 java,scala,python,shell等编程语言中的2种;
6. 优秀的分析和解决问题的能力,对挑战性问题充满激情;
7. 具备良好的团队合作精神,较强的沟通能力,具备良好的技术领导能力;
8. 有数据仓库背景或者 apache kylin 的开发经验者优先考虑;
第15篇 大数据开发高级工程师-etl方向职位描述与岗位职责任职要求
职位描述:
工作职责:
1、 根据公司数据分析需求进行基于hadoop 平台的项目开发;
2、 根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理, 监控等;
3、 负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的数据库创建、维护及提供数据接口工作;
4、 负责设计并优化基于hive 的数据仓库的建设;
5、 制定数据库备份和恢复策略及工作流程与规范。
6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。
任职资格:
1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验 ,具备海量数据加工处理相关经验;
2. 熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;
3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;
4. 熟练掌握kettlesqoop、data_、airflow等;
5. 有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;
6. 熟悉分布式计算presto/imapa优先;
7.有实时计算方面的经验的优先。
第16篇 大数据基础架构研发工程师职位描述与岗位职责任职要求
职位描述:
职责描述:
1、负责公司内部大数据平台的选型与优化工作;
2、参与整体系统架构的规划,维护公司的大数据生产平台,不断优化系统性能;
3、开发适合公司业务的大数据框架,并协助其他部门开发与优化出高效的并行计算程序;
4、开发适合公司业务的大数据存储平台,完成pb级别的高性能存储作业。
任职要求:
1、985/211院校计算机相关专业毕业,有良好的计算机基础;
2、熟悉java语言,熟练使用idea或eclipse,有第二门语言者优先(python,c++);
3, 熟悉centos、ubuntu、等linu_操作系统;
4,两年以上研发工作经验,有中层管理经验者优先;
5,3年以上使用hadoop/hbase等分布式平台经验,有过管理pb级别数据经验者优先;
6,熟悉hadoop/hbase的各类配置与插件开发,有过源码修改与插件开发经验者优先;
7,有过大型项目(使用人数超过100万,日均pv超过1亿)的参与经验优先。
42位用户关注
29位用户关注
68位用户关注
60位用户关注
62位用户关注
88位用户关注
77位用户关注