大数据开发工程师岗位职责和要求 大数据开发工程师岗位职责和技能要求
文件夹
在日常的学习、工作、生活中,肯定对各类范文都很熟悉吧。范文怎么写才能发挥它最大的作用呢?接下来小编就给大家介绍一下优秀的范文该怎么写,我们一起来看一看吧。
1、从事hadoop、spark、hbase、hive等分布式大数据产品的设计和开发;
2、针对部门大数据业务进行大数据分析、挖掘等产品应用的开发;
3、大数据平台各类数据业务抽象及模型化;
4、参与大数据管理平台的开发及维护;
5、负责大数据平台数据及相关的应用开发,调优及维护;
6、为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;
7、良好的团队合作与沟通能力。
任职要求:
1、本科及以上学历,2年以上大数据应用开发经验;
2、具备java、python、scala其中两种语言的开发经验;
3、了解泛hadoop大数据生态圈,熟悉hdfs/hive/flink/hbase/spark/kafka其中两种以上技术,并有实际的项目开发经验,有相关源码研究者优先;
4、具备etl开发与运维能力,有flume、kettle经验优先;
5、熟悉大数据平台的搭建过程,熟悉数据处理流程,有tb级以上数据处理经验优先,有实时数据处理经验者优先;
6、熟悉离线和实时数据处理流程,熟练使用spark,flink处理tb级数据优先;
7、熟悉linux系统环境,有shell等脚本编写经验,熟悉mysql、postgresql、oracle等常用关系数据库,熟练编写sql语句;
8、熟悉yarn,kubernetes,azkaban等资源调度框架者优先;
9、熟悉datax的二次开发,并有实际开发经验优先。
职责:
1、负责所分管团队的团队建设和日常管理工作;
2、负责核心技术问题攻关和性能优化,持续维护和引进最新的大数据技术到城市大数据平台中,支撑城市级大数据平台业务;
3、承担城市数据标准编制和数据模型的设计;
4、承担项目中数据相关方案设计及数据团队管理;
5、参与城市大数据项目中数据采集、加工过程、分析挖掘模型算法的实施工作。
任职资格:
1、1年以上数据开发工作经验,熟练使用sql查询引擎;
2、熟悉hadoop、mpp、oracle等至少一种数据仓库工具
3、具备良好的编程语言基础如:java/python/scala/c++/shell等
4、二本以上学历,计算机相关专业或者有相关培训经历者优先
5、 个人素质要求:目光长远、态度诚恳、岗位有稳定性,能够长期培养、具备很强的自学能力、承压能力强、接受出差支援项目等工作。对数据工作具备浓厚的兴趣并有明确职业规划,优秀的学习能力和团队沟通协作能力,对新技术有浓厚兴趣并有钻研精神。
职责
1、负责基于hadoop/spark生态系统、亿级别数据的全文检索,搜索引擎的产品研发;
2、基于海量用户行为数据和其他数据,分析和研究数据与实际业务的关联关系,并与实际业务应用相结合开发;
3、负责大数据分析需求设计和开发,承担数据抽取、清洗、转化等数据处理程序开发。
任职要求:
1、熟悉hadoop/hbase/spark/storm/redis/kafka/es/flume技术及其生态圈,具备相关项目开发经验,有数据实时计算项目经验优先;
2、有搜索引擎全文检索开发经验 ,如:elasticsearch、solr;
3、熟悉python、r任意一门开发语言;
4、有saas,paas企业级应用平台或者互联网,金融等大型应用平台开发经验优先考虑;
5、 本科及以上学历,计算机/软件工程/统计学/数学等相关专业,互联网/金融等行业3年以上工作经验;
6、拥有良好的代码习惯,要求结构清晰、命名规范、逻辑性强、代码冗余率低,代码注释清晰;
7、熟悉使用svn,禅道等项目管理工具,有良好的团队协作开发经验.
职责:
1、负责数据分析、加工、清理,相关处理脚本和程序的开发;
2、负责开发大数据工具,如报表平台、多维度分析工具、etl平台、调度平台的研发;
3、负责分布式大数据平台应用开发(hadoop/spark/hive/hbase等);
4、负责大数据相关平台的维护、优化。
任职要求:
1、本科及以上学历,计算机相关专业,具有5年及以上的大数据etl或数据开发经验,熟悉大数据组件的维护以及调优;
2、熟练掌握java或python编程语言,熟悉大数据架构体系,熟悉hadoop、hdfs、hive、hbase、spark、kafka等技术中的一个或者多个,熟悉sqoop、datax等数据导入工具;
3、能熟练使用hive、hbase、spark等加工和处理数据,有海量数据处理经验;
4、有数据仓库开发经验/bi系统开发经验优先;
5、有电商行业数据处理与分析平台开发经验者优先。
职责:
1、依据客户需求完成大数据项目的数据分析及建模;
2、进行大数据核心算法的编写;
3、参与项目的需求分析、系统设计、编码工作;
4、参与开发过程中相关新技术的研究和验证。
5.协助承担架构性的体系设计和改造工作,配合制定技术实施方案,按照总体设计组织子系统的设计和开发。
任职要求:
1、精通数据建模、数据体系建设,具备数据仓库架构设计、模型设计和处理性能调优等相关经验;
2、具有丰富的基于hadoop体系的数据平台、数据仓库建设经验,精通基于hadoop源码的开发、优化改造及成功应用案例;
3、精通hadoop生态体系各项技术,如kafka、flume、hive、impala、hbase、spark等,具有100+节点hadoop集群的开发、运维经验;
4、具有对大型hadoop集群的硬件规划能力;
职责:
1.根据产品或项目开发进度和任务分配,负责相应软件模块的设计开发;
2.根据开发规范和流程独立完成模块的设计、编码及相关文档;
3.服务器环境的搭建和系统的部署等。
4.协助编写需求文档,编写概要设计文档、详细设计文档、数据文档等相关文档。
5.能够参与系统架构设计、性能优化、重构的讨论及给出解决方案的建议。
任职要求:
1、计算机或相关专业背景,大专以上学历,2年以上工作经验。
2、精通一种或多种主流的关系型数据库如mysql、oracle。
3、熟练使用java编程语言,有良好的编程风格。
4、熟悉java的基础知识,如数据类型、集合、异常处理、多线程、缓存、事务等。
5、熟悉一种或多种nosql数据库,如mongodb、redis。
6、熟练使用spring、springmvc、hibernate等常用后端框架。
7、熟悉linux等操作系统。
8、熟悉springboot框架。
9、熟悉微服务架构。
10、熟悉数据结构、设计模式、uml等知识。
11、熟悉一种或多种消息队列如rocketmq、kafka。
职责:
1、根据业务需求,提供业务、技术、系统开发解决方案;
2、和团队成员一起参与并完善项目数据分析工作的流程、规范和方法建设;
3、参与项目数据采集、清洗、存储、计算等全方位设计与开发;
4、配合完成数据模型设计;
5、负责数据交工及报表开发。
任职要求:
1、计算机相关专业全日制本科及以上学历;2年及以上项目经验;
2、熟悉oracle数据库架构。熟练编写plsql存储过程,能够进行简单的sql调优,熟练掌握oracle常用语句;
3、熟悉microstrategy(mstr)报表工具,基本了解mstr文档、仪表盘等功能开发流程;
4、熟悉数据仓库理论,有较好的大数据应用开发能力;
5、具有良好的沟通、表达能力,有较强的独立工作能力和解决问题的能力;
6、逻辑思维能力强,谦虚好学,工作踏实,有责任感。
职责:
1、参与前端应用开发,包括web及mobile等产品,负责前端交互的实现;
2、与设计师、产品工程师紧密工作在一起,负责产出高质量的产品前端层;
3、能充分理解项目需求和设计需求,具有一定研发精神,能解决各种未知问题;
4、与团队成员分享经验和新技术,帮助团队成长。
任职要求:
1、 计算机、软件类专业,本科及以上学历;
2、 具有3年以上前端开发经验,精通html5、css3,熟练应用jquery等框架;
3、对 mvc/mvmm 有一定的理解,熟练掌握 react/redux 或者 vue/vuex 或者 angularjs,有中大型h5项目开发经验者优先;
4、熟悉移动端web开发,能解决各种手机平台兼容性问题,有webapp、微信公众号、小程序开发经验者优先;
5、关注技术前沿,善于利用各种工具提升自己与团队的开发效率;
6、良好的沟通表达能力,具备很好的团队协作精神;
7、善于学习新的知识,热爱技术,动手能力强,有进取心。
职责:
1、根据公司的业务需要,负责业务系统的核心模块的设计和开发工作;
2、web项目执行;按照项目管理流程,参与研发部门的总体设计评审;
3、承担部分新技术试验和研究,并应用到公司产品中,独立解决开发中遇到的问题;
4、进行详细设计、代码开发,配合测试,高质量完成项目;
5、负责公司门户网站、商城、微信小程序小游戏等相关项目的开发维护工作。
任职要求:
1、大专以上学历,1-3年左右开发经验,计算机相关专业,有php项目开发经验;
2、熟悉web开发流程,熟练应用php+mysql,php+mssql进行独立开发,熟悉数据库设计;
3、熟悉mvc设计模式,精通 mysql维护管理,mysql索引优化、查询优化;
4、熟练掌握缓存、静态化,代码安全开发等相关技术;熟悉大数据网站性能优化,具备规范的代码编写习惯以及良好的用户体验开发意识;
5、熟练使用html/css/javascript/ajax/jquery/xml等技术进行web应用开发,有团队协作精神;
6、精通数据接口对接与开发,有商城开发经验、微信小程序开发应用者优先。
职责
1、负责提供蓝鲸自动化运维开发平台在企业落地实施过程中的技术支持;
2、协助项目经理完成客户现场的需求沟通,并能与客户就相关问题进行直接沟通,参与项目技术方案设计、编写等工作。
3、负责公司产品实施工作(部署安装调试、工具开发、对接平台实际落地),以及平台应用工具开发工作,参与平台工具脚本的编写;
4、就公司产品能在技术层面向客户进行讲解和培训;
5、撰写技术支持文档或功能使用文档,配合公司产品测试,提供测试反馈;
任职资格
1、计算机相关专业,2年以上运维开发或运维经历;
2、有运维开发经验为佳,精通一门以上脚本语言(shell/powershell/perl/python等),熟悉django web开发框架,熟悉设计模式、开发规范,掌握常用linux操作命令;
3、热爱软件研发工作,有强烈的创新精神并能付诸实施,能积极学习业界新技术;
4、有良好的逻辑思维能力和想象力,善于抽象简化复杂问题,善于系统性思考并使用创新性思维解决问题,学习能力强;
5、有责任心,优秀的团队合作精神,良好的沟通表达,积极主动,自我驱动,乐观,诚实,勤奋,严谨;
6、有不错的工作抗压能力,富有激情;
7、熟悉html、css、javascript等前端开发技术者优先;
8、熟悉蓝鲸产品软件设计体系,掌握蓝鲸saas开发人员优先。
职责:
1、负责大数据etl开发与维护;
2、负责大数据平台数据库的设计以及开发;
3、负责大数据计算框架的选型与计算流程的设计与开发;
4、负责数据服务的设计与开发。
任职资格:
1、本科及以上学历;
2、熟悉flink、flume、jstorm、sparkstream、hive、spark等分布式开源软件,具备系统优化与性能调优能力者优先;
3、精通java等面向对象编程,有分布式并行计算的开发经验优先;
4、熟练掌握至少一种mysql、sql server、oracle等关系型数据库或mongodb、redis等nosql数据库 ,有hive等数据仓库研发经验优先;
5、熟悉大数据、云计算概念,了解hadoop、hive、hbase等大数据主流技术及开源框架者优先;
6、自学能力强,沟通能力较好,有一定独立分析,技术研究能力,具有良好的团队合作精神;
7、数据意识强,有较好的文档编写能力,以及踏实的工作作风。
职责:
1. 负责运营平台以及移动应用服务器api开发与维护,编写开发文档;
2 .根据业务需求提出技术方案,负责系统框架的规划、开发;
3. 熟悉支付业务流程,对已有模块的调优和bug修复。
任职资格:
1. 计算机及相关专业,熟悉掌握php、熟悉面向对象编程;
2 .有成熟的项目经验,能独立处理开发中遇到的问题;
3 .熟悉linux服务器相关知识,熟悉nginx/apache等服务搭建,对服务器搭建和系统性能调优有了解;
4 .熟悉掌握mysql数据库的使用,对高并发数据处理和数据优化有相应的处理方案;
5 .对缓存技术有了解,使用过redis/memcache/mongodb等常见nosql数据库之一。
职责:
1、根据公司信息化发展需要和业务流程要求,对erp系统和oa平台进行定制化二次开发和功能扩展,制定二次开发方案、计划并实施,分析并解决开发过程中的问题;
2、或能自主开发满足公司管理需要的软件系统,负责软件产品的架构设计、功能模块设计、数据库结构设计及核心代码开发;
3、对erp系统、oa平台或自主开发软件系统进行维护,保障软件系统的稳定运行;
4、负责其他系统与erp接口的技术支持;
5、完成上级临时交办的其他工作。
任职资格:
1、计算机、电子信息工程相关专业,大专以上学历;
2、对erp系统和oa平台的功能和使用比较熟悉;
3、熟悉软件系统开发过程,有编写代码、编写脚本的经验,熟悉至少两种开发语言;
4、有二次开发经验,熟悉erp二次开发和实施经验者优先;
5、具有数据库及高级应用程序开发经验;
6、具有通信协议接口开发经验;
7、熟悉sql server、oracle等数据库开发。
职责:
1. 负责产品研发java后台设计与开发工作、客户现场相关项目的java后台设计与开发工作;
2. 对自行编制的功能代码进行功能与性能优化,可协助h5、app端、第三方进行接口联调,及时修改测试、提出bug,确保代码质量;
3. 撰写相关的技术文档,主要包括设计文档、接口文档、部署文档、使用手册等;
4. 参与项目整个过程的实施工作,并具备独立安装部署和后期实施运维能力;
5. 参与到项目售前技术支持工作,能出差实施项目。
任职资格:
1. 计算机相关专业毕业,有3年以上java工作经验,有政府信息化或智慧城市相关项目经验优先;
2. 熟练使用sql语句与sql优化,熟悉主流数据库mysql、oracle等;
3. 熟练j2ee主流技术框架,如spring、springmvc、mybatis、shiro等;
4. 精通http通信协议、restfull api、httpclient等接口规范与应用;
5. 熟练java相关边沿技术与工具:eclipse、idea、maven、svn、git、javascript、poi、log4j、freemarker、redis、quartz、mq等
6. 熟练使用linux常用命令,可以完成java服务运行环境的安装、部署、监控等工作;
7. 具有良好的理解能力与沟通能力,能正确理解产品或项目目标与需求,有问题可以积极沟通确认,能做到及时准确的上报下达;
8. 具有良好的职业素质与团队合作精神,可以严格遵守公司与项目组相关规定,有强烈的集体团队意识;
9. 对工作态度主动积极、认真负责、且具有一定的抗压能力;
2025年大数据开发工程师的岗位职责和要求 大数据开发工程师岗位职责和技能要求十四篇(通用)
文件夹