2023年数据仓库工程师的工作内容(九篇)
无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。范文怎么写才能发挥它最大的作用呢?下面是小编帮大家整理的优质范文,仅供参考,大家一起来看看吧。
数据仓库工程师的工作内容篇一
1、负责大数据开发工作;
2、负责公司数据服务接口平台的建设;
3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;
5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。
岗位要求:
1、本科以上学历,计算机、数学、统计学等相关专业;
2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/maxcompute;
3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;
4、熟悉常见的离线、实时、流式数据应用场景及架构;
5、至少掌握一门开发语言,java/python;
6、具备良好的沟通能力和设计文档编写能力;
7、懂数据挖掘、知识图谱的构建者优先。
数据仓库工程师的工作内容篇二
职责:
1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;
2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;
3.参与数据产品与应用的数据研发;
4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;
5.编写python程序,或etl技术完成日常数据抽取和整理任务,可独立进行数据分析;
岗位要求:
1.熟悉etl开发、数据仓库设计流程,熟悉oracle, ms sql server 等主流数据库,表结构设计,存储过程编写;
2.熟练掌握常用linux命令,具备shell编程能力,熟练掌握python编程语言
3.具有较强的语言表达和沟通能力,良好的团队合作精神
4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;
5.具有高度的责任感和敬业精神,能够承受较大的工作压力
数据仓库工程师的工作内容篇三
职责:
1、负责金融行业数据仓库开发工作
2、负责与多个应用对接的接口和框架设计
3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。
岗位要求:
1. 从事数据仓库及商业智能(bi)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;
2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;
3.有主流商业/开源etl工具(informatica、datastage、kettle等)使用经验者优先;
4. 熟悉hadoop生态相关技术并有相关实践经验,包括hdfs、map-reduce、hive、hbase、spark等,具备海量数据加工处理(etl)相关经验;
5. 熟练使用java语言,对微服务架构有一定了解;
6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;
7、有团队管理经验优先。
数据仓库工程师的工作内容篇四
职责:
1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;
2、针对业务需求,参与数据仓库需求分析,制定etl相关设计方案和开发计划;
3、负责数据同步,数据整合清洗,以及数据质量的治理;
4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。
任职资格:
1、重点院校统招本科及以上学历,计算机基础扎实;
2、具有2年以上金融贷款类业务经验;
3、熟悉数据仓库理论和数据库建模,有redshift和aws经验优先;
4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;
5、熟练掌握python/shell语言。
数据仓库工程师的工作内容篇五
职责:
1、hpe、h3c、华为等服务器硬件安装和维护;
2、熟悉hpe、emc、华为等各品牌存储,能独立进行lun映射及存储故障解决;
3、熟悉服务器常用的raid、scsi技术;
4、对windows、linux等操作系统安装、排错;
5、协助业务部门做产品升级及方案制订;
任职资格:
1、大专及以上学历,计算机专业;
2、服务器相关行业具有三年及以上工作经验,具有独立服务器硬件故障判断能力,对故障进行独立解决,具有丰富的硬件安装和维护经验;
3、熟悉vmware、华为、h3c等虚拟化技术及虚拟化软件操作;
4、具有一定的网络规划及实施能力,具备网络基本知识,可排查常见的网络故障;
5、具备数据库维护经验更佳;
数据仓库工程师的工作内容篇六
职责:
负责大数据数据仓库的建设,根据数据仓库及bi项目的需求,制定相关的设计方案和开发计划;
参与数据的分析处理和数据统计内容的架构设计与研发;
组织项目组成员完成数据仓库的开发和运维等;
负责公司数据规范、数据标准、数据指标梳理与定义;
协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;
组织开展对数据平台各模块的内容进行培训;
制定和审计业务系统数据数据库模型设计规范;
任职资格:
有一定的互联网数据仓库经验;
深入了解 hadoop 生态系统,熟悉hbase、hive、storm、spark等大数据开发工具中一种或几种;
具备大型数据仓库架构设计、模型设计、etl 设计的相关经验;
关系型数据库原理基础扎实,熟悉 mysql/postgresql等的使用和调优;
有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;
数据仓库工程师的工作内容篇七
职责:
(1)分析需求,完成相关数据抽取、数据清洗、数据探索、数据建模分析等工作;
(2)按要求完成数据分析报告、建模报告、数据报表等;
(3)对数据进行深度挖掘和建模,做运营和用户等各方面分析,深度挖掘运营优化和用户行为特征等,推动分析问题的解决,为业务决策提供日常支持;
(4)与业务部门和技术部门对接,完成设计,编写,维护和完善公司业务相关的算法。
(5)参与项目成果汇编,对相关结果进行解读和汇报。
任职要求:
(1)大专以上学历,统计、数学、计算机、软件专业优先;
(2)熟练使用python,mysql语言,具有一定的工程能力,完善的文档和注释习惯。熟悉jupyterlab远程代码编写环境,linux常用命令。会使用r,java,scala等语言更佳。
(3)熟悉数据分析过程,能够完成数据抽取、数据处理、数据建模、数据分析报告等任务;
(4)一定的数据挖掘/机器学习理论和技术基础,了解常用的数据挖掘算法如:聚类模型、线性回归、逻辑回归、分类模型、决策树模型等。
数据仓库工程师的工作内容篇八
职责:
1. 负责数据etl开发,根据数仓层级结构及主题域划分,规范清洗代码,提供准确数据
2. 负责数据质量治理,发现异常业务逻辑或数据质量问题,推动业务优化及改善。
3. 负责数据开发需求评审、结合数据分析体系制定etl清洗方案;
任职要求:
1. 一年以上数据仓库etl设计及开发经验,有bi经验者优先
2. 熟练使用 sql,熟悉hql常用内部函数,有一定的 hql性能调优经验优先
3. 具备数据仓库架构设计、模型设计、etl设计,调度的相关经验优先;
4. 对数据敏感,有较强数据分析和解决问题能力;
5. 积极沟通,主动了解业务需求,愿意尝试新的技术领域。
数据仓库工程师的工作内容篇九
1、调整和优化中试生产工艺,确保生产工艺的稳定。
2、负责中试工艺规程、批记录、部门管理性文件起草、修订及培训。
3、负责中试工艺验证文件起草、修订、培训、执行。
4、负责中试工艺相关cr、偏差、capa等起草、跟踪。
5、批指令单、限额领料/退库单的准备,批记录的领用、审核和上交。
6、检查车间sop文件,若发现存在问题,及时发送至相应人员对文件进行更新。
7、负责车间gmp检查,确保现场合规操作,符合gmp要求。
8、遵守公司规章制度,严格按sop操作。
9、领导安排的其它工作。