数据开发工程师

Negotiable
Experience
5-10 years
Job Type
Full Time
Location
China, Hangzhou
Job Description
岗位职责
(1)参与数据仓库、数据湖的架构设计与搭建,负责Hadoop/Spark/Hive等技术栈的离线/实时数据平台开发与维护。
(2)规划业务相关的数据主题模型建设,把控数据仓库各层级的设计方案并进行设计与实现,沉淀数据指标。
(3)制定数据治理规范,搭建数据质量监控体系,及时发现并解决数据质量问题,保障数据的可靠性和可用性。
(4)参与大数据平台的日常运维,包括集群管理、任务调度、故障排查等,保障平台的稳定运行。
(5)跟踪大数据前沿技术,推动平台架构升级与技术优化,提升系统稳定性与扩展性。
(6)具有一定的文档编辑能力,沉淀数据架构设计、模型开发及治理规范等经验,促进团队知识共享。
Job Requirement
(1)统招本科及以上学历,大数据相关专业。
(2)从事数据仓库领域至少5年以上,精通数据仓库理论体系,对数据处理、维度建模、数据治理等有深刻的认识和实战经验,能够快速地理解业务模型及数据模型。
(3)精通Hadoop、Spark、Flink、Kafka、Hive、Hbase等主流大数据体系系统框架及原理,有在海量数据体系前提下针对不同业务场景灵活制定数据应用解决方案的项目经验
(4)精通实时计算技术体系,包括实时数据采集、实时计算引擎storm/spark/flink等技术原理,拥有一定的实时数据应用研发相关经验,具备一定的JAVA、Python语言的使用开发能力
(5)具备复杂业务需求梳理能力,较强的产品思维能力和问题分析能力,良好的沟通能力、组织能力及团队协作精神。
(6)有供应链相关数据应用场景落地案例经验者优先。
(7)有大数据与大模型结合经验者优先。