大数据研发
40-70k·15薪
上海
5年以上
统招本科
招1人
8月12日更新
猎头
· 上海猎益信息技术有限公司
简历处理快
回复速度快
聊一聊
- 职位介绍
- 岗位职责：
平台全链路设计与搭建:主导大数据平台的整体架构设计、技术选型及搭建实施，涵盖数据采集、传输、存储、计算、治理、可视化全链路，确保平台架构的高可用性、高扩展性、高安全性及性能优化，支撑业务场景的规模化落地。核心模块开发与迭代:负责大数据平台核心模块(如数据接入组件、计算引擎封装、元数据管理、任务调度、数据质量监控等)的编码开发、单元测试、上线部署及迭代优化;重点参与数据质量分析相关模块开发，包括归因分析、数据血缘追踪等功能，能独立解决开发过程中的复杂技术难题。技术方案落地与优化:结合业务需求，输出合理的大数据技术解决方案，推动方案落地执行;持续优化平台性能、稳定性及易用性，降低运维成本，提升开发效率，支撑业务数据化决策。
全链路问题排查与保障:负责大数据平台全链路的监控、告警及问题排查，运用数据血缘追踪定位数据流转异常，通过归因分析挖掘数据质量问题根源，快速解决数据采集异常、计算任务失败、存储瓶颈、数据质量偏差等问题，保障平台7x24小时稳定运行，确保数据准确性和时效性。技术沉淀与团队协作:沉淀大数据平台开发相关的技术文档、规范及最佳实践，指导初级/中级开发工程师开展工作;参与跨部门协作，对接业务、运维等团队，理解业务需求并转化为技术实现，推动技术。
任职要求：
学历与经验:本科及以上学历，计算机、软件工程、大数据相关专业，5年及以上大数据平台开发经验，至少主导过1个完整大数据平台(从设计、搭建到上线运维)的全生命周期建设。
熟练掌握Java/Scala/Python至少一种编程语言，具备扎实的代码功底和面向对象设计思想，能独立完成复杂模块开发。
精通大数据核心组件:深入理解Hadoop、Spark、Flink、Hive、HBase、Kafka、Zookeeper等组件的原理及应用，能熟练进行组件部署、配置优化及问题排查;熟悉湖仓一体架构，掌握Paimon、Doris、Starrocks等湖仓相关组件的应用与优化。
掌握平台架构设计能力:具备大数据平台全链路架构设计经验，熟悉数据采集(Flume、Logstash等)存储(分布式存储、时序数据库、湖仓一体存储等)、计算(批流一体、批处理、流处理)、治理全流程技术方案，能结合业务需求设计高效的批流一体计算架构。熟悉主流云厂商(阿里云、腾讯云、AWS、Azure等)的大数据相关组件，如阿里云E-MapReduce、DataWorks、MaxCompute，腾讯云EMR、StarLake，能熟练运用云原生大数据组件进行平台搭建、部署及优化，具备云环境下大数据平台开发及运维经验技术问题。
熟悉分布式系统原理:理解分布式一致性、负载均衡、容错机制等核心概念，能应对分布式环境下的复杂掌握常用运维工具:熟悉Linux系统操作，能使用Docker、K8s进行容器化部署，了解Jenkins、Git等CI/CD工具，具备平台自动化运维相关经验优先。
全链路能力:具备从需求分析、架构设计、开发实现、上线部署到运维监控的全链路实战能力，精通批流一体计算模式，拥有数据质量分析相关经验，熟练运用归因分析方法排查数据问题、通过数据血缘追踪梳理数据流转链路，能独立主导复杂技术项目的落地。
- 其他信息
- 语言要求：不限
- 行业要求：新能源汽车
猎聘温馨提示：
- 1. 如您发现平台内招聘方存在以下违规行为的，请立即举报
-
- · 扣押您的身份证件或者其他证件；
- · 要求您提供担保人、担保金或者以其他名义向您收取财物（ 如培训费、体检费、资料费、置装费、押金等）；
- · 强迫您入股或者向您集资；
- · 以招聘名义牟取不正当利益；
- · 发布虚假招聘广告信息；
- · 工作时长违反劳动法规定；
- · 存在其他损害您的合法权益的行为。
- 2. 如您应聘的岗位属于涉外劳务合作/海外岗位的，请务必核实招聘方对外劳务合作资质取得情况，同时注意自身资金安全，防范招聘欺诈。
- 了解更多安全防范知识>
- 3. 本平台招聘方不向求职者提供任何收费服务。
查看全部
