【上海大数据研发工程师招聘】-猎头顾问上海招聘信息-猎聘

董先生 2天前在线已认证

支公司总经理 · 天津一合企业管理咨询有限公司

聊一聊

职位介绍: 1、平台全链路设计与搭建:主导大数据平台的整体架构设计、技术选型及搭建实施，涵盖数据采集、传输、存储、计算、治理、可视化全链路，确保平台架构的高可用性、高扩展性、高安全性及性能优化，支撑业务场景的规模化落地。 2、核心模块开发与迭代:负责大数据平台核心模块(如数据接入组件、计算引擎封装、元数据管理、任务调度、数据质量监控等)的编码开发、单元测试、上线部署及迭代优化;重点参与数据质量分析相关模块开发，包括归因分析、数据血缘追踪等功能，能独立解决开发过程中的复杂技术难题。 3、技术方案落地与优化:结合业务需求，输出合理的大数据技术解决方案，推动方案落地执行;持续优化平台性能、稳定性及易用性，降低运维成本，提升开发效率，支撑业务数据化决策。 4、全链路问题排查与保障:负责大数据平台全链路的监控、告警及问题排查，运用数据血缘追踪定位数据流转异常，通过归因分析挖掘数据质量问题根源，快速解决数据采集异常、计算任务失败、存储瓶颈、数据质量偏差等问题，保障平台7x24小时稳定运行，确保数据准确性和时效性。 5、技术沉淀与团队协作:沉淀大数据平台开发相关的技术文档、规范及*佳实践，指导初级/中级开发工程师开展工作;参与跨部门协作，对接业务、运维等团队，理解业务需求并转化为技术实现，推动技术任职要求 1、学历与经验:本科及以上学历，计算机、软件工程、大数据相关专业，5年及以上大数据平台开发经验，至少主导过1个完整大数据平台(从设计、搭建到上线运维)的全生命周期建设。 2、熟练掌握Java/Scala/Python至少一种编程语言，具备扎实的代码功底和面向对象设计思想，能独立完成复杂模块开发。 3、精通大数据核心组件:深入理解Hadoop、Spark、Flink、Hive、HBase、Kafka、Zookeeper等组件的原理及应用，能熟练进行组件部署、配置优化及问题排查;熟悉湖仓一体架构，掌握PaimonDoris、Starrocks等湖仓相关组件的应用与优化。 4、掌握平台架构设计能力:具备大数据平台全链路架构设计经验，熟悉数据采集(Flume、Logstash等)、存储(分布式存储、时序数据库、湖仓一体存储等)、计算(批流一体、批处理、流处理)、治理全流程技术方案，能结合业务需求设计高效的批流一体计算架构。 5、熟悉主流云厂商(阿里云、腾讯云、AWS、Azure等)的大数据相关组件，如阿里云E-MapReduceDataWorks、MaxCompute,腾讯,云EMR、StarLake,能熟练运用云原生大数据组件进行平台搭建、部署及优化，具备云环境下大数据平台开发及运维经验6、熟悉分布式系统原理:理解分布式一致性、负载均衡、容错机制等核心概念，能应对分布式环境下的复杂技术问题。 7、掌握常用运维工具:熟悉Linux系统操作，能使用Docker、K8s进行容器化部署，了解Jenkins、Git等CI/CD工具，具备平台自动化运维相关经验优先。 8、全链路能力:具备从需求分析、架构设计、开发实现、上线部署到运维监控的全链路实战能力，精通批流一体计算模式，拥有数据质量分析相关经验，熟练运用归因分析方法排查数据问题通过数据血缘追踪梳理数据流转链路，能独立主导复杂技术项目的落地

其他信息: 语言要求：不限; 行业要求：整车制造

猎聘温馨提示：

1. 如您发现平台内招聘方存在以下违规行为的，请立即举报

· 扣押您的身份证件或者其他证件；
· 要求您提供担保人、担保金或者以其他名义向您收取财物（如培训费、体检费、资料费、置装费、押金等）；
· 强迫您入股或者向您集资；
· 以招聘名义牟取不正当利益；
· 发布虚假招聘广告信息；
· 工作时长违反劳动法规定；
· 存在其他损害您的合法权益的行为。

2. 如您应聘的岗位属于涉外劳务合作/海外岗位的，请务必核实招聘方对外劳务合作资质取得情况，同时注意自身资金安全，防范招聘欺诈。

猎聘温馨提示：

猜你喜欢