【上海高级数据开发工程师招聘】-猎头顾问上海招聘信息-猎聘

杨女士 2天前在线已认证

猎头顾问 · 西安百道人力资源管理有限公司

简历处理快回复速度快

聊一聊

职位介绍: 1、设计可扩展的数据存储架构，融合对象存储、数据库及数据湖，支撑 PB 级多模态具身智能数据的持久化与管理。 2、构建数据集版本管理、元数据管理体系，支持数据集的生命周期管理（创建、更新、版本标记、归档、删除），保障数据的一致性、可追溯性与复用性。 3、开发数据检索与可视化浏览的后端服务，支撑基于标签、场景、传感器类型等多维度的快速查询。 4、制定数据集的数据格式规范（如 Parquet、JSON Lines、WebDataset 等），确保数据在不同环节的兼容性、可压缩性与快速读写能力。 5、开发统一的数据访问 SDK（Python 优先，可扩展其他语言），封装底层存储与查询逻辑，为算法团队、标注管线、采集后端提供标准化的数据读取、写入、检索接口。 6、建设实时与离线大数据处理链路，基于 Flink / Spark / Ray 等引擎完成数据的清洗、格式转换、特征抽取、质量指标计算等任务。 7、设计并维护数据的质量监控指标体系（如完整性、一致性、时效性、标注覆盖率等），并通过定期任务产出数据质量报告。职位要求 1、精通 Python，具备扎实的数据工程能力，熟悉 SQL 及数据建模方法，有生产级数据仓库建模经验。 2、熟悉大数据存储与查询技术，至少精通一种分析型数据库（ClickHouse、Doris 等）和一种 NoSQL 数据库（MongoDB、Cassandra 等）。 3、熟悉对象存储及数据湖格式（Parquet、Iceberg、Hudi 等），能设计高效的分区与压缩策略。 4、具备实时与离线数据处理经验，熟悉 Spark / Flink / Ray 中的至少一种计算框架，能独立完成数据清洗、聚合、特征工程等任务。 5、有数据 SDK 或数据服务层开发经验，能设计易用、高性能的客户端库。 6、对数据质量有深刻认识，能设计量化指标并推动数据治理落地。 7、具备良好的跨团队沟通能力，能与前端、后端、算法工程师高效协作。推动数据规范与流程落地。

其他信息: 语言要求：不限; 行业要求：计算机软件

猎聘温馨提示：

1. 如您发现平台内招聘方存在以下违规行为的，请立即举报

· 扣押您的身份证件或者其他证件；
· 要求您提供担保人、担保金或者以其他名义向您收取财物（如培训费、体检费、资料费、置装费、押金等）；
· 强迫您入股或者向您集资；
· 以招聘名义牟取不正当利益；
· 发布虚假招聘广告信息；
· 工作时长违反劳动法规定；
· 存在其他损害您的合法权益的行为。

2. 如您应聘的岗位属于涉外劳务合作/海外岗位的，请务必核实招聘方对外劳务合作资质取得情况，同时注意自身资金安全，防范招聘欺诈。

猎聘温馨提示：

猜你喜欢