Position Overview
智能湖仓研发工程师（上海/深圳） 上海 分享
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 TEG 点击了解更多BG信息 技术 三年以上工作经验 更新于年06月12日
在腾讯，后台开发工程师不仅是“又快又稳”的问题解决专家，更是生态共创者。你将与技术团队一同沉淀优质代码，让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段，你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神，同时欢迎你一起参与团队愿景、文化和产品方向的探讨。 岗位职责
1.负责公司统一 AI 数据湖基础能力建设，围绕存储、元数据、索引、版本、权限、生命周期和查询规划等方向，构建高性能、可治理、可复用的数据基础设施；
2.深度适配 Spark、Flink、StarRocks、Ray，Pytorch等大数据和AI 计算框架 ，优化数据写入、扫描、过滤、采样、批量读取、训练数据加载和结果回写等端到端性能；
3.支持广告、推荐、搜索等业务场景，建设样本、特征、行为日志、模型输入输出和效果数据等核心数据资产的统一管理与高效访问能力，支撑样本构建、特征回溯、训练数据管理和实验复现；
4.支持大模型研发链路中的数据采集、清洗解析、特征抽取、Embedding 生成、数据去重、训练集构建、评估与推理回写等环节，建设高效的数据存储与数据访问能力；
5.围绕多模态数据管理、向量检索、近重复检测、语义检索、RAG、混合查询和批量数据治理等场景，构建高吞吐、低成本、可版本化的数据处理与检索能力。 岗位要求
1.5 年以上大数据、分布式系统、存储系统、湖仓、检索系统、广告推荐数据平台或 AI 数据平台研发经验；
2.熟悉 Java / Scala / C++ / Rust / Python 中至少一种语言，具备扎实的系统设计、编码和性能优化能力；
3.熟悉数据湖、湖仓、分布式存储、元数据管理、事务提交、文件组织、查询规划、分区裁剪和文件裁剪等机制；
4.熟悉 Spark、Flink、Trino / Presto、Hive、StarRocks、Ra...