Position Overview
管线数据工程师（深圳/北京） 深圳 分享
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 TEG 点击了解更多BG信息 技术 三年以上工作经验 更新于年06月17日
在腾讯，技术人解决问题的激情永不熄灭。无论是面对产品、程序的问题，还是生活与人的问题，腾讯技术人都力图交出漂亮的答卷。我们善用科学工具，以强大的思维之力创造世界，为卓越的产品体验保驾护航，也为公司和产品策略提出宝贵的洞见，用技术引领新的变革。这里的每位成员，既传承着长久以来的务实文化，又时刻以创新眼光瞄准大海星辰。我们十分期待你加入这样一个「技术社区」，分享团队能量，尽情发挥所长。 岗位职责
1.面向预训练、后训练数据管线，设计并实现高效的数据处理平台。单管线上，通过算子编排形成数据计算、存储、一体化符合大模型训练的管线平台，平台级别上，通过存储、计算优化实现平台产能提升；
2.计算方向，提升平台级别计算效率，通过海量数据、任务、资源、合理化系统设计，抽象，对各个可编排算子的合并、拆分，达成易用性和计算性能平衡。对热点的算子，考虑单点优化以及公共服务的方式达到平台级性能提升；
3.存储方向，构建服务于整个预训练和后训练的dataset，优化海量存储管理与访问方案（对象存储分层、冷热分层、缓存策略、数据压缩与列式格式优化、读写并发控制、成本与生命周期管理）；
4.编写技术文档、最佳实践与性能评估报告，推动能力沉淀与工具链升级。 岗位要求
1.本科/硕士及以上学历，有大模型管线架构、优化、存储等全链路万亿级数据计算存储经验；
2.精通 Python／C++／Java 中至少一种，有良好工程化编码能力与测试习惯；
3.熟悉端到端数据管线、数据版本控制、数据血缘与可观测性（例如 DVC、MLflow、Delta Lake、Data Catalog、审计/溯源）；
4.熟练使用并调优分布式批处理框架（Spark、Ray、Flink、Dask 等）以处理海量数据；
5.具备良好的沟通能力、跨团队协作与 owner 意识，能推动复杂平台能力落地。