Position Overview
混元VLM 预训练数据算法工程师（北京/深圳/上海） 北京 分享
分享岗位
方式1:复制岗位链接
方式2:分享岗位海报
手机扫描二维码分享
收藏 TEG 点击了解更多BG信息 技术 一年以上工作经验 更新于年06月22日 岗位职责
1.多模态数据体系构建：设计并实现 VLM 预训练数据的采集、清洗、标注全流程方案，涵盖通用图文对、OCR 数据、Visual Grounding/Counting 数据、3D 空间理解数据及视频时序数据等多类型数据，建立数据质量评估体系（如 CLIP 相似度过滤、标注一致性校验）。；
2.数据算法创新设计：研发多模态数据对齐算法，优化视觉 - 语言模态映射策略；设计高效数据增强方案，包括图像形变、文本扰动、跨模态混合增强等，提升模型鲁棒性与场景适应性；探索自动标注与数据合成技术（如 Grounding DINO 自动框标注、LLM 辅助问答生成），降低标注成本。；
3.预训练数据策略优化：结合 VLM 预训练目标（模态对齐、上下文学习、复杂推理），设计数据配比方案与训练数据筛选策略；迭代优化数据配方，解决数据冗余、分布偏差等问题，提升训练效率与模型效果。；
4.工程化落地与协作：搭建高吞吐率数据处理流水线，支持大规模多模态数据的并行处理与分布式训练适配；与模型训练团队协作，打通数据 - 训练 - 评测闭环，提供定制化数据解决方案；跟进 NVILA、InternVL 等前沿技术，推动数据算法的工程化落地。；
5.技术沉淀与创新：跟踪 VLM 领域数据相关前沿研究（如预训练数据设计、模态融合策略），主导技术攻关与专利申请；输出可复用的数据处理算法组件与技术文档，建立团队数据算法基准体系。 岗位要求
1.计算机科学、人工智能、自动化等相关专业硕士及以上学历，1年以上多模态大模型或计算机视觉领域研发经验。；
2.扎实的算法基础：精通深度学习、计算机视觉与自然语言处理核心理论，深入理解 Transformer 架构、模态对齐原理及多模态预训练机制。；
3.工程能力突出：熟练掌握 Python 编程语言，精通 PyTorch 框架及 Hu...