美团(meituan)招聘【基座大模型北斗实习】大模型预训练数据科学与模型潜力前沿研究
招聘职位:
【基座大模型北斗实习】大模型预训练数据科学与模型潜力前沿研究 搜索同类职位
岗位职责:
简介:本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘,建立数据与模型能力之间的因果联系,打造下一代万亿基座模型的高效数据引擎,致力于提升基座模型的智能上限。研究内容包括但不限于:
1、研发基于模型的高效数据质量评估、去重与清洗算法,提高数据质量、多样性和覆盖度。
2、深入探究数据分布与模型能力的因果关系,建立“训练数据-模型效果”归因机制,探索并突破基座模型的能力上限。
3、探索自动化数据筛选机制、动态配比(Data Mixture)与多阶段训练范式,探索不同类型数据对模型能力的Scaling Law。
4、构建科学、多维度的基座模型能力和潜力评估,驱动预训练数据策略的优化,形成高效的数据迭代闭环。
任职要求:
1、硕士及以上学历,计算机、人工智能、数学、NLP等相关专业,博士优先;
2、在大模型领域有研究基础,或参与过有影响力的开源项目,在ICLR/NeurIPS/ICML/ACL等顶会发表论文者优先;
3、对大模型有浓厚兴趣,对“什么是好数据”有深刻洞察和理解,有较强的问题分析、自主探索和快速迭代的能力。
简介:本课题聚焦于超大规模预训练数据的深度理解、提纯与价值挖掘,建立数据与模型能力之间的因果联系,打造下一代万亿基座模型的高效数据引擎,致力于提升基座模型的智能上限。研究内容包括但不限于:
1、研发基于模型的高效数据质量评估、去重与清洗算法,提高数据质量、多样性和覆盖度。
2、深入探究数据分布与模型能力的因果关系,建立“训练数据-模型效果”归因机制,探索并突破基座模型的能力上限。
3、探索自动化数据筛选机制、动态配比(Data Mixture)与多阶段训练范式,探索不同类型数据对模型能力的Scaling Law。
4、构建科学、多维度的基座模型能力和潜力评估,驱动预训练数据策略的优化,形成高效的数据迭代闭环。
任职要求:
1、硕士及以上学历,计算机、人工智能、数学、NLP等相关专业,博士优先;
2、在大模型领域有研究基础,或参与过有影响力的开源项目,在ICLR/NeurIPS/ICML/ACL等顶会发表论文者优先;
3、对大模型有浓厚兴趣,对“什么是好数据”有深刻洞察和理解,有较强的问题分析、自主探索和快速迭代的能力。
免责声明:
此信息由美团官网 (查看来源)审核并发布,我们转载该信息,仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“美团官网”负责。我们作为信息转载平台,不构成求职建议,不涉及任何职业中介服务,不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎,自行判断并承担相应风险,求职请认准企业官方渠道!