美团(meituan)招聘【基座大模型北斗实习】下一代大模型训练范式研究
招聘职位：
【基座大模型北斗实习】下一代大模型训练范式研究 搜索同类职位
岗位职责：
简介：探索下一代大模型训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型
1、设计更高效的模型结构，提高给定数据量、计算量、硬件资源、输出序列长度等约束下的模型能力，如长序列能力、记忆能力等。
2、探索更科学和前沿的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索diffusion LLM，test-time scaling等技术。
3、研究模型结构和数据的耦合关系，优化分阶段训练范式。
4、结合MLsys解决大规模训练中遇到的卡点问题，实现算法和工程联合设计。
任职要求：
1、熟悉NLP、LLM、MLsys、Optimization、OR、Control、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验；
2、熟悉Python、C++等至少一门编程语言，熟悉LINUX环境；
3、熟悉Pytorch、 Megatron、DeepSpeed 等开源训练框架。
加分项：
1、有影响力的开源项目中做出过核心贡献；
2、发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。
简介：探索下一代大模型训练范式，从模型结构、训练策略、数据策略、算力利用率等角度切入，打造具有更强能力和更高潜力的基座模型
1、设计更高效的模型结构，提高给定数据量、计算量、硬件资源、输出序列长度等约束下的模型能力，如长序列能力、记忆能力等。
2、探索更科学和前沿的训练策略，对影响training dynamic的关键变量（如学习率、batchsize、初始化等）形成更科学的认知，探索diffusion LLM，test-time scaling等技术。
3、研究模型结构和数据的耦合关系，优化分阶段训练范式。
4、结合MLsys解决大规模训练中遇到的卡点问题，实现算法和工程联合设计。
任职要求：
1、熟悉NLP、LLM、MLsys、Optimization、OR、Control、RL等相关领域，对其中一个或多个方向有深入的研究经历，且有相关实际项目经验；
2、熟悉Python、C++等至少一门编程语言，熟悉LINUX环境；
3、熟悉Pytorch、 Megatron、DeepSpeed 等开源训练框架。
加分项：
1、有影响力的开源项目中做出过核心贡献；
2、发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。
免责声明：
此信息由美团官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“美团官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
