美团招聘【大模型北斗实习】大模型推理系统前沿研究

岗位职责：
大模型推理是大模型应用的核心能力，是影响大模型应用成本和效率的关键因素。本课题专注于大模型推理加速与分布式系统优化的前沿技术探索，通过软硬件协同设计和算法工程联合优化，降低大模型推理的应用成本，提高推理性能。
研究内容包括但不限于：
1）投机推理（Speculative Decoding），研究基于预测性执行的动态推理优化方法，参与设计低延迟推理框架，通过概率模型预生成候选序列以降低解码计算开销。
2）分布式系统优化，探索多节点协同推理中的通信-计算负载均衡策略，提出基于异构硬件的混合并行调度方案，实现吞吐量提升。
3）稀疏Transformer优化与模型压缩，通过稀疏Transformer优化以及模型压缩技术提升模型的计算效率。
4）算子优化，熟悉最新硬件架构的算子优化方法，通过更高效的算子优化模型的吞吐和延时。
任职要求：
岗位要求：
1）熟悉TensorFlow、PyTorch等深度学习框架。
2）熟悉Python、C++等至少一门编程语言，熟悉LINUX环境。
加分项：
1）有影响力的开源项目中做出过核心贡献。
2）发表过高水平论文优先（如NeurIPS,ICLR,ICML,ACL,EMNLP等）。
3）有CUDA/Triton编程经验。
4）熟悉vllm/sglang/trt-llm/lmdeploy等开源推理框架。