小红书招聘Dots-【Ace顶尖实习生】全模态实时交互大模型研究（语音方向）
招聘职位：
Dots-【Ace顶尖实习生】全模态实时交互大模型研究（语音方向） 搜索同类职位
岗位职责：
尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。
本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。
任职要求：
1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先；
2、优秀的代码能力、数据结构和基础算法功底，熟练掌握至少一门编程语言，包括但不限于Python等；
3、有语音/视频等多模态大模型理解技术背景，或大规模模型训练实际项目经验者优先；
4、在ICASSP/Interspeech/ASRU/TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR/ACL等顶级期刊会议上发表相关论文者优先；
5、良好的沟通协作能力，责任心强，积极主动，能和团队一起探索新技术，推进技术进步。
尽管当前的多模态大模型（融合视觉、语音、文本）已展现出强大的感知与理解潜力，但是在实时交互场景中，由于模型设计导致的高延迟、生硬的轮次状态、频繁的打断或被打断严重影响信息传递效率。同时多个模态无法实时融合也限制了多模态模型在语音交互场景下的深度应用。生成的交互内容有时显得冗长、缺乏提炼或智能不足，这些问题限制了用户与大模型实时交流的体验。
本课题的目标是设计并验证一种全模态实时交互的大模型架构，将视觉模态、语音流模态、思考模态信息以及 SOTA LLM 进行实时融合。从而使得大模型可以与人进行即时、流畅、且深入浅出、富有智慧的多模态自然语音对话。
任职要求：
1、不限年级，本科及以上在读，计算机/人工智能/软件工程等相关专业优先；
2、优秀的代码能力、数据结构和基础算法功底，熟练掌握至少一门编程语言，包括但不限于Python等；
3、有语音/视频等多模态大模型理解技术背景，或大规模模型训练实际项目经验者优先；
4、在ICASSP/Interspeech/ASRU/TPAMI/CVPR/NeurIPS/ICCV/ICML/ICLR/ACL等顶级期刊会议上发表相关论文者优先；
5、良好的沟通协作能力，责任心强，积极主动，能和团队一起探索新技术，推进技术进步。
免责声明：
此信息由小红书官网 (查看来源)审核并发布，我们转载该信息，仅出于传递更多就业招聘资讯、促进大学生及广大求职者就业之目的。该招聘职位信息的真实性、准确性、时效性及合法性均由原始发布方“小红书官网”负责。我们作为信息转载平台，不构成求职建议，不涉及任何职业中介服务，不对其内容承担任何形式的保证责任。请用户在使用转载信息时保持审慎，自行判断并承担相应风险，求职请认准企业官方渠道！
