Amazon Science 如何用知识蒸馏与 Medusa 加速旅行应用的大语言模型

Amazon Science 与 Booking.com 合作，用知识蒸馏和 Medusa 框架加速旅行应用中的大语言模型。实验以 1.1B 参数的 TinyLlama 为学生、70B 参数的 Llama-3.1 为教师，最终模型匹配教师质量，推理提速 10-20 倍，成本不到三分之一。方案面向 AI Trip Planner、Smart Filters 和住宿描述生成三项功能。