微软近日发布了其Phi系列小型（SLM）的最新成员——Phi-4。这款模型以其仅140亿的参数规模，在数学推理等复杂领域展现出惊人能力，引起业界广泛关注。Phi系列一直致力于用较小规模的参数达到大型的能力。微软表示，Phi-4代表了其在探索小型边界上取得的又一项重大进展。
据微软官方介绍，Phi-4在数学推理方面的表现超越了同类及更大规模的模型，这主要归功于多方面的技术进步，包括高质量合成数据集的采用、精心挑选的高质量有机数据，以及创新的训练后技术。它在数学竞赛问题上的表现甚至超过了包括Gemini Pro 1.5在内的多个更大规模模型。报告中指出，Phi系列在性能上的“极致一跃”得益于合成数据和后期训练的提高和改进，高质量合成数据集的使用、高质量有机数据的整理以及后期训练的创新共同成就了Phi-4的卓越表现。
Phi-4的背后是多项关键技术的支撑。研究团队通过识别对模型输出影响最大的关键tokens，并围绕它们构造正负样本对，利用PTS技术生成高信噪比的对比学习数据，显着提升了训练效率和效果。此外，团队还引入了人类反馈对比学习，招募大量人员对模型输出进行评判，并据此构造优质的正负样本对，使得模型更加贴近人类偏好。这些技术的综合应用，使得Phi-4在保持参数数量相对较少的同时，实现了与更大模型相媲美的性能，尤其是在STEM（科学、技术、工程和数学）领域的问答能力上表现突出。
