微软的轻量级Phi3 Mini模型可以在智能手机上运行

微软在一份新的研究论文中透露，推出了名为 Phi-3 Mini 的最新轻型，该模型旨在在智能手机和其他本地设备上运行。它接受了 38 亿个参数的训练，是该公司将在不久的将来发布的三个小型 Phi-3 语言模型中的第一个。其目的是为云驱动的法学硕士提供更便宜的替代方案，允许较小的组织采用人工智能。

据微软称，新型号的性能轻松优于之前的 Phi-2 小型型号，并且与Llama 2等大型型号相当。事实上，该公司表示 Phi-3 Mini 提供的响应接近其尺寸 10 倍的模型水平。

研究论文称：“创新完全在于我们的训练数据集。”该团队表示，该数据集基于Phi-2 模型，但使用“经过严格过滤的网络数据和合成数据”。事实上，一个单独的法学硕士被用来完成这两项工作，有效地创建新数据，使较小的语言模型更加高效。据The Verge 报道，该团队据称受到了儿童读物的启发，这些读物使用更简单的语言来理解复杂的主题。

虽然它仍然无法产生云驱动的 LLM 的结果，但 Phi-3 Mini 在从数学到编程到学术测试的任务中可以超越 Phi-2 和其他小型语言模型(Mistral、Gemma、Llama-3-In) 。同时，它可以在像智能手机这样简单的设备上运行，无需互联网连接。

它的主要限制是由于数据集较小而导致“事实知识”的广度 - 因此它在“TriviaQA”测试中表现不佳。尽管如此，它对于只需要较小内部数据集的模型来说应该是有好处的。微软希望，这可以让那些无力承担云连接法学硕士课程的公司能够进入人工智能领域。

Phi-3 Mini 现已在 Azure、Hugging Face 和 Ollama 上提供。 Microsoft 接下来将发布具有更高功能的 Phi-3 Small 和 Phi-3 Medium(分别为 70 亿和 140 亿个参数)。