微軟研究院日前推出了輕量級(jí)人工智能模型 Microsoft Phi 的微軟第三個(gè)迭代版本，新版本也就是推出 Phi-3 分成 3.8B、7B 和 14B 參數(shù)版本，輕量北京同城外圍上門外圍女上門（微信156-8194-*7106）提供1-2線熱門城市快速安排30分鐘到達(dá)名稱分別是微軟 Mini、Small 和 Medium。推出

與其他人工智能模型不同的輕量是，Phi 系列模型的微軟側(cè)重點(diǎn)是輕量級(jí)，其使用的推出資源要比同等規(guī)模的人工智能模型少得多，因此可以在智能手機(jī)等設(shè)備上本地運(yùn)行。輕量北京同城外圍上門外圍女上門（微信156-8194-*7106）提供1-2線熱門城市快速安排30分鐘到達(dá)

根據(jù)微軟自己的微軟基準(zhǔn)測(cè)試，僅有 3.8B 參數(shù)的推出 Phi-3 Mini 版在性能上表現(xiàn)優(yōu)于 Meta 8B 參數(shù)的 Llama 和 OPENAI 3.5B 參數(shù)的 GPT-3。

微軟研究院在論文中表示：

我們引入了 phi-3-mini，輕量這是微軟一個(gè)在 3.3 萬(wàn)億個(gè) tokens 上訓(xùn)練的 3.8B 參數(shù)人工智能模型，從學(xué)術(shù)基準(zhǔn)和內(nèi)部測(cè)試來(lái)看，推出其整體性能可與 Mixtral 8x7B 和 OPENAI GPT-3.5 等模型媲美。輕量

例如 phi-3-mini 在 MMLU 測(cè)試中達(dá)到了 69%，在 MT-bench 上達(dá)到了 8.38，最重要的是這個(gè)模型足夠小，可以直接部署在手機(jī)上。

我們還提供了一些針對(duì) 4.8 萬(wàn)億個(gè) tokens 訓(xùn)練的 7B 和 14B 模型的初始參數(shù)縮放結(jié)果，即 phi-3-small 和 phi-3-medium，這兩個(gè)版本能力都要比 Mini 版更好。

其中 Small 版的 MMLU 為 75%、MT-bench 為 8.7；Medium 版 MMLU 為 78%、MT-bench 為 8.9。

微軟對(duì) Phi-3 系列模型進(jìn)行了優(yōu)化，在低功耗設(shè)備上例如智能手機(jī)和平板電腦上也可以運(yùn)行，并且在實(shí)際使用過(guò)程中不會(huì)消耗太多的資源。

這意味著新模型能夠直接在智能手機(jī)上進(jìn)行高級(jí)自然語(yǔ)言處理而不需要實(shí)時(shí)聯(lián)網(wǎng)進(jìn)行計(jì)算，因此 Phi-3 Mini 等模型非常適合集成到一些需要人工智能參與的新穎應(yīng)用中。

當(dāng)然微軟也強(qiáng)調(diào) Phi-3 模型的訓(xùn)練數(shù)據(jù)集有限，它無(wú)法與互聯(lián)網(wǎng)上訓(xùn)練的大規(guī)模 AI 模型的知識(shí)廣度相匹配，但微軟也指出較小的高質(zhì)量模型往往表現(xiàn)更好。

論文地址：https://arxiv.org/abs/2404.14219