歡迎來到 Microsoft Phi-3 Cookbook

這是一本關於如何使用 Microsoft Phi-3 系列的手冊。

Phi-3，是由 Microsoft 開發的一系列開放 AI 模型。Phi-3 模型是目前最強大且具成本效益的小型語言模型（SLMs），在各種語言、推論、編碼和數學基準測試中，超越了相同大小和下一個大小的模型。

Phi-3-mini，一個 3.8B 語言模型，可在 Microsoft Azure AI Studio、Hugging Face 和 Ollama 上使用。Phi-3 模型在關鍵基準測試中顯著超越了相同和更大尺寸的語言模型（請參見下方基準測試數據，數值越高越好）。Phi-3-mini 的表現超過了其體積兩倍的模型，而 Phi-3-small 和 Phi-3-medium 則超越了包括 GPT-3.5T 在內的更大模型。

所有報告的數字都是通過相同的流程產生的，以確保數字具有可比性。因此，由於評估方法的細微差異，這些數字可能與其他已發表的數字有所不同。更多關於基準測試的詳細資訊請參見我們的技術文件。

Phi-3-small 僅用 7B 參數在各種語言、推論、程式碼和數學基準測試中擊敗 GPT-3.5T。

Phi-3-medium 擁有 14B 參數，繼續這一趨勢並超越 Gemini 1.0 Pro。

Phi-3-vision 僅用 4.2B 參數延續了這一趨勢，並在一般視覺推論任務、OCR、表格和圖表理解任務中超越了更大的模型，如 Claude-3 Haiku 和 Gemini 1.0 Pro V。

注意: Phi-3 模型在事實知識基準（如 TriviaQA）上的表現不如較小的模型，因為較小的模型容量導致保留事實的能力較差。

我們準備推出 Phi Silica，它是從 Phi 系列模型建構而成，專為 Copilot+ PC 中的 NPU 設計。Windows 是首個擁有為 NPU 和內建收件匣量身定制的先進小型語言模型（SLM）的平台。Phi Silica API 以及 OCR、Studio Effects、Live Captions、Recall User Activity API 將於 6 月在 Windows Copilot 函式庫中提供。更多 API，如 Vector Embedding、RAG API、Text Summarization 將在稍後推出。

Azure AI Studio

您可以學習如何使用 Microsoft Phi-3 以及如何在不同的硬體設備中建構 E2E 解決方案。要親自體驗 Phi-3，請從使用模型並使用 Azure AI Studio, Azure AI Model Catalog 自訂 Phi-3 為您的情境開始。

Playground 每個模型都有專用的 Playground 來測試模型 Azure AI Playground。

Hugging Face

你也可以在 Hugging Face 找到這個模型。

Playground Hugging Chat playground。

目錄

這本 Cookbook 包括:

Microsoft Phi-3 Cookbook

• 簡介

  • 設定你的環境(✅)
  • 歡迎來到 Phi-3 家族(✅)
  • 了解關鍵技術(✅)
  • Phi-3 模型的 AI 安全性(✅)
  • Phi-3 硬體支援(✅)
  • Phi-3 模型及跨平台可用性(✅)

• 快速開始

  • 在 Hugging face 中使用 Phi-3(✅)
  • 在 Azure AI Studio 中使用 Phi-3(✅)
  • 在 Ollama 中使用 Phi-3(✅)
  • 在 LM Studio 中使用 Phi-3(✅)
  • 在 AI Toolkit VSCode 中使用 Phi-3(✅)

• Phi-3 推論

  • 在 iOS 中推論 Phi-3(✅)
  • 在 Jetson 中推論 Phi-3(✅)
  • 在 AI PC 中推論 Phi-3(✅)
  • 使用 Apple MLX Framework 推論 Phi-3(✅)
  • 在本地伺服器中推論 Phi-3(✅)
  • 使用 AI Toolkit 在遠端伺服器中推論 Phi-3(✅)
  • 在本地推論 Phi-3-Vision(✅)

• Phi-3 微調

  • 下載及建立範例數據集(✅)
  • 微調場景(✅)
  • 微調 vs RAG(✅)
  • 微調讓 Phi-3 成為行業專家(✅)
  • 使用 AI Toolkit for VS Code 微調 Phi-3(✅)
  • 使用 Azure Machine Learning Service 微調 Phi-3(✅)
  • 使用 Lora 微調 Phi-3(✅)
  • 使用 QLora 微調 Phi-3(✅)
  • 使用 Azure AI Studio 微調 Phi-3(✅)
  • 使用 Azure ML CLI/SDK 微調 Phi-3(✅)
  • 使用 Microsoft Olive 微調(✅)
  • 使用 Weights and Bias 微調 Phi-3-vision(✅)
  • 使用 Apple MLX Framework 微調 Phi-3(✅)

• Phi-3 評估

  • 負責任 AI 簡介(✅)
  • Promptflow 簡介(✅)
  • Azure AI Studio 評估簡介(✅)

• Phi-3-mini 的端到端範例

  • 端到端範例簡介(✅)
  • 準備你的行業數據(✅)
  • 使用 Microsoft Olive 架構你的項目(✅)
  • 推論你的微調 ONNX Runtime 模型(✅)
  • 多模型 - 互動 Phi-3-mini 和 OpenAI Whisper(✅)
  • MLFlow - 建立包裝器並使用 Phi-3 與 MLFlow(✅)

• Phi-3-vision 的端到端範例

  • Phi3-vision-圖像文字轉文字(✅)
  • Phi-3-Vision-ONNX(✅)
  • Phi-3-vision CLIP 嵌入(✅)

• Phi-3 的實驗室和工作坊範例

  • C# .NET 實驗室(✅)
  • 使用 Microsoft Phi-3 家族建立你自己的 Visual Studio Code GitHub Copilot Chat(✅)
  • Phi-3 ONNX 指南(✅)
  • Phi-3-vision ONNX 指南(✅)
  • 使用 ONNX Runtime generate() API 執行 Phi-3 模型(✅)
  • Phi-3 ONNX 多模型 LLM 聊天 UI，這是一個聊天展示(✅)
  • C# Hello Phi-3 ONNX 範例 Phi-3(✅)
  • C# API Phi-3 ONNX 範例支援 Phi3-Vision(✅)

貢獻

這個專案歡迎貢獻和建議。大多數貢獻需要您同意一份貢獻者許可協議 (CLA)，聲明您有權利並實際授予我們使用您貢獻的權利。詳情請訪問 https://cla.opensource.microsoft.com。

當你提交一個 pull request 時，CLA 機器人會自動判斷你是否需要提供 CLA 並適當地裝飾 PR（例如，狀態檢查、評論）。只需按照機器人提供的指示操作。你只需要在所有使用我們 CLA 的 repos 中執行一次這個操作。

這個專案已採用Microsoft 開源行為準則。 欲了解更多資訊，請參閱行為準則常見問題或 聯繫[email protected]以提出任何其他問題或意見。

商標

此專案可能包含專案、產品或服務的商標或標誌。授權使用 Microsoft 商標或標誌必須遵守並遵循 Microsoft's Trademark & Brand Guidelines。在此專案的修改版本中使用 Microsoft 商標或標誌不得引起混淆或暗示 Microsoft 的贊助。任何使用第三方商標或標誌均需遵守該第三方的政策。