一个简短的借助 MLX 在 Mac 上运行微软的2.7B小语言模型 Phi-2 [

微软官方出的 Windows AI Studio，如果你需要：

  • 本地测试Phi-2 小模型

  • 测试 RAG

  • 微调模型

  • 针对 Windows 优化模型

并且你是Windows 系统 + NVIDIA 的显卡，可以试试用它 。

官方说明：
Windows AI Studio 通过集成 Azure AI Studio Catalog 和其他类似 Hugging Face 的AI 模型目录中的最新 AI 开发工具和模型，使得开发生成式 AI 应用程序变得更加简单。你可以浏览由 Azure ML 和 Hugging Face 提供动力的 AI 模型目录，下载它们到本地进行微调和测试，然后在你的 Windows 应用中使用它们。因为所有的计算都在你的设备上进行，所以要确保设备的性能能够担负起这个任务。

未来，我们还计划将 ORT/DML 集成进 Windows AI Studio 的工作流程中，这样开发者就能够在任何一款 Windows 设备上进行 AI 模型的运行了。

微博正文](https://weibo.com/1727858283/NxeE1fFwD) 的教程

步骤1：下载针对 MLX 的 Phi-2 权重启动文件！
huggingface.co/mlx-community/phi-2
网页链接

步骤2：克隆或下载 MLX-Examples 项目库到本地
github.com/ml-explore/mlx-examples

步骤3：执行 phi2 程序（需要安装 Python）
python phi2 .py --prompt “My name is”

除了 Phi-2，还有很多其他模型可以测试，例如
Mistral-7B 等：
huggingface.co/mlx-community