使用 LM Studio 在 macOS 中本地运行大模型
LM Studio
本地运行大模型的工具中，LM Studio 和 Ollama 是最受欢迎的两款。在最近这一次的更新中，LM Studio 新增了对 MLX 的支持。
Ref: Mac跑大模型，首选LM Studio
选择 LM Studio 是因为自带 Chat 的 UI ，而且支持 MLX 。
不过 MLX 模型比较少，更新也慢。
MLX，是苹果公司开源的一个机器学习框架，专门为M系列芯片做了优化。
使用
下载安装后，点击左侧的搜索按钮可以下载模型
下载完成后点击顶部的 Select a model to load 就可以开始对话了。
切换语言
LM Studio UI 支持多种语言，右下角点击设置的齿轮图标，
运行速度
lmstudio-community/Qwen2.5-Coder-7B-Instruct-GGUF
占用显存 4.6GB
输出速度
1 | 42.12 tok/sec • 636 tokens • 0.20s to first token |
14b 版本速度减半