在自己的电脑上运行开源大模型

不联网也能和大模型对话，听起来很酷，实际上也并不难。你需要的只是一台内存足够的电脑、一个运行工具，以及一点耐心。

为什么想在本地运行

• 数据不出本机：处理含有隐私或商业机密的材料时更安心。
• 可以离线使用：出差、网络不稳定时照常可用。
• 可控、可折腾：你可以自由更换模型、调整参数，直观地理解模型是怎么工作的。

也要知道它的限制

• 普通电脑能运行的模型，能力通常不及最大的云端模型，复杂任务上差距更明显。
• 速度取决于你的硬件。内存不足时会很慢，甚至无法加载。
• 模型文件很大，需要预留足够的磁盘空间。

量化是什么

模型本质上是一大堆数字（参数）。量化就是用更少的位数来表示这些数字，让模型文件更小、占用的内存更少，代价是质量会略有下降。你会经常看到「4-bit」「8-bit」这样的标注。对大多数个人用户来说，4-bit 量化是兼顾体积和质量的常见选择。

怎样估算需要多少内存

一个粗略的经验：4-bit 量化的模型，每 10 亿参数大约需要 0.6 GB 的空间。比如 70 亿参数的模型，文件大小约在 4 GB 出头。此外还要为对话的上下文和系统本身预留 1 到 2 GB 以上。实际数字请以模型页面标注的文件大小为准。

三个常用工具

• Ollama：命令行工具，一条命令下载并运行模型，还提供本地接口，方便其他程序调用。
• LM Studio：图形界面，可以搜索、下载和对话，适合不想用命令行的人。
• llama.cpp：许多本地工具的底层引擎，适合想深入了解和调参的用户。

跑通第一个模型

1. 安装一个工具（新手建议选图形界面的 LM Studio，或者命令行的 Ollama）。
2. 先选一个小模型，几十亿参数即可。模型名称请从工具内置的模型库或官方页面复制，不要凭记忆输入。
3. 下载并启动对话，先问几个简单的问题确认能用。
4. 留意内存占用和生成速度，再逐步尝试更大的模型。

用 Ollama 时，运行模型的命令形如下面这样，其中的模型名需要换成模型库里的实际名称：

ollama run <模型名>

选模型时看什么

• 许可证：有的模型限制商业使用，用于工作之前先读清楚。
• 语言能力：如果主要用中文，选择明确支持中文的模型。
• 上下文长度：需要处理长文档时，要选择支持更长上下文的模型，同时它也会占用更多内存。
• 文件格式与来源：优先从官方模型库或可信发布者下载，格式上优先选择 GGUF 或 safetensors。老式的 PyTorch 权重文件加载时可能执行其中的代码，来源不明时不要打开。