GPT4All ，一款免费开源的聊天机器人（附详细安装教程）

前言唠叨

从去年来，随着 ChatGpt 的出现，越来越多的大语言模型（LLM）也随即横空出世。

然而，大语言模型需要强大的 GPU 或 TPU 硬件资源才能进行训练和运行。

比如，GPT-3，总共有 1750 亿个参数，而国内阿里开源的通义千问，也有 720 亿参数。

所以，普通的用户，在自己个人设备上，根本无法运行如此"庞然大物"。

不过，今天要介绍的另一款开源软件叫做 GPT4All。是一款免费、支持本地运行、注重隐私保护的聊天机器人。

并且无需 GPU 或联网，仅仅通过 CPU，就能在你本地的电脑下运行开源的大语言模型。

而且 GPT4All 无需联网就能运行，聊天数据也不会上传到其他平台。对于一些涉及到隐私的提问，则无需担心隐私被泄露，因为数据各种都是保存在本地。

简单的说，GPT4All 是一个开源边缘大型语言模型的生态系统，通过神经网络量化技术（Neural Network Quantization），可以将原本需要30GB以上显存才能运行的大型语言模型压缩到3GB-8GB左右，并在普通 CPU 上就可以高效推理和运行。

对这部分技术感兴趣的小伙伴，可以自行去了解下。

下面简单的介绍下 GPT4All 的安装和使用。

GPT4All 官网

官网直达：https://gpt4all.io/index.html

GitHub 源码地址：https://github.com/nomic-ai/gpt4all

GPT4All 支持 Window、Mac 和 Ubuntu。

Window 下安装 GPT4All 

GPT4All 对 GPU 要求不高，所以个人普通的 Window 电脑下即可以安装。

目前，GPT4All 内置的开源模型，对内存的要求一般 1G 以上即可以，但是大部分的模型需要 8G 或者 16G 才能比较流畅的运行。

如果，你的个人电脑内存小于 4 G，那么可以选择 SBert、Startcoder、Replit 、Mini Orca 等大模型模型，在内存小于等于4G下都可以运行。

如果你个人电脑内存大于 16 G，那么可以选择的模型就非常多，GPT4All 提供的基本所有大模型都能下载运行。

安装步骤

首先，根据你个人电脑，下载对应的客户端：

这里我选择 Window 进行下载，下载后解压安装即可，很简单。

安装过程中，选择安装的路径和存储数据路径，建议放到非 C 盘的路径下。

接着，打开客户端，整个客户端长这个样子：

在首次安装后，需要下载大模型才能使用。

大模型下载方法

选择客户端右上角的设置选项：

接着选择 LocalDocs 选项：

然后选择 Download，进入大模型列表：

然后找到你对应感兴趣并且支持你本地运行的模型进行安装即可。

比如上面截图中的 Mistral OpenOrca 大模型，模型大小 3.83GB，内存要求 8G，需要你本地支持 8 G以上的内存才能比较流畅的运行。

GPT4All 也内置了 ChatGpt4.0 和 ChatGpt 3.5，不过需要你有 api key 才能使用，关于 ChatGpt 部分，可以参考之前的文章：最新 ChatGPT 账号购买平台推荐。

当然，除了 OpenAi 的 GPT ，需要你输入 api key 才能使用，其他模型下载后即可免费使用。

安装完以后，返回客户端首页，然后选择对应的模型就可以开始愉快的聊天了。：）

这里以 Mistral OpenOrca 为例，训练数据还是挺新的。

综上，简单的介绍了 GPT4All，一款智能免费的聊天机器人，如果你有 ChatGpt Api key，也可以一起搭配使用，非常方便