0

GPT4All ,一款免费开源的聊天机器人(附详细安装教程)

Posted by 撒得一地 on 2023年12月21日 in AI人工智能, 免费资源

前言唠叨

从去年来,随着 ChatGpt 的出现,越来越多的大语言模型(LLM)也随即横空出世。

然而,大语言模型需要强大的 GPU 或 TPU 硬件资源才能进行训练和运行。

比如,GPT-3,总共有 1750 亿个参数,而国内阿里开源的通义千问,也有 720 亿参数。

所以,普通的用户,在自己个人设备上,根本无法运行如此"庞然大物"。

不过,今天要介绍的另一款开源软件叫做 GPT4All。是一款免费、支持本地运行、注重隐私保护的聊天机器人。

并且无需 GPU 或联网,仅仅通过 CPU,就能在你本地的电脑下运行开源的大语言模型。

而且 GPT4All 无需联网就能运行,聊天数据也不会上传到其他平台。对于一些涉及到隐私的提问,则无需担心隐私被泄露,因为数据各种都是保存在本地。

简单的说,GPT4All 是一个开源边缘大型语言模型的生态系统,通过神经网络量化技术(Neural Network Quantization),可以将原本需要30GB以上显存才能运行的大型语言模型压缩到3GB-8GB左右,并在普通 CPU 上就可以高效推理和运行。

对这部分技术感兴趣的小伙伴,可以自行去了解下。

下面简单的介绍下 GPT4All 的安装和使用。

GPT4All 官网

官网直达:https://gpt4all.io/index.html

GitHub 源码地址:https://github.com/nomic-ai/gpt4all

GPT4All 支持 Window、Mac 和 Ubuntu。

Window 下安装 GPT4All 

GPT4All 对 GPU 要求不高,所以个人普通的 Window 电脑下即可以安装。

目前,GPT4All 内置的开源模型,对内存的要求一般 1G 以上即可以,但是大部分的模型需要 8G 或者 16G 才能比较流畅的运行。

如果,你的个人电脑内存小于 4 G,那么可以选择 SBert、Startcoder、Replit 、Mini Orca 等大模型模型,在内存小于等于4G下都可以运行。

如果你个人电脑内存大于 16 G,那么可以选择的模型就非常多,GPT4All 提供的基本所有大模型都能下载运行。

安装步骤

首先,根据你个人电脑,下载对应的客户端:

下载gpt4all客户端

这里我选择 Window 进行下载,下载后解压安装即可,很简单。

安装过程中,选择安装的路径和存储数据路径,建议放到非 C 盘的路径下。

接着,打开客户端,整个客户端长这个样子:

选择对应模型,进行聊天

在首次安装后,需要下载大模型才能使用。

大模型下载方法

选择客户端右上角的设置选项:

在gpt4all客户端,选择设置选项

接着选择 LocalDocs 选项:

选择 LocalDocs 选项

然后选择 Download,进入大模型列表:

选择大模型列表

然后找到你对应感兴趣并且支持你本地运行的模型进行安装即可。

比如上面截图中的 Mistral OpenOrca 大模型,模型大小 3.83GB,内存要求 8G,需要你本地支持 8 G以上的内存才能比较流畅的运行。

GPT4All 也内置了 ChatGpt4.0 和 ChatGpt 3.5,不过需要你有 api key 才能使用,关于 ChatGpt 部分,可以参考之前的文章:最新 ChatGPT 账号购买平台推荐

当然,除了 OpenAi 的 GPT ,需要你输入 api key 才能使用,其他模型下载后即可免费使用。

安装完以后,返回客户端首页,然后选择对应的模型就可以开始愉快的聊天了。:)

选择Mistral OpenOrca模型进行聊天

这里以 Mistral OpenOrca 为例,训练数据还是挺新的。

综上,简单的介绍了 GPT4All,一款智能免费的聊天机器人,如果你有 ChatGpt Api key,也可以一起搭配使用,非常方便

上一篇:

下一篇:

相关推荐

发表评论

电子邮件地址不会被公开。 必填项已用*标注

1 + 9 = ?

网站地图|XML地图

Copyright © 2015-2024 技术拉近你我! All rights reserved.
闽ICP备15015576号-1 版权所有©psz.