Llama3+AnythingLLM，部署私有化大语言模型

        为训练Llama3这个模型，投入了49152块H100的GPU， 2024年4月18日，Meta终于正式发布全新一代开源模型Llama3，个人部署自己的大语言模型也变得非常简单了。

一、安装Ollama

Ollama官网下载地址：https://ollama.com/download

对应自己需要部署的电脑操作系统下载，并安装：

安装完ollama，安装运行llama3

按住windows图标+R，输入cmd,确定

输入：

ollama run llama3:8b

电脑没有GPU显卡，用CPU运行，安装llama3的8b，电脑尽量配置高点，不然运行比较慢。

回车：

等待一段时间，看到success,并出现 “>>>”就安装好了llama3,可以输入你想知道的内容，llama3开始对话了，中文不是很友好，但英文聊天确很棒，需要中文聊天也可以直接问他，“你会中文吗？”，本地就部署好了，需要浏览窗口的，我们可以继续安装AngthingLLM.

二、下载并配置AngthingLLM

AngthingLLM官网下载链接：https://useanything.com/download

点击安装AngthingLLM，配置AngthingLLM

点击Getstarted,

点击选择Ollama,填入Ollama Base URL,ollama默认地址为：http://127.0.0.1:11434 ，

选择Chat Model Selection:选择 llama3:8b,

Token context window填 4096

点击下一步右边箭头：

选默认的LanceDB数据库，存放聊天记录，点击下一步右边箭头：

继续点击下一步右边箭头：填写你的邮箱地址 what’s your email?

继续点击下一步右边箭头,进入聊天界面，随便自己添加一个New Workspace名字，我的是tuokin

llama3懂中文，之前一直用英文聊天学英语，改用中文，他说：如果你想用中文和我说话来练习你的英语技能，我很乐意和你聊天！呵呵。。。。。。