1. 下载 ChatterUI 作为图形界面；
2. 下载模型文件 Llama-3.2-3B-Instruct-Q4_0_4_4.gguf；
3. 在 ChatterUI 的 Instruct 选项中，点击 Alpaca，将其修改为Llama 3；
4. 在 ChatterUI 的 API 选项中，点击 Import Model，选择下载的模型文件，再点击 Load 载入模型；
5. 现在即可与默认的 AI Bot 角色进行对话。还可以使用自定义的设定描述词，创建新的角色。

使用截屏：

视频链接：（3.9 MB）

因为 Llama 3.2 模型本身并不支持中文，所以它的中文对话能力不太好，有时回答可能会夹杂外语。

啊这欲言又止

@hik，都拿啥中文语料训练了。。

访问不了抱抱脸的用镜像 Llama-3.2-3B-Instruct-Q4_0_4_4.gguf · bartowski/Llama-3.2-3B-Instruct-GGUF at main (hf-mirror.com)

用文心 2.5 3b 我觉得还行，中文准确率挺高，速度有点慢，1.5b 速度快但结果不太满意

模型q2到q8依据手机配置选择，数字越小的占用越低，准确率也低，越大对配置要求越高

Qwen/Qwen2.5-3B-Instruct-GGUF at main (huggingface.co)

Qwen/Qwen2.5-1.5B-Instruct-GGUF at main (hf-mirror.com)