星哥私有教程

本地使用GPT4All和LMstudio实现各大模型的人工智能自由

# 本地使用GPT4All和LMstudio实现各大模型的人工智能自由

# GPT4All

GPT4All 是一个基于开放源代码的大型语言模型，旨在提供类似于OpenAI的GPT模型的功能，但更加开源和易于访问。它允许开发者和研究人员在本地环境中运行和自定义大规模的语言模型，适用于多种应用场景，如对话生成、文本总结、翻译等。

官网介绍：

A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required.

一个免费使用、本地运行、注重隐私的聊天机器人。不需要GPU或互联网

# 下载安装GPT4All

下载地址： https://gpt4all.io/index.html

我的系统window下载

image-20240515161043925

安装非常简单

image-20240515161304680

# 设置设备和下载模型的路径

设置，选择第二个 Application

image-20240515161933977

# 下载模型

image-20240515161712702

点击download

image-20240515162117145

国内的网络会比较慢，等待下载完成。

选择指定模型

image-20240515163541400

# 使用LMstudio

LM Studio是一个功能强大、易于使用的桌面应用程序，用于在本地机器上实验和评估大型语言模型（LLMs）。它允许用户轻松地比较不同的模型，并支持使用NVIDIA/AMD GPU加速计算 。

# 下载LMstudio

官方网站： https://lmstudio.ai/

下载对应的版本，我这里下载Window

image-20250208102906076

# 安装LMstudio

安装很简单，点击完成

image-20250208103025395

# 搜索模型

国内网络环境，无法访问hugging face，下载不了模型

image-20250208103700960

# 国内支持操作

安装完成后，先不急打开。找出你LM studio的安装目录（比如C:\ProgramData\你的用户名\LM-Studio）

在cmd 或 powershell 中运行

cd C:\ProgramData\username\LM-Studio #进入LM studio的安装目录
findstr /s /i /m /c:”huggingface.co” *.js
就得出以下结果：
app-0.2.21\resources\app.webpack\main\index.js
app-0.2.21\resources\app.webpack\main\llmworker.js
app-0.2.21\resources\app.webpack\main\worker.js
app-0.2.21\resources\app.webpack\renderer\main_window\index.js
用 vs code 或其它编辑软件打开这4个文件
将`huggingface.co` 替换为 `hf-mirror.com`
1
2
3
4
5
6
7
8
9

如果你已经打开了LM Studio软件，之后还需要到这个目录下修改,跟上面的一样操作就行：

C:\Users\你的用户名\AppData\Local\LM-Studio\

之后打开LM STUDIO就正常使用就行。

# 我所用的Model

1 支持视觉的 Phi-3模型，即支持 image to txt，多模态模型。 https://hf-mirror.com/xtuner/llava-phi-3-mini-hf

2 中文加强版的llama3-8B 模型：shenzhi-wang/Llama3-8B-Chinese-Chat https://hf-mirror.com/shenzhi-wang/Llama3-8B-Chinese-Chat