GPT4All 桌面 AI¶

# 访问官网下载: https://gpt4all.io

# Windows: 下载 .exe 安装包，双击安装
# macOS: 下载 .dmg，拖入Applications
# Linux: 
# Ubuntu/Debian
wget https://github.com/nomic-ai/gpt4all/releases/latest/download/gpt4all-installer-linux.run
chmod +x gpt4all-installer-linux.run
./gpt4all-installer-linux.run

# NVIDIA GPU: 安装CUDA
# 默认使用Vulkan后端

# Apple Silicon: 自动使用Metal加速

# 在GPT4All Settings中:
# Application → Hardware → GPU Selection
# 选择可用的GPU设备

用户: 用Python写一个读取CSV文件并计算平均值的脚本
AI: ...

System Prompt: 你是一位数据分析专家，使用中文回答问题。
回答时提供完整可运行的代码示例和解释。

用户: 根据我的笔记，RNA-seq分析的基本流程是什么？
AI: 根据您的文档，RNA-seq基本流程包括：1. 质控(FastQC)...

# 支持的文件格式
文本: .txt, .md, .rst
文档: .pdf, .docx, .doc
代码: .py, .js, .ts, .cpp, .java, .go
数据: .json, .csv, .xml

# 性能设置
Chunk Size: 256        # 文档分块大小(tokens)
Chunk Overlap: 64      # 块之间重叠
Embedding Model: nomic-embed-text  # 嵌入模型
Document Count: 3-10   # 每次查询引用文档数

# 启用API服务 (Settings → Application → Enable API Server)
# 默认端口: 4891

# 测试连接
curl http://localhost:4891/v1/models

# 发送请求
curl http://localhost:4891/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Llama 3 8B Instruct",
    "messages": [
      {"role": "system", "content": "You are a helpful assistant."},
      {"role": "user", "content": "What is machine learning?"}
    ],
    "max_tokens": 500,
    "temperature": 0.7
  }'

from gpt4all import GPT4All

# 加载模型
model = GPT4All("Meta-Llama-3-8B-Instruct.Q4_0.gguf")

# 简单生成
output = model.generate("用Python实现冒泡排序", max_tokens=500)
print(output)

# 对话模式
with model.chat_session():
    response1 = model.generate("什么是机器学习?")
    print(response1)

    response2 = model.generate("它和深度学习有什么区别?")
    print(response2)

# 带系统提示
with model.chat_session(system_prompt="你是Python专家，用中文回答"):
    response = model.generate("解释列表推导式")
    print(response)

from gpt4all import Embed4All

embedder = Embed4All()

# 单个文本
text = "机器学习是人工智能的一个子领域"
embedding = embedder.embed(text)
print(f"维度: {len(embedding)}")

# 批量嵌入
texts = [
    "深度学习使用神经网络",
    "强化学习通过奖励信号学习",
    "监督学习需要标注数据"
]
embeddings = embedder.embed(texts)

# 详细参数控制
response = model.generate(
    prompt="解释量子计算",
    max_tokens=1024,      # 最大生成长度
    temp=0.7,             # 温度
    top_k=40,             # Top-K采样
    top_p=0.9,            # 核采样
    min_p=0.0,            # 最小概率阈值
    repeat_penalty=1.18,  # 重复惩罚
    repeat_last_n=64,     # 重复检测窗口
    n_batch=8,            # 批处理大小
    n_predict=256,        # 预测token数
    streaming=False       # 是否流式
)

# 回调式流式输出
def stream_callback(token_id, token_str):
    print(token_str, end="", flush=True)
    return True  # 返回False可中断生成

model.generate(
    "写一篇关于AI的短文",
    streaming=True,
    callback=stream_callback
)

from langchain_community.llms import GPT4All
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain

llm = GPT4All(
    model="path/to/model.gguf",
    max_tokens=512,
    temp=0.5
)

prompt = PromptTemplate(
    input_variables=["topic"],
    template="用通俗的语言解释{topic}，要求100字以内"
)

chain = LLMChain(llm=llm, prompt=prompt)
result = chain.run(topic="区块链")
print(result)

8GB RAM 可选方案:
- Phi-3 Mini (2.2GB) ✓
- Llama 3.2 3B (2.0GB) ✓
- Mistral 7B Q4 (4.1GB) ✓ (刚好够用)

16GB RAM 可选方案:
- 以上所有 ✓
- Llama 3 8B (4.7GB) ✓
- 同时运行LocalDocs ✓