Ollama 模型微调¶

# 确认Ollama已安装
ollama --version

# 如果未安装
curl -fsSL https://ollama.com/install.sh | sh

# macOS
brew install ollama

# 启动Ollama服务
ollama serve

# 拉取基础模型测试
ollama pull llama3.2:3b

# 测试运行
ollama run llama3.2:3b "Hello, world!"

# 查看已有模型
ollama list

# 文件名: Modelfile.code-assistant
FROM llama3.2:3b

# 设置系统提示词
SYSTEM """你是一位精通Python和JavaScript的高级编程助手。
你的回答简洁、准确，总是提供可运行的代码示例。
使用中文回答问题。"""

# 调整推理参数
PARAMETER temperature 0.3
PARAMETER top_p 0.9
PARAMETER num_ctx 4096
PARAMETER stop "<|eot_id|>"

# 创建自定义模型
ollama create code-assistant -f Modelfile.code-assistant

# 运行
ollama run code-assistant "用Python写一个快速排序"

# 查看模型信息
ollama show code-assistant

FROM llama3.2:3b

SYSTEM "你是一位友好的翻译助手"

# 核心参数
PARAMETER temperature 0.7        # 创造性(0-2, 越高越随机)
PARAMETER top_p 0.9              # 核采样阈值
PARAMETER top_k 40               # Top-K采样
PARAMETER num_ctx 8192           # 上下文窗口长度
PARAMETER repeat_penalty 1.1     # 重复惩罚
PARAMETER seed 42                # 随机种子(可复现)

# 停止词
PARAMETER stop "<|end|>"
PARAMETER stop "Human:"

# GPU层数(控制多少层offload到GPU)
PARAMETER num_gpu 35

FROM llama3.2:3b

TEMPLATE """{{- if .System }}<|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|>{{- end }}
{{- range .Messages }}<|start_header_id|>{{ .Role }}<|end_header_id|>
{{ .Content }}<|eot_id|>
{{- end }}<|start_header_id|>assistant<|end_header_id|>
"""

SYSTEM "你是一位数据科学专家"
PARAMETER temperature 0.4

# 安装llama.cpp（用于量化）
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp && make -j

# 下载HuggingFace模型
pip install huggingface-hub
huggingface-cli download TheBloke/Llama-2-7B-Chat-GGUF \
  llama-2-7b-chat.Q4_K_M.gguf --local-dir ./models

# 或者从原始权重转换
python convert_hf_to_gguf.py /path/to/model --outtype f16 --outfile model-f16.gguf

# 量化为不同精度
./llama-quantize model-f16.gguf model-Q4_K_M.gguf Q4_K_M
./llama-quantize model-f16.gguf model-Q8_0.gguf Q8_0

# Modelfile.custom-quant
FROM ./model-Q4_K_M.gguf

SYSTEM "你是一位专业助手"
PARAMETER temperature 0.5
PARAMETER num_ctx 4096

ollama create my-model -f Modelfile.custom-quant
ollama run my-model

# Modelfile.with-lora
FROM llama3.2:3b

# 加载LoRA适配器
ADAPTER ./my-lora-adapter.gguf

SYSTEM "你是医疗领域专家助手"
PARAMETER temperature 0.2

// train_data.jsonl
{"messages":[{"role":"system","content":"你是医疗问答助手"},{"role":"user","content":"什么是高血压？"},{"role":"assistant","content":"高血压是指动脉血压持续升高的慢性疾病..."}]}
{"messages":[{"role":"system","content":"你是医疗问答助手"},{"role":"user","content":"糖尿病的症状有哪些？"},{"role":"assistant","content":"糖尿病的典型症状包括多饮、多食、多尿和体重减轻..."}]}

from unsloth import FastLanguageModel
import torch

# 加载基础模型
model, tokenizer = FastLanguageModel.from_pretrained(
    model_name="unsloth/llama-3.2-3b-Instruct",
    max_seq_length=2048,
    load_in_4bit=True,
)

# 配置LoRA
model = FastLanguageModel.get_peft_model(
    model,
    r=16,
    target_modules=["q_proj", "k_proj", "v_proj", "o_proj",
                    "gate_proj", "up_proj", "down_proj"],
    lora_alpha=16,
    lora_dropout=0,
    bias="none",
)

# 准备数据集和训练
from trl import SFTTrainer
from transformers import TrainingArguments

trainer = SFTTrainer(
    model=model,
    train_dataset=dataset,
    args=TrainingArguments(
        per_device_train_batch_size=2,
        gradient_accumulation_steps=4,
        warmup_steps=5,
        max_steps=60,
        learning_rate=2e-4,
        output_dir="outputs",
    ),
)
trainer.train()

# 保存为GGUF格式
model.save_pretrained_gguf("my-finetuned", tokenizer, quantization_method="q4_k_m")

# Modelfile.finetuned
FROM ./my-finetuned-unsloth.Q4_K_M.gguf

TEMPLATE """<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{{ .System }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ .Prompt }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
"""

SYSTEM "你是医疗领域专家助手"
PARAMETER temperature 0.2
PARAMETER num_ctx 2048

ollama create medical-assistant -f Modelfile.finetuned
ollama run medical-assistant "请解释什么是心律不齐"

# Modelfile.vision
FROM llava:7b

SYSTEM "你是一位图像分析专家，擅长描述和分析图片内容。请用中文回答。"
PARAMETER temperature 0.3
PARAMETER num_ctx 4096

ollama create vision-assistant -f Modelfile.vision
ollama run vision-assistant "描述这张图片" ./photo.jpg

# 复制/重命名模型
ollama cp code-assistant my-namespace/code-assistant

# 推送到Ollama Hub
ollama push my-namespace/code-assistant

# 删除模型
ollama rm code-assistant

# 查看模型详细信息
ollama show code-assistant --modelfile

# 列出运行中的模型
ollama ps

# 需要重新创建模型
ollama create code-assistant -f Modelfile.code-assistant --force
# 或者先删除再创建
ollama rm code-assistant
ollama create code-assistant -f Modelfile.code-assistant

# 确保LoRA转换为GGUF格式
# 使用llama.cpp的convert工具
python convert_lora_to_gguf.py \
  --base model-f16.gguf \
  --lora-path ./lora-weights \
  --outfile lora-adapter.gguf

# 简单对比评估
import ollama

questions = ["什么是高血压?", "糖尿病如何治疗?"]

for q in questions:
    # 原始模型
    base = ollama.chat(model='llama3.2:3b', messages=[{'role':'user','content':q}])
    # 微调模型
    tuned = ollama.chat(model='medical-assistant', messages=[{'role':'user','content':q}])
    print(f"Q: {q}")
    print(f"Base: {base['message']['content'][:200]}")
    print(f"Tuned: {tuned['message']['content'][:200]}")
    print("---")

# 通过num_gpu控制GPU offload层数(减少到GPU放得下的层数)
PARAMETER num_gpu 20

# 或使用更小的上下文窗口
PARAMETER num_ctx 2048