Open WebUI: Ollama/OpenAI 兼容的本地 ChatGPT 界面¶

┌────────────────────────────────┐
│        用户浏览器              │
│    (Open WebUI 前端)           │
└────────────┬───────────────────┘
             │ HTTP
┌────────────▼───────────────────┐
│      Open WebUI 后端           │
│  (Python/FastAPI)              │
│  ┌─────────┬──────────┐       │
│  │ SQLite  │ ChromaDB │       │
│  │(对话/用户)│ (RAG向量)│       │
│  └─────────┴──────────┘       │
└─────┬──────────────┬──────────┘
      │              │
┌─────▼─────┐  ┌─────▼──────────┐
│  Ollama   │  │  OpenAI API    │
│ (本地模型) │  │ (云端模型)      │
│ llama3    │  │ gpt-4o         │
│ codellama │  │ claude-3.5     │
│ mistral   │  │ (通过兼容API)   │
└───────────┘  └────────────────┘

# 如果 Ollama 在同一台机器上
docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --add-host=host.docker.internal:host-gateway \
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# 访问 http://localhost:3000

# 如果只使用 OpenAI API（不需要 Ollama）
docker run -d \
  --name open-webui \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  -e OPENAI_API_KEY=sk-... \
  --restart always \
  ghcr.io/open-webui/open-webui:main

# docker-compose.yml
version: '3'

services:
  ollama:
    image: ollama/ollama:latest
    container_name: ollama
    volumes:
      - ollama-data:/root/.ollama
    ports:
      - '11434:11434'
    # GPU 支持 (NVIDIA)
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: all
              capabilities: [gpu]
    restart: unless-stopped

  open-webui:
    image: ghcr.io/open-webui/open-webui:main
    container_name: open-webui
    ports:
      - '3000:8080'
    volumes:
      - open-webui:/app/backend/data
    environment:
      - OLLAMA_BASE_URL=http://ollama:11434
      - OPENAI_API_KEY=${OPENAI_API_KEY:-}
      - WEBUI_AUTH=true
    depends_on:
      - ollama
    restart: unless-stopped

volumes:
  ollama-data:
  open-webui:

docker compose up -d

# 拉取模型
docker exec ollama ollama pull llama3
docker exec ollama ollama pull codellama

pip install open-webui

# 启动
open-webui serve
# 默认访问 http://localhost:8080

# 通过 Ollama 下载模型
ollama pull llama3
ollama pull codellama
ollama pull mistral
ollama pull llama3:70b  # 大模型（需要足够 VRAM）
ollama pull nomic-embed-text  # 嵌入模型（RAG 用）

# 模型会自动出现在 Open WebUI 的模型选择列表中

# 在输入框中使用 # 引用知识库
#公司文档 请帮我找到关于审批流程的规定

# 也可以在模型设置中默认关联知识库

# 下载嵌入模型（用于 RAG 向量化）
ollama pull nomic-embed-text

# 在 Admin → Settings → Documents 中配置
# Embedding Model: nomic-embed-text
# Chunk Size: 1000
# Chunk Overlap: 200

# 在 Workspace → Tools 中创建

class Tools:
    def __init__(self):
        pass

    async def get_weather(self, city: str) -> str:
        """Get current weather for a city.

        :param city: City name
        :return: Weather information
        """
        # 实现天气查询逻辑
        import requests
        response = requests.get(f"https://wttr.in/{city}?format=3")
        return response.text

# Filter Function — 处理输入/输出
class Filter:
    def inlet(self, body, user):
        """处理用户输入（发送给模型前）"""
        # 添加系统上下文
        body["messages"].insert(0, {
            "role": "system",
            "content": "当前时间: " + str(datetime.now())
        })
        return body

    def outlet(self, body, user):
        """处理模型输出（返回给用户前）"""
        # 添加免责声明
        for message in body["messages"]:
            if message["role"] == "assistant":
                message["content"] += "\n\n---\n*此回答由 AI 生成，仅供参考*"
        return body

# 环境变量配置
# 启用注册
WEBUI_AUTH=true
# 禁用注册（仅管理员创建用户）
ENABLE_SIGNUP=false
# 默认用户角色
DEFAULT_USER_ROLE=pending  # 新用户需要管理员审批

# 在 Admin → Settings → Connections 中配置

# Ollama（本地模型）
# URL: http://localhost:11434

# OpenAI
# API Key: sk-...
# URL: https://api.openai.com/v1

# OpenRouter（多模型聚合）
# API Key: sk-or-...
# URL: https://openrouter.ai/api/v1

# 本地 vLLM/llama.cpp 服务
# URL: http://localhost:8000/v1
# API Key: (任意值，如 "not-used")

# 环境变量
WEBUI_NAME="我的 AI 助手"
DEFAULT_LOCALE="zh-CN"

# 在 Admin → Settings → General 中设置：
# - 站点名称
# - 默认语言
# - 主题（浅色/深色/自动）

# 获取 API Key（在 Settings → Account → API Keys）

# 使用 Open WebUI 作为 API 网关
curl http://localhost:3000/api/chat/completions \
  -H "Authorization: Bearer YOUR_OPEN_WEBUI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3",
    "messages": [{"role": "user", "content": "Hello!"}]
  }'

# 这意味着你可以用任何 OpenAI 客户端库连接 Open WebUI

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:3000/api",
    api_key="YOUR_OPEN_WEBUI_API_KEY"
)

response = client.chat.completions.create(
    model="llama3",
    messages=[{"role": "user", "content": "你好！"}]
)
print(response.choices[0].message.content)

# Docker 方式
docker cp open-webui:/app/backend/data ./backup

# 或直接备份 volume
docker run --rm -v open-webui:/data -v $(pwd):/backup \
  busybox tar czf /backup/open-webui-backup.tar.gz /data

# Docker 方式已经监听 0.0.0.0
# 其他设备通过 http://服务器IP:3000 访问

# 如果需要 HTTPS，前面加 Caddy
# Caddyfile:
# chat.local {
#     reverse_proxy localhost:3000
#     tls internal
# }