63. 开源AI工具链全景¶

┌──────────────────────────────────────────────────────┐
│                    部署层 (Deployment)                 │
│  Docker · Kubernetes · Cloudflare Workers AI · Fly.io │
├──────────────────────────────────────────────────────┤
│                    应用层 (Application)                │
│  LangChain · Dify · AnythingLLM · CrewAI · Gradio    │
├──────────────────────────────────────────────────────┤
│                    推理层 (Inference)                  │
│  Ollama · vLLM · llama.cpp · TGI · SGLang             │
├──────────────────────────────────────────────────────┤
│                    模型层 (Model)                      │
│  Llama · Qwen · DeepSeek · Gemma · Mistral · Phi     │
└──────────────────────────────────────────────────────┘

你的场景是什么？
  │
  ├── 中文为主 + 通用任务 → Qwen 3（中文理解最好，Apache协议友好）
  │
  ├── 代码生成 + 推理密集 → DeepSeek-R1 或其蒸馏版
  │
  ├── 本地运行 + 显存有限（<16GB）→ Gemma 3 4B 或 Qwen 3 4B
  │
  ├── 多模态（看图+文字）→ Llama 4 Scout 或 Qwen-VL
  │
  └── 最宽松许可证 → DeepSeek（MIT）或 Qwen（Apache 2.0）

# 安装Ollama（Linux/macOS/Windows都支持）
curl -fsSL https://ollama.com/install.sh | sh

# 下载并运行模型（一条命令搞定）
ollama run qwen3:8b        # 运行8B参数的Qwen3
ollama run deepseek-r1:7b   # 运行DeepSeek-R1蒸馏7B版
ollama run gemma3:4b         # 运行Gemma3 4B

# 查看已下载的模型
ollama list

# 以API模式启动（其他程序可以调用）
# Ollama默认在 http://localhost:11434 提供API
curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "解释什么是宏基因组"
}'

# 安装vLLM（需要NVIDIA GPU + CUDA）
pip install vllm

# 启动OpenAI兼容的API服务
vllm serve Qwen/Qwen3-8B \
    --dtype auto \           # 自动选择精度
    --api-key token-abc123 \ # 设置API密钥
    --port 8000              # 端口

# 然后用标准OpenAI SDK调用
from openai import OpenAI
client = OpenAI(base_url="http://localhost:8000/v1", api_key="token-abc123")

response = client.chat.completions.create(
    model="Qwen/Qwen3-8B",
    messages=[{"role": "user", "content": "解释什么是16S rRNA"}]
)
print(response.choices[0].message.content)

# LangChain的核心是"链式组合"
# 白话：把多个处理步骤串起来，像流水线一样

from langchain_ollama import ChatOllama          # 连接本地模型
from langchain_core.prompts import ChatPromptTemplate  # 提示词模板
from langchain_core.output_parsers import StrOutputParser  # 输出解析

# 1. 选模型（推理层）
llm = ChatOllama(model="qwen3:8b")

# 2. 写提示词模板
prompt = ChatPromptTemplate.from_messages([
    ("system", "你是一个生物信息学专家，用中文回答问题"),
    ("user", "{question}")
])

# 3. 串成链（Chain）
chain = prompt | llm | StrOutputParser()  # 提示词 → 模型 → 解析输出

# 4. 执行
answer = chain.invoke({"question": "什么是Shannon多样性指数？"})
print(answer)

# 用Docker一键部署Dify
git clone https://github.com/langgenius/dify.git
cd dify/docker
cp .env.example .env
docker compose up -d

# 访问 http://localhost/install 完成初始化
# 然后在Web界面上：
# 1. 配置模型（连接Ollama或其他API）
# 2. 创建应用（聊天助手/Agent/工作流）
# 3. 上传知识库文档（自动向量化）
# 4. 发布应用（生成API或嵌入链接）

用户问题："该宏基因组数据中Akkermansia丰度变化说明什么？"
    ↓
普通LLM：给你一个笼统的通用回答
    ↓
RAG增强后：
  1. 先从你上传的论文/知识库中搜索"Akkermansia"相关段落
  2. 把搜到的段落 + 用户问题 一起发给LLM
  3. LLM基于你自己的数据给出精准回答
    ↓
白话：给AI配了一个"开卷考试"的资料库

# 最简单的部署方式：Docker
# 把你的AI应用打包成Docker镜像

# Dockerfile示例
FROM python:3.11-slim
WORKDIR /app
COPY requirements.txt .
RUN pip install -r requirements.txt
COPY . .
CMD ["python", "app.py"]

# 构建并运行
docker build -t my-bioinfo-ai .
docker run -p 8000:8000 my-bioinfo-ai

Ollama（推理层）── 本地跑模型，免费无限调用
    ↓
LangChain（应用层）── 编排Agent和RAG逻辑
    ↓
ChromaDB（向量数据库）── 存储知识库的向量
    ↓
Gradio（前端）── 几行代码出Web界面

# ============================================================
# 生信知识问答系统：Ollama + LangChain + ChromaDB + Gradio
# ============================================================

# pip install langchain langchain-ollama chromadb gradio
# pip install langchain-community sentence-transformers

import gradio as gr                                      # Web界面
from langchain_ollama import ChatOllama, OllamaEmbeddings  # 本地模型
from langchain_community.vectorstores import Chroma       # 向量数据库
from langchain.text_splitter import RecursiveCharacterTextSplitter  # 文本切分
from langchain_core.prompts import ChatPromptTemplate      # 提示词
from langchain_core.runnables import RunnablePassthrough    # 链式组合
from langchain_core.output_parsers import StrOutputParser   # 输出解析

# ---------- 1. 初始化模型和嵌入 ----------
llm = ChatOllama(model="qwen3:8b")           # 对话模型
embeddings = OllamaEmbeddings(model="nomic-embed-text")  # 嵌入模型

# ---------- 2. 构建知识库 ----------
# 假设你有一些生信文档
documents = [
    "Shannon多样性指数是衡量群落多样性的常用指标，值越大表示多样性越高。",
    "Kraken2是一种基于k-mer的宏基因组分类工具，速度快但需要较大的数据库。",
    "DESeq2使用负二项分布模型进行差异表达分析，适合RNA-seq数据。",
    "MetaPhlAn4使用marker gene进行物种注释，精度高但速度较慢。",
    # ... 更多文档
]

# 切分文档
text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=500,      # 每块500字符
    chunk_overlap=50     # 块之间重叠50字符（保证上下文连贯）
)
texts = text_splitter.create_documents(documents)

# 存入ChromaDB向量数据库
vectorstore = Chroma.from_documents(
    documents=texts,
    embedding=embeddings,
    persist_directory="./chroma_db"   # 持久化到本地
)
retriever = vectorstore.as_retriever(search_kwargs={"k": 3})  # 检索top3

# ---------- 3. 构建RAG链 ----------
prompt = ChatPromptTemplate.from_template("""
基于以下参考资料回答问题。如果资料中没有相关信息，请说明。

参考资料：
{context}

问题：{question}

请用中文回答，用白话解释专业术语：
""")

def format_docs(docs):
    """把检索到的文档拼成字符串"""
    return "\n".join(doc.page_content for doc in docs)

rag_chain = (
    {"context": retriever | format_docs, "question": RunnablePassthrough()}
    | prompt
    | llm
    | StrOutputParser()
)

# ---------- 4. Gradio界面 ----------
def answer_question(question):
    """处理用户问题"""
    return rag_chain.invoke(question)

# 创建Web界面
demo = gr.Interface(
    fn=answer_question,
    inputs=gr.Textbox(label="输入你的生信问题", placeholder="例：什么是Shannon多样性指数？"),
    outputs=gr.Textbox(label="AI回答"),
    title="生信知识问答系统",
    description="基于本地Ollama模型 + RAG知识库的问答系统"
)

# 启动
demo.launch(server_port=7860)  # 访问 http://localhost:7860

你的GPU显存？
├── 没有GPU → llama.cpp(CPU) + 小模型(1-4B)
├── 8GB → Ollama + 4B模型
├── 16GB → Ollama + 8B模型
├── 24GB → Ollama/vLLM + 14B模型
└── 多卡/集群 → vLLM + 70B+模型