57. 多模态AI应用：视觉语言模型（VLM）¶

多模态AI 的工作原理（简化版）：

图片 ──→ [视觉编码器 ViT] ──→ 图像特征向量 ──┐
                                                ├──→ [大语言模型 LLM] ──→ 文字回答
文字 ──→ [文本编码器 Tokenizer] ──→ 文本向量 ──┘

关键：用一个"桥梁"（Projection Layer）把图像特征转换成 LLM 能理解的"语言"

决策树：
                  需要视觉AI？
                 /           \
            有GPU？         没GPU？
           /     \              \
      >=24GB    8-16GB      用云API
        |         |            |
   Qwen2.5-VL  LLaVA-7B   GPT-4o / 
    -72B(量化)  BakLLaVA   Gemini Flash
        |         |
   研究级精度  日常够用

# ====== Step 1: 安装 Ollama ======
# Linux 一键安装（WSL2 也适用）
curl -fsSL https://ollama.com/install.sh | sh

# 验证安装
ollama --version  # 应显示版本号，如 ollama version 0.9.x

# ====== Step 2: 下载视觉模型 ======
# LLaVA 7B（4.7GB，需要 8GB 显存或纯 CPU 也能跑，但很慢）
ollama pull llava

# BakLLaVA（4.7GB，Mistral 底座，推理稍快）
ollama pull bakllava

# 查看已下载的模型
ollama list

# ====== Step 3: 命令行测试 ======
# 启动 LLaVA 对话
ollama run llava

# 在对话中发送图片（输入图片路径）
# >>> What's in this image? /path/to/gel_image.png
# 模型会返回图片描述

"""
用 Ollama 本地 VLM 分析实验图像
前提：已安装 ollama 并 pull 了 llava 模型
安装依赖：pip install ollama Pillow
"""

import ollama          # Ollama 官方 Python SDK
import base64          # 用于将图片转为 base64 编码
from pathlib import Path  # 路径处理

def analyze_image(image_path: str, question: str, model: str = "llava") -> str:
    """
    用本地 VLM 分析图片并回答问题

    参数：
        image_path: 图片文件路径（支持 jpg/png）
        question:   要问模型的问题（中文或英文）
        model:      使用的模型名（默认 llava）
    返回：
        模型的文字回答
    """
    # 读取图片文件并转为 base64 字符串
    image_data = Path(image_path).read_bytes()    # 读取图片的原始二进制数据
    b64_image = base64.b64encode(image_data).decode("utf-8")  # 转为 base64 文本

    # 调用 Ollama API（本地运行，不需要网络）
    response = ollama.chat(
        model=model,                             # 指定视觉模型
        messages=[{
            "role": "user",                      # 用户角色
            "content": question,                 # 问题文本
            "images": [b64_image]                # 图片列表（base64 格式）
        }]
    )

    return response["message"]["content"]        # 返回模型的回答文本

# ====== 使用示例 ======
if __name__ == "__main__":
    # 分析一张凝胶电泳图
    result = analyze_image(
        image_path="gel_electrophoresis.png",    # 替换为你的图片路径
        question="请描述这张凝胶电泳图中的条带数量、位置和亮度，并估算分子量范围。"
    )
    print("=== 分析结果 ===")
    print(result)

"""
批量分析实验图像，输出结构化 JSON 结果
适用场景：批量处理实验室拍摄的凝胶图、平板照片等
"""

import ollama
import base64
import json
from pathlib import Path

def batch_analyze(image_dir: str, prompt_template: str, model: str = "llava") -> list:
    """
    批量分析目录下所有图片

    参数：
        image_dir:        图片所在目录
        prompt_template:  分析提示词模板
        model:            视觉模型名称
    返回：
        包含每张图片分析结果的列表
    """
    results = []                                 # 存储所有结果
    image_dir = Path(image_dir)                  # 转为 Path 对象

    # 遍历目录下所有 jpg 和 png 图片
    for img_path in sorted(image_dir.glob("*.{jpg,png,jpeg}")):
        print(f"正在分析: {img_path.name}")      # 打印进度

        # 读取并编码图片
        b64 = base64.b64encode(img_path.read_bytes()).decode()

        # 调用模型，要求返回 JSON 格式
        response = ollama.chat(
            model=model,
            messages=[{
                "role": "user",
                "content": prompt_template,      # 统一的分析提示词
                "images": [b64]                  # 当前图片
            }],
            format="json"                        # 要求 JSON 格式输出
        )

        # 解析结果
        try:
            parsed = json.loads(response["message"]["content"])  # 尝试解析 JSON
        except json.JSONDecodeError:
            parsed = {"raw_text": response["message"]["content"]}  # 解析失败保留原文

        parsed["filename"] = img_path.name       # 添加文件名
        results.append(parsed)

    return results

# ====== 使用示例：批量分析凝胶图 ======
if __name__ == "__main__":
    prompt = """请分析这张凝胶电泳图，以JSON格式返回：
    {
        "band_count": 条带数量,
        "bands": [{"position": "位置描述", "intensity": "强/中/弱", "estimated_size_bp": 大小}],
        "quality": "图像质量评价",
        "notes": "其他观察"
    }"""

    results = batch_analyze("./gel_images/", prompt)

    # 保存结果
    with open("analysis_results.json", "w", encoding="utf-8") as f:
        json.dump(results, f, ensure_ascii=False, indent=2)     # 中文不转义，缩进2格

    print(f"分析完成，共处理 {len(results)} 张图片")

"""
不安装 ollama SDK，直接用 requests 调用 Ollama REST API
适合：不想装额外依赖，或在脚本中快速集成
"""

import requests        # HTTP 请求库（Python 自带）
import base64

def analyze_via_api(image_path: str, prompt: str) -> str:
    """用 Ollama REST API 分析图片"""

    # 读取图片并转 base64
    with open(image_path, "rb") as f:
        b64 = base64.b64encode(f.read()).decode()

    # 构建请求（Ollama 默认监听 11434 端口）
    response = requests.post(
        "http://localhost:11434/api/generate",   # Ollama 的 generate 端点
        json={
            "model": "llava",                    # 模型名
            "prompt": prompt,                    # 问题
            "images": [b64],                     # base64 图片列表
            "stream": False                      # 关闭流式输出，一次性返回
        }
    )

    return response.json()["response"]           # 提取回答文本

# 使用
result = analyze_via_api("microscope.png", "描述这张荧光显微镜图中的细胞形态和荧光分布。")
print(result)

# 凝胶电泳图分析的专用提示词
GEL_PROMPT = """你是一个分子生物学实验分析助手。请分析这张凝胶电泳图：
1. 有多少个泳道（lane）？
2. 每个泳道有几条条带（band）？
3. 参照 Marker 泳道，估算各条带的分子量（bp 或 kDa）
4. 条带是否清晰？有无拖尾（smear）或降解迹象？
5. 如果是 PCR 产物验证，目标条带是否出现在预期位置？

请用中文回答，结论要明确。"""

result = analyze_image("pcr_gel.png", GEL_PROMPT)

# 注意：VLM 不能替代病理医生诊断，仅用于辅助学习和初步筛查
PATHOLOGY_PROMPT = """分析这张 H&E 染色的病理切片图像：
1. 描述组织结构（腺体、间质、细胞排列）
2. 细胞形态是否正常（大小、核质比、异型性）
3. 是否有炎症浸润、坏死或纤维化
4. 整体印象（正常/异常/需要进一步检查）

注意：这仅用于教学讨论，不作为临床诊断依据。"""

FLUORESCENCE_PROMPT = """分析这张荧光显微镜图像：
1. 使用了哪些荧光通道（DAPI/蓝色、GFP/绿色、RFP/红色等）？
2. 各通道的信号分布（核内、胞质、膜上）？
3. 共定位（colocalization）情况？
4. 荧光强度是否均匀？有无过曝或背景过高？"""

# 将手写实验记录转为电子版——VLM 的 OCR 能力在此非常实用
LAB_NOTEBOOK_PROMPT = """这是一页手写的实验记录本照片。请：
1. 识别所有手写文字（包括中英文混合内容）
2. 识别表格数据和数值
3. 整理成结构化的电子版格式
4. 标注无法识别的部分

输出为 Markdown 格式。"""

传统 RAG 流程：
  文档 → 分块 → 文本 Embedding → 向量库 → 检索 → LLM 回答

多模态 RAG 流程：
  文档 ──→ 文本分块 ──→ 文本 Embedding ──┐
                                           ├──→ 统一向量库 → 检索 → VLM 回答
  图片 ──→ 图像描述 ──→ 图像 Embedding ──┘
       └──→ 原图存储（检索时一起送给 VLM）

"""
简化版多模态 RAG：图文混合知识库
核心思路：用 VLM 为图片生成文字描述 → 文字描述入向量库 → 检索时同时返回图和文
"""

import ollama
import chromadb           # 向量数据库（参见知识库2第50篇）
import base64
from pathlib import Path

# ====== Step 1: 为图片生成文字描述 ======
def describe_image(image_path: str) -> str:
    """用 VLM 为图片生成详细文字描述，用于后续向量检索"""
    b64 = base64.b64encode(Path(image_path).read_bytes()).decode()

    response = ollama.chat(
        model="llava",
        messages=[{
            "role": "user",
            "content": "请详细描述这张图片的内容，包括所有可见的文字、数据和视觉元素。",
            "images": [b64]
        }]
    )
    return response["message"]["content"]

# ====== Step 2: 存入向量库 ======
def build_multimodal_index(image_dir: str, text_docs: list):
    """构建图文混合索引"""
    client = chromadb.Client()                   # 创建内存数据库
    collection = client.create_collection(
        name="multimodal_kb",                    # 集合名称
        metadata={"hnsw:space": "cosine"}        # 使用余弦相似度
    )

    documents = []       # 文本内容
    metadatas = []       # 元数据（记录来源类型）
    ids = []             # 唯一 ID

    # 处理图片：生成描述后存入
    for i, img_path in enumerate(Path(image_dir).glob("*.png")):
        desc = describe_image(str(img_path))     # VLM 生成描述
        documents.append(desc)
        metadatas.append({
            "type": "image",                     # 标记为图片来源
            "source": str(img_path)              # 原图路径（检索时用）
        })
        ids.append(f"img_{i}")

    # 处理文本文档
    for i, doc in enumerate(text_docs):
        documents.append(doc)
        metadatas.append({"type": "text", "source": f"doc_{i}"})
        ids.append(f"text_{i}")

    # 批量写入（ChromaDB 会自动做 Embedding）
    collection.add(documents=documents, metadatas=metadatas, ids=ids)

    return collection

# ====== Step 3: 检索并用 VLM 回答 ======
def query_multimodal(collection, question: str, n_results: int = 3) -> str:
    """检索图文混合知识库并回答"""
    # 向量检索
    results = collection.query(query_texts=[question], n_results=n_results)

    # 构建上下文
    context_parts = []
    images_b64 = []

    for doc, meta in zip(results["documents"][0], results["metadatas"][0]):
        if meta["type"] == "image":
            context_parts.append(f"[图片描述]: {doc}")
            # 读取原图用于 VLM 分析
            img_b64 = base64.b64encode(Path(meta["source"]).read_bytes()).decode()
            images_b64.append(img_b64)
        else:
            context_parts.append(f"[文档]: {doc}")

    # 用 VLM 综合回答（图+文一起送）
    messages = [{
        "role": "user",
        "content": f"基于以下参考资料回答问题：\n\n{''.join(context_parts)}\n\n问题：{question}",
        "images": images_b64 if images_b64 else None
    }]

    response = ollama.chat(model="llava", messages=messages)
    return response["message"]["content"]

# SDK 方式
import ollama
resp = ollama.chat(model="llava", messages=[{
    "role": "user", "content": "描述图片", "images": [b64_string]
}])
print(resp["message"]["content"])

# REST API 方式
import requests
resp = requests.post("http://localhost:11434/api/generate", json={
    "model": "llava", "prompt": "描述图片", 
    "images": [b64_string], "stream": False
})
print(resp.json()["response"])