Prodigy 标注工具完全指南¶

# Prodigy 是商业软件，需要购买 License
# 购买后获得安装命令和 license key

# pip 安装（需要 license）
pip install prodigy -f https://XXXX-XXXX@download.prodi.gy

# 验证安装
prodigy --version
prodigy stats

# 默认数据存储在 ~/.prodigy/ 目录
# prodigy.json 是配置文件

// ~/.prodigy/prodigy.json
{
  "db": "sqlite",
  "db_settings": {
    "sqlite": {
      "name": "prodigy.db",
      "path": "/path/to/data"
    }
  },
  "host": "localhost",
  "port": 8080,
  "api_keys": {},
  "show_hierarchical_labels": true,
  "custom_theme": {
    "cardMaxWidth": 800
  }
}

# 准备数据（texts.jsonl，每行一个JSON）
echo '{"text": "这个产品非常好用！"}' > texts.jsonl
echo '{"text": "质量太差了，退货"}' >> texts.jsonl
echo '{"text": "还行吧，一般般"}' >> texts.jsonl

# 启动标注（使用空白模型）
prodigy textcat.manual sentiment texts.jsonl --label 正面,负面,中性

# 打开 http://localhost:8080
# 标注完成后按 Ctrl+C 保存

# 查看标注统计
prodigy stats sentiment

# 导出标注数据
prodigy db-out sentiment > annotations.jsonl

# 使用中文 spaCy 模型预标注
prodigy ner.correct my_ner zh_core_web_sm texts.jsonl --label 人名,地点,组织

# 或纯手动标注
prodigy ner.manual my_ner blank:zh texts.jsonl --label 人名,地点,组织,时间

# 打开 http://localhost:8080
# 选择文本 → 选择标签 → 接受/拒绝

# 使用 Transformer 模型进行主动学习
prodigy train-curve --ner my_ner_data --lang zh --gpu-id 0

# 使用 spaCy 模型做 teach（主动学习循环）
prodigy ner.teach my_ner zh_core_web_sm texts.jsonl --label 人名,地点,组织

# 模型会自动选择最不确定的样本给你标注
# 你只需要接受（绿色勾）或拒绝（红色叉）

# 标注完成后，直接训练 spaCy 模型
prodigy train ./output --ner my_ner_data --lang zh

# 带评估的训练
prodigy train ./output --ner my_ner_data --eval-split 0.2 --lang zh

# 使用 Transformer
prodigy train ./output --ner my_ner_data --lang zh --gpu-id 0 \
    --base-model zh_core_web_trf

# my_recipe.py
import prodigy
from prodigy.components.loaders import JSONL
from prodigy.util import split_string
import spacy

@prodigy.recipe(
    "custom.classify",
    dataset=("数据集名称", "positional", None, str),
    source=("数据来源文件", "positional", None, str),
    label=("标签列表", "option", "l", split_string),
)
def custom_classify(dataset, source, label=None):
    """自定义分类标注工作流"""
    nlp = spacy.blank("zh")

    stream = JSONL(source)

    # 预处理：添加额外信息
    def add_metadata(stream):
        for eg in stream:
            eg["meta"] = {
                "length": len(eg["text"]),
                "source": "custom",
            }
            # 自动添加高亮
            doc = nlp(eg["text"])
            eg["tokens"] = [{"text": t.text, "start": t.idx, "end": t.idx + len(t.text)} for t in doc]
            yield eg

    return {
        "view_id": "classification",    # 标注界面类型
        "dataset": dataset,              # 存储数据集
        "stream": add_metadata(stream),  # 数据流
        "config": {
            "labels": label or ["正面", "负面", "中性"],
            "choice_style": "single",
            "instructions": "请判断以下文本的情感倾向",
        },
    }

prodigy custom.classify my_data texts.jsonl -l 正面,负面,中性 -F my_recipe.py

# 准备图像数据
echo '{"image": "path/to/image1.jpg"}' > images.jsonl
echo '{"image": "path/to/image2.jpg"}' >> images.jsonl

# 图像分类标注
prodigy image.manual my_images images.jsonl --label 猫,狗,鸟

# 图像目标检测（画框）
prodigy image.manual my_objects images.jsonl --label 猫,狗,鸟

# correct_recipe.py
import prodigy
from prodigy.components.loaders import JSONL

@prodigy.recipe("text.correct")
def text_correct(dataset, source):
    """文本纠错标注"""
    stream = JSONL(source)

    def add_options(stream):
        for eg in stream:
            eg["options"] = [
                {"id": "correct", "text": "正确"},
                {"id": "typo", "text": "有错别字"},
                {"id": "grammar", "text": "语法错误"},
                {"id": "incomplete", "text": "内容不完整"},
            ]
            yield eg

    return {
        "view_id": "choice",
        "dataset": dataset,
        "stream": add_options(stream),
        "config": {
            "choice_style": "multiple",  # 可多选
        },
    }

# 1. 先标注实体
prodigy ner.manual my_ents blank:zh texts.jsonl --label 人名,组织,药物,疾病

# 2. 然后标注关系
prodigy rel.manual my_rels blank:zh texts.jsonl \
    --label 就职于,治疗,位于 \
    --span-label 人名,组织,药物,疾病

# 合并多个数据集
prodigy db-merge merged_data dataset1,dataset2,dataset3

# 查看数据集列表
prodigy stats

# 查看特定数据集统计
prodigy stats my_ner_data

# 删除数据集
prodigy drop my_temp_data

# 导出为 spaCy DocBin 格式
prodigy data-to-spacy ./corpus --ner my_ner_data --eval-split 0.2

# 导入标注数据
prodigy db-in my_data annotations.jsonl

# llm_recipe.py
import prodigy
from prodigy.components.loaders import JSONL
import openai

@prodigy.recipe("llm.classify")
def llm_classify(dataset, source, label="正面,负面,中性"):
    """使用 LLM 预标注，人工审核"""
    labels = label.split(",")
    client = openai.OpenAI()

    stream = JSONL(source)

    def add_llm_suggestions(stream):
        for eg in stream:
            # LLM 预测
            response = client.chat.completions.create(
                model="gpt-4o-mini",
                messages=[{
                    "role": "user",
                    "content": f"将以下文本分类为{labels}之一，只回复类别名：\n{eg['text']}"
                }],
                max_tokens=10,
            )
            prediction = response.choices[0].message.content.strip()

            eg["label"] = prediction if prediction in labels else labels[0]
            eg["meta"] = {"llm_prediction": prediction}
            yield eg

    return {
        "view_id": "classification",
        "dataset": dataset,
        "stream": add_llm_suggestions(stream),
        "config": {"labels": labels},
    }

# 指定其他端口
prodigy textcat.manual my_data texts.jsonl --label A,B -p 9090

# 或在配置文件中修改
# ~/.prodigy/prodigy.json: {"port": 9090}

# 安装中文 spaCy 模型
pip install spacy
python -m spacy download zh_core_web_sm

# 使用中文模型
prodigy ner.correct my_ner zh_core_web_sm texts.jsonl --label 人名,地点

# Prodigy 期望 JSONL 格式（每行一个 JSON）
# 确保文件编码是 UTF-8

# 从 CSV 转换
python -c "
import csv, json
with open('data.csv') as f:
    for row in csv.DictReader(f):
        print(json.dumps({'text': row['content']}, ensure_ascii=False))
" > data.jsonl

# 重新启动同一个 dataset 名称即可继续
prodigy ner.manual my_ner blank:zh new_texts.jsonl --label 人名,地点

# 查看已标注数量
prodigy stats my_ner

# 不同标注者使用不同的 session ID
prodigy textcat.manual my_data texts.jsonl --label A,B -S annotator1
prodigy textcat.manual my_data texts.jsonl --label A,B -S annotator2

# 每个 session 的标注独立存储

# 导出为 spaCy v3 训练格式
prodigy data-to-spacy ./corpus --ner my_ner --eval-split 0.2

# 导出原始 JSONL
prodigy db-out my_data > output.jsonl

# 用 Python 转换为其他格式
python -c "
import json
with open('output.jsonl') as f:
    data = [json.loads(line) for line in f]
    # 转换为你需要的格式
"