Firecrawl AI 网页抓取¶

# 第一步：注册账号获取 API Key
# 访问 https://www.firecrawl.dev 注册

# 第二步：安装 Python SDK
pip install firecrawl-py  # 安装 Python 客户端

from firecrawl import FirecrawlApp  # 导入 Firecrawl

# 初始化客户端
app = FirecrawlApp(api_key="fc-your-api-key")  # 使用你的 API Key

# 克隆仓库
git clone https://github.com/firecrawl/firecrawl.git  # 下载源码
cd firecrawl  # 进入目录

# 复制环境变量文件
cp .env.example .env  # 复制配置模板

# 编辑 .env 文件（设置必要的环境变量）
# FIRECRAWL_API_KEY=fc-your-key
# REDIS_URL=redis://redis:6379

# 使用 Docker Compose 启动
docker compose up -d  # 后台启动所有服务

# 服务启动后，API 地址为 http://localhost:3002

npm install @mendable/firecrawl-js  # 安装 Node.js SDK

from firecrawl import FirecrawlApp  # 导入库

app = FirecrawlApp(api_key="fc-xxx")  # 初始化

# 抓取单个页面，转成 Markdown
result = app.scrape_url(
    "https://docs.python.org/3/tutorial/",  # 目标 URL
    params={
        "formats": ["markdown"],             # 输出格式：Markdown
    }
)

print(result["markdown"])  # 打印 Markdown 内容
# 输出的 Markdown 干净整洁，去掉了导航栏、广告等杂质

# 从根 URL 开始，递归爬取整个网站的所有页面
crawl_result = app.crawl_url(
    "https://docs.python.org/3/",     # 起始 URL
    params={
        "limit": 50,                   # 最多爬取 50 个页面
        "scrapeOptions": {
            "formats": ["markdown"]    # 每页转成 Markdown
        }
    },
    poll_interval=5  # 每 5 秒检查一次爬取进度
)

# 遍历所有页面
for page in crawl_result["data"]:
    print(f"URL: {page['metadata']['url']}")        # 页面 URL
    print(f"标题: {page['metadata']['title']}")      # 页面标题
    print(f"内容长度: {len(page['markdown'])} 字符")  # 内容长度
    print("---")

# 快速获取网站的所有 URL（不抓取内容）
map_result = app.map_url(
    "https://docs.python.org/3/"  # 目标网站
)

# 打印发现的所有 URL
for url in map_result["links"][:10]:  # 显示前 10 个
    print(url)

# 搜索网页并获取完整内容（一步到位）
search_result = app.search(
    "宏基因组分析流程 bioinformatics pipeline",  # 搜索关键词
    params={
        "limit": 5  # 返回前 5 条结果
    }
)

for result in search_result["data"]:
    print(f"标题: {result['metadata']['title']}")  # 标题
    print(f"内容: {result['markdown'][:200]}...")   # 内容前 200 字
    print("---")

# 用 JSON Schema 定义你想提取的数据结构
schema = {
    "type": "object",
    "properties": {
        "title": {"type": "string"},          # 文章标题
        "author": {"type": "string"},         # 作者
        "date": {"type": "string"},           # 发布日期
        "summary": {"type": "string"},        # 摘要
        "tags": {
            "type": "array",                  # 标签列表
            "items": {"type": "string"}
        }
    }
}

# 抓取页面并按 Schema 提取结构化数据
result = app.scrape_url(
    "https://example.com/blog/article",
    params={
        "formats": ["extract"],        # 使用提取模式
        "extract": {
            "schema": schema           # 传入 JSON Schema
        }
    }
)

print(result["extract"])  # 输出结构化 JSON 数据
# {"title": "...", "author": "...", "date": "...", "summary": "...", "tags": [...]}

# 批量处理多个 URL（异步执行，适合大规模抓取）
urls = [
    "https://example.com/page1",
    "https://example.com/page2",
    "https://example.com/page3",
]

batch_result = app.batch_scrape_urls(
    urls,                              # URL 列表
    params={"formats": ["markdown"]},  # 输出格式
    poll_interval=5                    # 轮询间隔
)

for page in batch_result["data"]:
    print(f"URL: {page['metadata']['url']}")
    print(f"内容: {page['markdown'][:100]}...")

# 对于需要点击、滚动等交互的页面
result = app.scrape_url(
    "https://example.com/dynamic-page",
    params={
        "formats": ["markdown"],
        "actions": [
            {"type": "click", "selector": ".load-more"},  # 点击"加载更多"按钮
            {"type": "wait", "milliseconds": 2000},        # 等待 2 秒
            {"type": "scroll", "direction": "down"},       # 向下滚动
            {"type": "wait", "milliseconds": 1000},        # 再等 1 秒
        ]
    }
)

// 在 Claude Desktop 或 Cursor 的 MCP 配置中添加
{
  "mcpServers": {
    "firecrawl": {
      "command": "npx",
      "args": ["-y", "firecrawl-mcp"],
      "env": {
        "FIRECRAWL_API_KEY": "fc-your-api-key"
      }
    }
  }
}
// 配置后，AI 助手可以直接抓取网页获取信息

# === Firecrawl Python SDK 速查 ===
from firecrawl import FirecrawlApp

app = FirecrawlApp(api_key="fc-xxx")

# 抓取单页 → Markdown
app.scrape_url("https://...", params={"formats": ["markdown"]})

# 抓取单页 → HTML
app.scrape_url("https://...", params={"formats": ["html"]})

# 抓取单页 → 截图
app.scrape_url("https://...", params={"formats": ["screenshot"]})

# 结构化提取
app.scrape_url("https://...", params={"formats": ["extract"], "extract": {"schema": {...}}})

# 爬取整站
app.crawl_url("https://...", params={"limit": 100})

# 站点地图
app.map_url("https://...")

# 搜索 + 提取
app.search("关键词", params={"limit": 5})

# 批量抓取
app.batch_scrape_urls(["url1", "url2"], params={"formats": ["markdown"]})