微生物数据库（Microbial Databases）¶

BioProject (PRJNA...)        # 项目层级，一个课题
  └── BioSample (SAMN...)    # 样本层级，一个生物样本
       └── Experiment (SRX...)  # 实验层级，一次建库
            └── Run (SRR...)    # 运行层级，一次上机（你要下载的）

# ============================================================
# SRA数据下载流程
# 工具：sra-tools（通过conda安装）
# ============================================================

# 安装sra-tools
conda install -c bioconda sra-tools  # 安装SRA工具包

# ---------- 方法一：prefetch + fasterq-dump（推荐） ----------

# 第一步：prefetch 预下载SRA文件到本地缓存
prefetch SRR12345678                  # 下载单个Run（会缓存到~/ncbi/sra/）
prefetch --max-size 50G SRR12345678   # 设置最大文件大小为50G
prefetch --option-file srr_list.txt   # 从文件批量下载（一行一个SRR号）

# 第二步：fasterq-dump 将SRA转换为FASTQ
fasterq-dump SRR12345678 \            # 将SRA转为FASTQ
  --split-3 \                         # 双端分成两个文件 + 未配对的单独文件
  --threads 8 \                       # 使用8个线程加速
  --outdir ./fastq/                   # 输出目录

# 第三步：压缩FASTQ节省空间
gzip ./fastq/SRR12345678_1.fastq      # 压缩正向reads
gzip ./fastq/SRR12345678_2.fastq      # 压缩反向reads

# ---------- 方法二：批量下载脚本 ----------

#!/bin/bash
# 批量下载SRA数据
# 用法: bash download_sra.sh srr_list.txt

set -euo pipefail                     # 严格模式：出错即停

SRR_LIST=$1                           # 第一个参数：SRR编号列表文件
OUTDIR="./fastq"                      # 输出目录
THREADS=8                             # 线程数

mkdir -p ${OUTDIR}                    # 创建输出目录

while read SRR; do                    # 逐行读取SRR编号
    echo "[$(date)] 开始下载: ${SRR}"

    # 检查是否已下载（断点续跑）
    if [[ -f ${OUTDIR}/${SRR}_1.fastq.gz ]]; then
        echo "  ${SRR} 已存在，跳过"
        continue                      # 跳过已下载的
    fi

    prefetch ${SRR} --max-size 50G    # 下载SRA文件
    fasterq-dump ${SRR} \
        --split-3 \
        --threads ${THREADS} \
        --outdir ${OUTDIR}            # 转换为FASTQ

    gzip ${OUTDIR}/${SRR}_1.fastq     # 压缩
    gzip ${OUTDIR}/${SRR}_2.fastq

    echo "[$(date)] 完成: ${SRR}"
done < ${SRR_LIST}                    # 从列表文件读取

echo "全部下载完成！"

# ============================================================
# GEO数据下载
# ============================================================

# ---------- 方法一：直接从GEO FTP下载处理好的数据 ----------

# 下载GSE系列的补充文件（通常包含表达矩阵）
wget -r -np -nd \
  "https://ftp.ncbi.nlm.nih.gov/geo/series/GSE123nnn/GSE123456/suppl/" \
  -P ./geo_data/                      # 下载到指定目录
# -r: 递归下载
# -np: 不上溯父目录
# -nd: 不创建子目录

# ---------- 方法二：使用GEOquery（R语言） ----------
# 如果面试问到，可以提一下R语言的方法：
# library(GEOquery)
# gse <- getGEO("GSE123456")

# ---------- 方法三：从SRA下载关联的原始数据 ----------

# 步骤1：在GEO页面找到关联的SRA BioProject号
# 步骤2：到SRA Run Selector选择需要的样本
# 步骤3：下载SRR_Acc_List.txt
# 步骤4：用前面的批量下载脚本处理

# ============================================================
# NCBI Datasets —— 新一代命令行工具（推荐）
# 替代传统的Entrez Direct (esearch/efetch)
# ============================================================

# 安装
conda install -c conda-forge ncbi-datasets-cli  # 安装NCBI datasets CLI

# ---------- 下载参考基因组 ----------

# 按物种名下载基因组
datasets download genome taxon "Escherichia coli" \
  --reference \                        # 只下载参考基因组
  --include genome,gff3,protein \      # 包含基因组序列、注释、蛋白质
  --filename ecoli_genome.zip          # 输出文件名

unzip ecoli_genome.zip -d ecoli_data/  # 解压

# 按Accession号下载
datasets download genome accession GCF_000005845.2 \
  --include genome,gff3               # 下载大肠杆菌K-12参考基因组

# ---------- 查看数据集信息 ----------

datasets summary genome taxon "Staphylococcus aureus" \
  --reference \                        # 查看金黄色葡萄球菌参考基因组摘要信息
  --as-json-lines | \                  # JSON格式输出
  dataformat tsv genome \              # 转为表格
  --fields organism-name,accession,assminfo-level  # 选择显示的字段

# ---------- 下载基因信息 ----------

datasets download gene gene-id 947  \  # 按Gene ID下载
  --include gene,protein               # 包含基因和蛋白质序列

# ============================================================
# SILVA数据库下载与使用
# ============================================================

# ---------- 直接下载SILVA ----------

# 下载SILVA 138.1 SSU NR99（16S分析最常用）
wget https://www.arb-silva.de/fileadmin/silva_databases/release_138.1/Exports/SILVA_138.1_SSURef_NR99_tax_silva.fasta.gz

# 解压
gunzip SILVA_138.1_SSURef_NR99_tax_silva.fasta.gz

# ---------- 为QIIME2准备SILVA数据库 ----------

# 方法一：使用QIIME2官方预构建的数据库（推荐）
# 从 https://docs.qiime2.org/2024.5/data-resources/ 下载
wget https://data.qiime2.org/2024.5/common/silva-138-99-seqs.qza      # 序列
wget https://data.qiime2.org/2024.5/common/silva-138-99-tax.qza       # 分类

# 方法二：提取特定引物区域（如V3-V4: 341F/806R）
qiime feature-classifier extract-reads \
  --i-sequences silva-138-99-seqs.qza \       # 输入：SILVA全长序列
  --p-f-primer CCTACGGGNGGCWGCAG \            # 正向引物 341F
  --p-r-primer GACTACHVGGGTATCTAATCC \        # 反向引物 806R
  --p-min-length 200 \                        # 最短片段长度
  --p-max-length 500 \                        # 最长片段长度
  --o-reads silva-138-99-v34-seqs.qza         # 输出：V3-V4区域序列

# 训练分类器（用于后续的物种注释）
qiime feature-classifier fit-classifier-naive-bayes \
  --i-reference-reads silva-138-99-v34-seqs.qza \   # 参考序列
  --i-reference-taxonomy silva-138-99-tax.qza \      # 参考分类
  --o-classifier silva-138-99-v34-classifier.qza     # 输出：训练好的分类器

# ============================================================
# GTDB-Tk：基于GTDB的基因组分类注释
# 用于MAGs（宏基因组组装基因组）的物种注释
# ============================================================

# 安装GTDB-Tk
conda create -n gtdbtk -c conda-forge -c bioconda gtdbtk  # 创建独立环境
conda activate gtdbtk                                       # 激活环境

# 下载GTDB参考数据（约85GB，很大！）
download-db.sh                         # GTDB-Tk自带的下载脚本

# 或手动下载：
wget https://data.gtdb.ecogenomic.org/releases/latest/auxillary_files/gtdbtk_data.tar.gz
tar xzf gtdbtk_data.tar.gz            # 解压
export GTDBTK_DATA_PATH=/path/to/gtdbtk_data  # 设置数据库路径

# ---------- 运行GTDB-Tk ----------

# 对MAGs进行分类注释
gtdbtk classify_wf \
  --genome_dir ./mags/ \               # 输入：MAG基因组文件目录（.fasta）
  --out_dir ./gtdbtk_output/ \         # 输出目录
  --cpus 16 \                          # CPU核数
  --extension fasta                    # 基因组文件后缀名

# 输出文件说明：
# gtdbtk.bac120.summary.tsv  —— 细菌分类结果
# gtdbtk.ar53.summary.tsv    —— 古菌分类结果
# 关键列：classification（完整分类路径）、fastani_reference（最近参考基因组）

# 查看分类结果
head -n 5 gtdbtk_output/gtdbtk.bac120.summary.tsv | cut -f1,2
# 输出示例：
# genome_id    classification
# bin.1        d__Bacteria;p__Firmicutes_A;c__Clostridia;o__...

         INSDC (国际核酸序列数据库合作组)
         ┌──────────┼──────────┐
        NCBI       EBI        DDBJ
       (美国)     (欧洲)     (日本)
    ┌────┴────┐    │          │
  GenBank   SRA   ENA       DDBJ