云计算与生信（AWS / 阿里云）¶

# ===== 常见EC2实例类型（生信用） =====

# t3.medium   —  2核 4G   — $0.0416/小时 — 轻量测试
# m5.xlarge   —  4核 16G  — $0.192/小时  — 日常分析
# m5.4xlarge  — 16核 64G  — $0.768/小时  — 中等规模
# r5.8xlarge  — 32核 256G — $2.016/小时  — 内存密集型(组装)
# c5.9xlarge  — 36核 72G  — $1.53/小时   — CPU密集型(比对)
# p3.2xlarge  —  8核 61G+V100 GPU — $3.06/小时 — 深度学习

# 实例命名规则：
# m = 通用型（memory平衡）
# c = 计算优化型（CPU强）
# r = 内存优化型（RAM大）
# p/g = GPU实例
# 数字 = 代（5=第5代，越新越便宜）
# xlarge/2xlarge = 大小规格

# ===== S3 基本操作（用AWS CLI） =====

# 安装AWS CLI
# pip install awscli
# aws configure  # 输入Access Key和Secret Key

# 创建存储桶
aws s3 mb s3://my-bioinfo-data
# mb = make bucket，创建一个叫my-bioinfo-data的桶

# 上传文件到S3
aws s3 cp sample1.fastq.gz s3://my-bioinfo-data/raw/
# cp = copy，把本地文件上传到S3的raw/目录

# 上传整个目录
aws s3 sync ./results/ s3://my-bioinfo-data/results/
# sync = 同步，只上传有变化的文件

# 下载文件
aws s3 cp s3://my-bioinfo-data/results/output.txt ./
# 从S3下载到本地

# 查看桶里的文件
aws s3 ls s3://my-bioinfo-data/raw/
# ls = list，列出文件

# S3存储费用（美东区域，2025年参考价）：
# 标准存储：~$0.023/GB/月
# 低频访问(IA)：~$0.0125/GB/月
# Glacier(归档)：~$0.004/GB/月
# 100TB原始测序数据一个月标准存储≈$2300

# AWS Batch的工作流程：
# 1. 你把分析脚本打包成Docker镜像
# 2. 定义"作业定义"(Job Definition)：要跑什么命令、需要多少资源
# 3. 提交到"作业队列"(Job Queue)
# 4. AWS Batch自动分配"计算环境"(Compute Environment)的EC2实例
# 5. 跑完自动回收资源

# 示例：定义一个比对作业
# job_definition.json:
# {
#   "jobDefinitionName": "bwa-alignment",
#   "type": "container",
#   "containerProperties": {
#     "image": "biocontainers/bwa:v0.7.17",  # Docker镜像
#     "vcpus": 8,                              # 需要8个CPU
#     "memory": 32000,                         # 需要32GB内存
#     "command": ["bwa", "mem", "-t", "8",
#                 "ref.fa", "sample.fastq.gz"]
#   }
# }

# ===== 阿里云OSS基本操作（用ossutil） =====

# 安装ossutil
# 从 https://help.aliyun.com/document_detail/120075.html 下载

# 配置
ossutil config -e oss-cn-beijing.aliyuncs.com -i <AccessKeyID> -k <AccessKeySecret>

# 创建Bucket
ossutil mb oss://my-bioinfo-data

# 上传文件
ossutil cp sample1.fastq.gz oss://my-bioinfo-data/raw/

# 上传目录
ossutil cp -r ./results/ oss://my-bioinfo-data/results/

# 下载
ossutil cp oss://my-bioinfo-data/results/output.txt ./

# OSS费用（华北2，2025年参考价）：
# 标准存储：约¥0.12/GB/月
# 低频访问：约¥0.08/GB/月
# 归档存储：约¥0.033/GB/月

# ===== 阿里云ECS实例类型（生信用） =====

# ecs.t6-c1m2.xlarge — 4核 8G    — 轻量测试
# ecs.g7.2xlarge     — 8核 32G   — 日常分析
# ecs.g7.8xlarge     — 32核 128G — 中等规模
# ecs.r7.8xlarge     — 32核 256G — 内存密集型(组装)
# ecs.c7.8xlarge     — 32核 64G  — CPU密集型(比对)
# ecs.gn6v-c8g1.2xlarge — 8核+V100 — 深度学习

# 命名规则：
# g = 通用型
# c = 计算优化型
# r = 内存优化型
# gn = GPU计算型
# 数字7 = 第7代

# ===== 第1步：启动EC2实例 =====

# 方法1：AWS控制台（网页操作）
# 1. 登录 https://console.aws.amazon.com
# 2. 搜索 EC2 → Launch Instance
# 3. 选择 AMI：Ubuntu 22.04 LTS
# 4. 实例类型：m5.4xlarge（16核64G，适合宏基因组分析）
# 5. 密钥对：创建或选择已有密钥（.pem文件）
# 6. 安全组：开放SSH(22端口)
# 7. 存储：100GB gp3 SSD
# 8. 点击 Launch

# 方法2：AWS CLI（命令行）
aws ec2 run-instances \
  --image-id ami-0c55b159cbfafe1f0 \
  --instance-type m5.4xlarge \
  --key-name my-key \
  --security-group-ids sg-xxxxxx \
  --block-device-mappings '[{"DeviceName":"/dev/sda1","Ebs":{"VolumeSize":100,"VolumeType":"gp3"}}]'

# ===== 第2步：SSH连接 =====
ssh -i my-key.pem ubuntu@<EC2的公网IP>
# -i 指定密钥文件
# ubuntu@ 是Ubuntu AMI的默认用户名

# ===== 第3步：安装生信环境 =====
# 安装Miniconda
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
bash Miniconda3-latest-Linux-x86_64.sh -b  # -b = 静默安装
source ~/.bashrc

# 创建生信环境
conda create -n bioinfo python=3.10 -y  # 创建环境
conda activate bioinfo                    # 激活环境

# 安装生信工具
conda install -c bioconda -c conda-forge \
  fastp=1.3.3 \
  bwa=0.7.17 \
  samtools=1.19 \
  megahit=1.2.9 \
  metaphlan=4.1.0 -y
# -c bioconda = 从bioconda频道安装
# -y = 自动确认

# ===== 第4步：从S3下载数据 =====
# 配置AWS CLI（在EC2上如果用IAM Role则无需配置）
aws configure  # 输入你的Access Key

# 下载原始FASTQ文件
aws s3 sync s3://my-bioinfo-data/raw/ ./raw_data/
# sync会自动跳过已下载的文件

# ===== 第5步：运行分析 =====
# 例子：宏基因组质控+比对
for sample in raw_data/*_R1.fastq.gz; do
    base=$(basename $sample _R1.fastq.gz)  # 提取样本名

    # 质控
    fastp \
      -i raw_data/${base}_R1.fastq.gz \
      -I raw_data/${base}_R2.fastq.gz \
      -o clean/${base}_R1.fastq.gz \
      -O clean/${base}_R2.fastq.gz \
      -h reports/${base}_fastp.html \
      -w 8  # 8个线程

    echo "完成样本: $base"
done

# ===== 第6步：上传结果到S3 =====
aws s3 sync ./results/ s3://my-bioinfo-data/results/
aws s3 sync ./reports/ s3://my-bioinfo-data/reports/

# ===== 第7步：停止/终止实例（省钱！） =====
# 停止（保留数据盘，停止后不收EC2费用，但EBS仍收费）
aws ec2 stop-instances --instance-ids i-xxxxxx

# 终止（彻底删除，不再产生任何费用）
aws ec2 terminate-instances --instance-ids i-xxxxxx

# ===== AWS Spot实例 =====

# 普通（按需）价格 vs Spot价格对比
# m5.4xlarge: 按需$0.768/h vs Spot约$0.23/h（省70%）
# r5.8xlarge: 按需$2.016/h vs Spot约$0.60/h（省70%）

# 用AWS CLI启动Spot实例
aws ec2 run-instances \
  --instance-type m5.4xlarge \
  --image-id ami-0c55b159cbfafe1f0 \
  --instance-market-options '{"MarketType":"spot","SpotOptions":{"SpotInstanceType":"one-time"}}' \
  --key-name my-key
# SpotInstanceType=one-time 表示一次性请求

# 阿里云对应的叫"抢占式实例"
# 原理相同：打折用闲置资源，可能被回收

# ===== 防止忘记关机的自动关机脚本 =====

# 方法1：crontab定时关机（每天凌晨2点自动停止）
echo "0 2 * * * /usr/sbin/shutdown -h now" | crontab -
# 0 2 * * * = 每天凌晨2点
# shutdown -h now = 立即关机

# 方法2：空闲检测关机（CPU使用率低于5%超过30分钟就关机）
cat << 'EOF' > /home/ubuntu/auto_shutdown.sh
#!/bin/bash
# 检查CPU使用率，空闲超过30分钟自动关机
THRESHOLD=5    # CPU使用率阈值(%)
INTERVAL=300   # 检查间隔(秒)
COUNT=0        # 连续低于阈值的次数
MAX_COUNT=6    # 连续6次(30分钟)就关机

while true; do
    CPU=$(top -bn1 | grep "Cpu(s)" | awk '{print 100-$8}')
    # top获取CPU使用率，100减去空闲率=使用率
    if (( $(echo "$CPU < $THRESHOLD" | bc -l) )); then
        COUNT=$((COUNT + 1))
        echo "CPU低于${THRESHOLD}%，连续${COUNT}次"
        if [ $COUNT -ge $MAX_COUNT ]; then
            echo "空闲超过30分钟，正在关机..."
            sudo shutdown -h now
        fi
    else
        COUNT=0  # 重置计数
    fi
    sleep $INTERVAL
done
EOF
chmod +x /home/ubuntu/auto_shutdown.sh
nohup /home/ubuntu/auto_shutdown.sh &

数据生命周期 → 选对存储层级省钱

正在分析的数据 → 标准存储（S3 Standard / OSS标准）
                 最贵但读写快

分析完30天内可能还要看的 → 低频访问（S3 IA / OSS低频）
                            便宜40%，读取要收少量费用

分析完不太会再看的 → 归档（S3 Glacier / OSS归档）
                     便宜80%，取回要等几小时

永远不会看但法规要求保留的 → 深度归档（Glacier Deep Archive）
                              最便宜，取回要等12小时

# 自动化：设置S3生命周期规则
# 30天后自动转低频 → 90天后自动转归档
aws s3api put-bucket-lifecycle-configuration \
  --bucket my-bioinfo-data \
  --lifecycle-configuration '{
    "Rules": [{
      "ID": "auto-archive",
      "Status": "Enabled",
      "Transitions": [
        {"Days": 30, "StorageClass": "STANDARD_IA"},
        {"Days": 90, "StorageClass": "GLACIER"}
      ],
      "Filter": {"Prefix": "raw/"}
    }]
  }'

// ===== nextflow.config — AWS Batch配置 =====

profiles {
    awsbatch {
        process {
            executor = 'awsbatch'       // 使用AWS Batch作为执行器
            queue = 'my-batch-queue'     // AWS Batch的作业队列名
            container = 'nfcore/rnaseq:3.14.0' // 默认Docker镜像
        }

        aws {
            region = 'us-east-1'        // AWS区域
            batch {
                cliPath = '/home/ec2-user/miniconda/bin/aws'
                // AWS CLI的路径
            }
        }

        // 工作目录必须是S3路径
        workDir = 's3://my-nf-work/work/'

        // 不同进程可以用不同配置
        process {
            withName: 'FASTQC' {
                cpus = 2                // FastQC只需要2核
                memory = '4.GB'
            }
            withName: 'STAR_ALIGN' {
                cpus = 16               // STAR比对需要16核
                memory = '64.GB'
                container = 'nfcore/star:2.7.10a'
            }
        }
    }
}

# ===== 运行nf-core流程在AWS Batch上 =====

# 先安装Nextflow
curl -s https://get.nextflow.io | bash

# 运行nf-core/rnaseq流程
nextflow run nf-core/rnaseq \
  -profile awsbatch \
  --input samplesheet.csv \
  --outdir s3://my-bioinfo-data/rnaseq-results/ \
  --genome GRCh38 \
  -resume
# -profile awsbatch = 使用上面定义的AWS Batch配置
# --outdir = 输出到S3
# -resume = 如果中断了可以从断点恢复

# Nextflow + AWS Batch的优势：
# 1. 每个步骤自动开独立的EC2实例
# 2. 步骤完成后自动关机（不浪费钱）
# 3. 支持Spot实例（省钱）
# 4. -resume可以从失败点恢复（Spot被回收也不怕）
# 5. 所有中间文件自动存S3

# EC2操作
aws ec2 describe-instances       # 查看所有实例
aws ec2 start-instances --instance-ids i-xxx  # 启动
aws ec2 stop-instances --instance-ids i-xxx   # 停止
aws ec2 terminate-instances --instance-ids i-xxx  # 终止

# S3操作
aws s3 ls                        # 列出所有桶
aws s3 ls s3://bucket/path/      # 列出桶内文件
aws s3 cp local s3://bucket/     # 上传
aws s3 cp s3://bucket/file ./    # 下载
aws s3 sync ./dir s3://bucket/dir/ # 同步目录
aws s3 rm s3://bucket/file       # 删除

# 查看费用
aws ce get-cost-and-usage \
  --time-period Start=2025-01-01,End=2025-01-31 \
  --granularity MONTHLY \
  --metrics "BlendedCost"