摘要: Orion 是一款面向生物医学实验室自动化的计算机操控型 AI 智能体，旨在解决实验室计算工作流程中长期依赖人工操作专业软件、图形界面交互及跨平台知识整合的痛点。该系统将大语言模型与终端执行、图形界面控制及自适应多步推理相结合，无需定制化软件接口即可完成端到端的图像分析与解读任务。在基准测试中，Orion 在生物医学数据库与文献检索任务上准确率超过 90%，并成功学会使用 CellProfiler 和 QuPath 分别对细胞及组织图像进行定量分析。在对一个大规模扰动成像数据集进行 100 小时自主探索的实验中，Orion 共生成 52 份研究报告，其中 22 项机制假说经人类科学家评估认为具有合理的生物学依据。研究结果表明，计算机操控型 AI 智能体能够显著拓展实验室自动化的边界，提供一条从实验成像数据到定量分析、研究报告及生物学假说生成的可扩展、可审计路径。

Orion：面向实验室自动化的计算机操作智能体¶

概述¶

Orion 是一个面向生物医学图像分析与解读的计算机操作 AI 智能体（computer-using AI agent），由研究团队开发，旨在自动化实验室工作中的计算层（computational layer），推动实验室自动化的实现。

现代实验室发现过程越来越依赖于将实验数据与分析、解读和后续假设相连接的计算工作流（computational workflows）。然而，这些工作流长期受制于以下瓶颈：

• 劳动密集型专业软件使用：研究人员需手动操作多种专业工具
• 图形用户界面（GUI）的视觉检查：大量分析依赖人工目视判断
• 跨多来源知识整合：文献、数据库与实验数据之间缺乏高效连接

Orion 的出现正是为了打破这些限制。它将大型语言模型（LLMs）与终端执行、GUI 控制和自适应多步推理（adaptive multi-step reasoning）相结合，在共享计算环境中运行，无需为每种软件开发定制集成接口，即可执行端到端的分析与解读工作流。

这项工作意义重大：它提供了一条从实验成像数据到定量分析、研究报告和生物学假设的可扩展、可审计路径，为实验室自动化开辟了新方向。

核心原理与功能¶

系统架构¶

Orion 的核心设计将以下能力融合为一个统一智能体框架：

这一架构运行于共享计算环境（shared computing environment）中，使智能体能够像真实研究人员一样与计算机交互，而非依赖预编程的 API 接口。

核心能力¶

1. 视觉数据检查（Visual Data Inspection）¶

Orion 能够直接查看和理解生物医学图像数据，包括细胞图像和组织图像，将视觉感知与分析推理结合。

2. 标准科学软件操作¶

Orion 学会了操作领域内广泛使用的主流工具，无需对这些软件进行二次开发或接口改造：

• CellProfiler：用于细胞图像（cellular images）的定量分析，是细胞生物学领域的标准工具
• QuPath：用于组织图像（tissue images）的定量分析，广泛应用于数字病理学

3. 网络资源挖掘（Web Resource Mining）¶

Orion 可以自主检索生物医学数据库和文献，在基准测试中于数据库与文献检索任务上达到 超过 90% 的准确率。

4. 端到端工作流执行（End-to-end Workflow Execution）¶

Orion 可自主完成从原始实验图像到最终分析报告的完整流程，无需人工介入每个环节，且不依赖软件定制集成（bespoke software integrations）。

5. 自主发现（Autonomous Discovery）¶

在实验成像数据上，Orion 能够进行自主探索，生成具有生物学依据的机制假设（biologically grounded mechanistic hypotheses）。

基准测试表现¶

大规模自主探索实验¶

研究团队在一个大规模扰动成像数据集（large-scale perturbation imaging dataset）上进行了 100 小时的自主探索实验，结果如下：

• 生成研究报告：共 52 篇
• 人类科学家评审：对所有报告进行了优先级排序
• 有价值的机制假设：22 个被评审认定为合理的机制假设（plausible mechanistic hypotheses）

这一结果表明，Orion 生成的研究报告中约 42%（22/52）包含了人类科学家认可的有价值科学发现，展示了计算机操作 AI 智能体在实验室自动化中的实质性潜力。

设计原则：可扩展性与可审计性¶

Orion 的设计特别强调两个关键属性：

• 可扩展性（Scalability）：无需为每种新软件或新数据库编写定制集成，通过 GUI 控制和通用推理能力即可适应新工具
• 可审计性（Auditability）：从实验数据到假设的每个步骤均可追溯，支持科学审查和重现

关键方法与步骤¶

原文为学术论文，未提供公开安装指南。以下整理 Orion 执行生物医学图像分析任务的关键方法流程，基于论文描述。

步骤一：数据输入与环境准备¶

Orion 运行于共享计算环境中，接收实验成像数据（如大规模扰动成像数据集）作为输入。智能体可访问：

# 运行环境组成（概念性描述，非具体命令）
- 终端（Terminal）：用于执行脚本和命令行操作
- GUI 访问权限：用于操作 CellProfiler、QuPath 等图形界面软件
- 网络访问：用于检索生物医学数据库和文献
- 共享存储：用于读取实验图像数据和写入分析结果

步骤二：软件工具学习与操作¶

Orion 通过自适应多步推理学习操作现有科学软件：

# CellProfiler 使用场景（细胞图像定量分析）
# 1. 智能体通过 GUI 控制启动 CellProfiler
# 2. 加载目标细胞图像数据集
# 3. 配置分析流水线（pipeline）参数
# 4. 执行定量分析，提取细胞特征数据
# 5. 导出分析结果供后续解读

# QuPath 使用场景（组织图像定量分析）
# 1. 智能体通过 GUI 控制启动 QuPath
# 2. 导入组织切片图像
# 3. 执行图像分割和特征提取
# 4. 输出定量测量结果

步骤三：数据库与文献检索¶

# 生物医学信息检索流程
# 1. 根据分析中发现的生物学特征，构建检索查询
# 2. 访问生物医学数据库（如 PubMed 等 [待验证具体数据库名称]）
# 3. 提取相关文献和数据库条目中的知识
# 4. 整合检索结果与实验发现
# 在基准测试中，此步骤达到超过 90% 的准确率

步骤四：多步推理与假设生成¶

# 自适应多步推理流程
# 1. 综合图像分析结果与文献知识
# 2. 识别数据中的生物学模式
# 3. 生成机制假设（mechanistic hypotheses）
# 4. 将发现整理为结构化研究报告
# 5. 输出可供人类科学家评审的报告文档

步骤五：人机协作审查¶

# 人类科学家评审环节
# 1. Orion 完成自主探索后输出研究报告
# 2. 人类科学家对报告进行优先级排序
# 3. 评估假设的生物学合理性
# 结果：100 小时探索 → 52 篇报告 → 22 个获认可的合理假设

实战示例¶

场景一：大规模扰动成像数据集的自主探索¶

背景：研究团队将 Orion 应用于一个大规模扰动成像数据集（large-scale perturbation imaging dataset）。此类数据集通常包含大量经过不同实验干预（perturbation）处理的细胞图像，规模庞大，人工分析效率极低。

Orion 的执行过程： 1. 在无持续人工监督的情况下，自主探索数据集长达 100 小时 2. 操作图像分析软件，提取定量特征 3. 检索相关生物医学文献，构建知识背景 4. 识别扰动条件下的生物学模式 5. 生成 52 篇结构化研究报告

人类评审结果： - 科学家对 52 篇报告进行审查和优先级排序 - 22 个合理的机制假设被认定为具有科学价值 - 报告提供了从数据到假设的可审计分析路径

场景二：细胞图像定量分析（CellProfiler）¶

背景：CellProfiler 是细胞生物学领域广泛使用的开源图像分析软件，具有图形界面，通常需要研究人员手动配置和操作。

Orion 的能力：Orion 通过 GUI 控制学会了操作 CellProfiler，能够： - 无需人工干预地配置分析流水线 - 对细胞图像执行定量分析 - 提取细胞形态、荧光强度等特征数据 - 将结果整合到更广泛的分析工作流中

场景三：组织图像分析（QuPath）¶

背景：QuPath 是数字病理学领域的主流工具，用于组织切片图像的分析与注释。

Orion 的能力：Orion 同样学会了操作 QuPath，支持： - 组织图像的自动化分析 - 无需为 QuPath 开发专用 API 接口 - 将组织层面的分析结果与其他数据来源整合

场景四：生物医学文献与数据库检索¶

背景：科学发现需要整合实验结果与已有知识，文献检索是关键环节。

Orion 的表现： - 在生物医学数据库检索基准测试中准确率超过 90% - 在文献检索任务中准确率同样超过 90% - 能够将检索结果与实验图像分析结论相结合，生成有依据的生物学假设

常见问题¶

Q1：Orion 与传统实验室自动化方案有何本质区别？

传统实验室自动化依赖为特定软件或仪器开发的定制集成接口（bespoke software integrations），每增加一种新工具就需要重新开发对接代码，扩展成本高。Orion 采用 GUI 控制和通用推理能力，能够像人类操作员一样使用现有软件，无需定制接口，具备更强的通用性和可扩展性。

Q2：Orion 生成的研究报告可靠性如何？

根据论文描述，Orion 在 100 小时自主探索中生成了 52 篇报告，经人类科学家评审后，22 个假设被认定为合理的机制假设，占比约 42%。报告的设计原则强调可审计性，即每一步分析和推理过程均可追溯，便于科学家验证和复查。最终科学判断仍由人类科学家负责。

Q3：Orion 是否需要对 CellProfiler 或 QuPath 进行改造才能使用？

不需要。这是 Orion 的核心设计优势之一。Orion 通过 GUI 控制直接操作这些软件的图形界面，无需修改软件本身，也无需开发专用 API，与软件的交互方式和人类用户相同。

Q4：Orion 的适用范围是否限于生物医学图像分析？

论文明确描述 Orion 当前聚焦于生物医学图像分析与解读（biomedical image analysis and interpretation）。其能力涵盖细胞图像（CellProfiler）、组织图像（QuPath）分析以及生物医学文献检索。论文同时指出，计算机操作 AI 智能体的范式具有更广泛的适用潜力，但当前工作的验证范围以上述领域为主。

Q5：Orion 能完全替代人类科学家的判断吗？

不能，也未设计为完全替代。论文描述的工作流中，Orion 负责自动化计算层——执行分析、检索文献、生成报告和候选假设——而人类科学家负责最终评审和优先级判断。这是一种人机协作模式：Orion 大幅扩展了科学家的工作覆盖面，而科学判断的最终责任仍在人类。论文将其定位为"可扩展且可审计的路径"，而非完全自主的科学发现系统。

总结¶

Orion 代表了计算机操作 AI 智能体在实验室自动化领域的重要探索。它通过将大型语言模型与终端执行、GUI 控制和自适应多步推理相结合，在不依赖定制软件集成的前提下，实现了对 CellProfiler、QuPath 等主流科学工具的自主操作，以及对生物医学数据库和文献的高精度检索（超过 90% 准确率）。

在大规模扰动成像数据集的实验中，Orion 在 100 小时内自主生成 52 篇研究报告，其中 22 个机制假设获得人类科学家认可，验证了其实际科学价值。

Orion 的核心意义在于：提供了一条从实验成像数据到定量分析、研究报告和生物学假设的可扩展、可审计路径，为实验室的计算工作流自动化建立了可行的技术范式，同时保留了人类科学家在最终判断中的核心地位。