ageval 是什么
解耦任务逻辑与执行后端；一份 dataset 编写一次，通过配置切换环境与待测 Agent。
为解耦任务逻辑与执行后端，避免针对不同 harness、模型与环境的组合重复编写适配脚手架，ageval（agent eval）将可编程任务脚本与声明式插件组合相结合。一份 dataset 编写一次，即可通过配置文件独立切换运行环境、harness 与模型。
安装 CLI 和 skill 后，本机 coding agent 可以自主设计、转换 benchmark 并完成评测；评测结果、dataset、插件和 Agent 包均可上传至 Hub 供他人复现与对比。
- 通过插件切换待测 Agent 与环境。 执行环境与 Agent 执行器均经插件槽接入（默认走 ACP，
nooa/dsh/miniswe/terminus-2/openhands采用同一插件机制）。修改profiles.yaml中的一行，或在运行时传入--agent（及可选--model）即可切换。 - 长程 Attempt 从最后完成的一步继续。 每一步写入活动日志，并在该步落定时保存工作区与 Agent home 的检查点。尚未写出
result.json的 Attempt 用--resume原地继续；suite 里尚未结束的成员用--resume-suite。--keep-recovery-state在封存后留下这份恢复文件。ageval run --fork可以从一个切点换模型新开一次 Attempt，ageval replay可以在新环境里重新执行已记录的终端动作。 - 让 Agent 自主完成评测。 Skill 指导本机 coding agent 使用 CLI、编写 dataset 与任务脚本，从而自动设计或转换 benchmark 并端到端跑完评测。
- 在 Hub 上共享与复用。 公开的 dataset、插件与 Agent 包可直接复用：
ageval run <org>/<name>@<version>。
CLI 命令为 ageval（PyPI 包名为 ageval-cli）。
文档导航
| 目标 | 文档 |
|---|---|
| 安装并首次运行 | 安装 → 首次运行 |
| 运行现有 dataset | 运行 |
| 编写 dataset | Task 编写教程 |
| 接入 coding agent | ACP Profiles · 切换 Agent |
| 环境 | 环境 |
| 用插件换 Agent 或环境 | 插件 |
| 命令与字段 | CLI · 配置字段 |
| 本地结果 / Hub | 本地查看器 · Hub |
机制设计规范位于仓库 docs/design/，本站按使用路径组织。