详细技术指南、论文和代码目前保留英文原文。

RSI4Science

为可重复的改进循环提供基准

RSI 是递归自我改进(Recursive Self-Improvement)。我们提供科学任务、可核验的答案和有效的开发反馈,由研究者将这些资源接入自己的 AI 系统。

执行任务 → 查看反馈 → 修订系统 → 检验新样例。

什么样的数据有用?

任务需要明确输入与输出、可信的参考答案或检查器、能指导分析的反馈,以及用于评估下一版本的独立样例。

反馈可以指出选错的答案或未满足的约束,帮助定位能力不足。仅有一个正确答案,仍不足以确认模型的推理过程。

从分子选择题到研究问题

MolP2SBench 让模型根据性质证据恢复已知分子中被遮蔽的片段,并用保留的结构核验答案。受控的证据条件可用于研究预测是否响应了提供的信息。

利用开发样例诊断薄弱环节,修改模型或 Agent,再以相同的检查规则和预算,在新的分子问题组上比较版本。两道题的教学演示用于讲解接口,不构成独立评估集。

获取数据

递归发生在哪里

递归自我改进(RSI)利用系统当前的能力改进自身,再让更新后的能力参与后续改进。 我们提出的协议显式检验这一反馈关系:安装修改后的改进程序,并用它产生后续修改。

P:科学程序
I:改进流程

改进后的改进器,负责下一轮修订。

起点修订之后下一轮修订被拒绝的方案P₀P₁P₂I₀I₁I₂安装并使用

与固定改进器对照

P₀P₁P₂I₀同一个改进器P 可以变化
研究者提供科学程序和改进器。箭头表示每次修订由哪个流程产生。 修订路径示意。

基准为这些实验提供证据。单凭任务分数提高,不能证明递归自我改进或分子生成能力已经实现。

根据研究问题选数据

先选择研究赛道,再检查任务、反馈及可用于评估的样例。赛道描述科学领域,每项资源会单独说明它实际测量的能力。

浏览数据集

给数据贡献者

论文是可选的。欢迎提供原创数据,或整理已有资源,并说明来源和使用条件。

先提供来源链接、版本、科学用途和访问条件。可核验的数据包还需要任务示例、检查程序和数据划分计划。审核记录会说明实际检查了哪些材料。