RSI4Science
为可重复的改进循环提供基准
RSI 是递归自我改进(Recursive Self-Improvement)。我们提供科学任务、可核验的答案和有效的开发反馈,由研究者将这些资源接入自己的 AI 系统。
执行任务 → 查看反馈 → 修订系统 → 检验新样例。
什么样的数据有用?
任务需要明确输入与输出、可信的参考答案或检查器、能指导分析的反馈,以及用于评估下一版本的独立样例。
反馈可以指出选错的答案或未满足的约束,帮助定位能力不足。仅有一个正确答案,仍不足以确认模型的推理过程。
从分子选择题到研究问题
MolP2SBench 让模型根据性质证据恢复已知分子中被遮蔽的片段,并用保留的结构核验答案。受控的证据条件可用于研究预测是否响应了提供的信息。
利用开发样例诊断薄弱环节,修改模型或 Agent,再以相同的检查规则和预算,在新的分子问题组上比较版本。两道题的教学演示用于讲解接口,不构成独立评估集。
获取数据递归发生在哪里
递归自我改进(RSI)利用系统当前的能力改进自身,再让更新后的能力参与后续改进。 我们提出的协议显式检验这一反馈关系:安装修改后的改进程序,并用它产生后续修改。
P:科学程序
I:改进流程
I:改进流程
改进后的改进器,负责下一轮修订。
与固定改进器对照
基准为这些实验提供证据。单凭任务分数提高,不能证明递归自我改进或分子生成能力已经实现。
根据研究问题选数据
先选择研究赛道,再检查任务、反馈及可用于评估的样例。赛道描述科学领域,每项资源会单独说明它实际测量的能力。
浏览数据集给数据贡献者
论文是可选的。欢迎提供原创数据,或整理已有资源,并说明来源和使用条件。
先提供来源链接、版本、科学用途和访问条件。可核验的数据包还需要任务示例、检查程序和数据划分计划。审核记录会说明实际检查了哪些材料。