繰り返し検証できる改善ループのためのベンチマーク

どのようなデータが役立つか？

タスクには明確な入力と出力、信頼できる参照解答や検証ツール、調査に役立つフィードバック、次のバージョンを評価するための独立した事例が必要です。

フィードバックは誤った選択や制約違反を示し、弱点を見つける手がかりになります。ただし、正解しただけではモデルの推論が確かめられたとはいえません。

分子の選択から研究上の問いへ

MolP2SBenchでは、物性に基づく証拠から既知の分子の隠された一部を復元します。保持された構造で解答を検証し、証拠条件を制御して、予測が与えられた情報に反応するかを調べます。

開発用事例で弱点を診断し、モデルやエージェントを変更した後、同じ検証方法と予算で新しい分子ファミリー上の性能を比較します。2問の教材デモはインターフェースを説明するもので、独立した評価用データは提供しません。

再帰的なステップ

再帰的自己改善（RSI）は、システムの現在の能力を使って自身を改善し、更新された能力を次の改善に活用する過程です。 提案するプロトコルでは、この循環を明示的に検証します。改訂した改善プロセスを導入し、次の変更を生成するために使います。

ベンチマークは、これらの実験に必要な証拠を提供します。タスクの得点が高くなるだけでは、再帰的自己改善や分子生成を実証したことにはなりません。

研究の問いに合うデータを選ぶ

研究分野を選び、タスク、フィードバック、利用可能な評価事例を確認してください。分野名は科学領域を示し、実際の測定対象は各リソースが明記します。

提供を検討している方へ

論文は任意です。独自のデータや既存資料を整理したリソースを、出典と再利用条件を明記して共有してください。

まず提供元のリンク、バージョン、科学的な用途、アクセス条件を記載してください。検証可能なパッケージには、タスク例、チェッカー、データ分割計画も含めます。審査記録には確認した資料を明記します。