RSI4Science
Benchmarks für eine wiederholbare Verbesserungsschleife
RSI steht für rekursive Selbstverbesserung. Wir stellen wissenschaftliche Aufgaben, überprüfbare Antworten und nützliches Entwicklungsfeedback bereit. Forschende binden diese Ressourcen in ihre eigenen KI-Systeme ein.
Aufgabe ausführen → Feedback prüfen → System überarbeiten → neue Fälle testen.
Was macht die Daten nützlich?
Eine Aufgabe braucht klare Ein- und Ausgaben, eine verlässliche Referenz oder ein Prüfwerkzeug, Feedback zur gezielten Untersuchung und unabhängige Fälle zur Bewertung der nächsten Version.
Feedback kann eine falsche Auswahl oder eine verletzte Bedingung anzeigen und helfen, eine Schwäche zu finden. Eine richtige Antwort allein belegt jedoch nicht, wie das Modell schlussfolgert.
Von der Molekülauswahl zur Forschungsfrage
Bei MolP2SBench wird ein verdecktes Fragment eines bekannten Moleküls anhand seiner Eigenschaften rekonstruiert. Die aufbewahrte Struktur dient zur Prüfung der Antwort. Kontrollierte Evidenzbedingungen helfen zu untersuchen, ob Vorhersagen auf die bereitgestellten Informationen reagieren.
Diagnostizieren Sie anhand von Entwicklungsfällen eine Schwäche und ändern Sie Ihr Modell oder Ihren Agenten. Vergleichen Sie dann Versionen an neuen Molekülfamilien mit denselben Prüfungen und demselben Budget. Die Lehrdemo mit zwei Fragen erklärt die Schnittstelle; sie bietet keinen unabhängigen Evaluationsdatensatz.
Daten beziehenDer rekursive Schritt
Rekursive Selbstverbesserung (RSI) nutzt die aktuellen Fähigkeiten eines Systems, um es zu verbessern, und setzt die aktualisierten Fähigkeiten in weiteren Verbesserungsrunden ein. Unser vorgeschlagenes Protokoll macht diese Rückkopplung explizit: Ein überarbeiteter Verbesserungsprozess wird installiert und erzeugt spätere Änderungen.
I: Verbesserung
Der überarbeitete Verbesserungsprozess erzeugt die nächste Änderung.
Vergleich mit festem Verfahren
Der Benchmark liefert Evidenz für diese Experimente. Ein höherer Aufgabenscore allein belegt weder rekursive Selbstverbesserung noch die Generierung von Molekülen.
Daten für Ihre Fragestellung auswählen
Wählen Sie einen Forschungsbereich und prüfen Sie dann Aufgabe, Feedback und verfügbare Evaluationsfälle. Die Bereichsnamen bezeichnen das wissenschaftliche Gebiet; jede Ressource erklärt, was sie tatsächlich misst.
Datensätze ansehenFür Beitragende
Eine Publikation ist optional. Teilen Sie eigene Daten oder bereiten Sie bestehende Ressourcen mit klaren Quellen und Nutzungsbedingungen auf.
Beginnen Sie mit Quellenlink, Version, wissenschaftlicher Nutzung und Zugangsbedingungen. Ein prüfbares Paket ergänzt Aufgabenbeispiele, ein Prüfprogramm und einen Aufteilungsplan. Der Prüfbericht nennt die untersuchten Materialien.