RSI4Science
Des bancs d’évaluation pour une boucle d’amélioration reproductible
RSI signifie auto-amélioration récursive. Notre rôle est de fournir des tâches scientifiques, des réponses vérifiables et des retours utiles au développement. Les chercheurs relient ces ressources à leurs propres systèmes d’IA.
Exécuter une tâche → examiner les retours → réviser le système → tester de nouveaux cas.
Qu’est-ce qui rend les données utiles ?
Une tâche nécessite des entrées et des sorties claires, une référence ou un outil de vérification fiable, des retours permettant de guider l’analyse et des cas indépendants pour évaluer la version suivante.
Un retour peut signaler un mauvais choix ou le non-respect d’une contrainte. Il peut aider à repérer une faiblesse ; une réponse correcte ne suffit pas à établir le raisonnement du modèle.
D’un choix moléculaire à une question de recherche
MolP2SBench vise à reconstituer un fragment masqué d’une molécule connue à partir de propriétés physiques. La structure conservée permet de vérifier la réponse. Des conditions contrôlées de présentation des données aident à examiner si les prédictions réagissent aux informations fournies.
Utilisez les cas de développement pour diagnostiquer une faiblesse, modifiez votre modèle ou votre agent, puis comparez les versions sur de nouvelles familles moléculaires avec les mêmes vérifications et le même budget. La démonstration pédagogique à deux questions explique l’interface ; elle ne fournit pas de jeu d’évaluation indépendant.
Obtenir les donnéesL’étape récursive
L’auto-amélioration récursive (RSI) utilise les capacités actuelles d’un système pour l’améliorer, puis mobilise ses capacités actualisées dans les cycles suivants. Le protocole proposé rend cette boucle explicite : un processus d’amélioration révisé est installé et utilisé pour produire les changements suivants.
I : processus d’amélioration
Le mécanisme d’amélioration révisé produit la modification suivante.
Comparer à un mécanisme d’amélioration fixe
Le banc d’évaluation fournit des éléments pour ces expériences. Un meilleur score à une tâche ne démontre à lui seul ni l’auto-amélioration récursive ni la génération moléculaire.
Choisir des données pour votre question
Choisissez un axe de recherche, puis examinez la tâche, les retours et les cas d’évaluation disponibles. Le nom de l’axe indique le domaine scientifique ; chaque ressource précise ce qu’elle mesure réellement.
Parcourir les jeux de donnéesPour les contributeurs
Un article est facultatif. Partagez des données originales ou préparez une ressource existante en précisant les sources et les conditions de réutilisation.
Commencez par un lien vers la source, sa version, son usage scientifique et ses conditions d’accès. Un paquet vérifiable ajoute des exemples de tâches, un vérificateur et un plan de partition. Le dossier de revue précise les éléments examinés.