详细技术指南、论文和代码目前保留英文原文。

科学数据集

在这里获取科学任务数据,验证模型的回答,并根据反馈改进系统。你可以将这些资源接入自己的模型或 RSI 实验流程。

可以先试用分子任务的教学示例,或直接查看完整基准。更多数据集正在陆续整理。

数据存放在哪里 完整数据集可以保留在原始仓库。本目录提供来源及访问条款链接,另行提供小型教学示例下载。

搜索和筛选数据集

按资源的主要科学领域浏览。

能力标签表示任务考察的内容,研究方向则说明资源属于哪个科学领域。

分子发现 · 分子性质 → 结构

MolP2SBench

原始论文

根据计算得到的物理性质,还原被遮住的分子片段。已知结构提供参考答案,通过对照设置可以考察预测如何随输入变化。

教学入门包

2 条观测 · 2 个候选项 · 1 个分子问题组

包含模型输入、单独存放的标签、评分器和 Python 示例。需要 Python 3.9+;运行基础检查无需 API 密钥。

教学示例的来源与使用说明

完整基准

每个性质通道有 136 道原始问题 · 每题 2–4 个候选项

原始仓库提供完整的任务设置、标签、提示词和评分程序,数据格式与教学入门包有所不同。

数据由原始来源提供。使用前请查看代码仓库及原始数据各自的使用条款。

  • 结构还原
  • 信息利用
  • 反事实响应

以上是完整基准考察的能力;两个教学样例仅用于演示接口。

这些数量分别指什么?

一道题对应一条待回答的输入。同一原始结构还原问题及其相关观测组成一个样例组(family)。每种性质通道提供一类信息,例如偶极矩大小;证据条件说明这些信息与题目如何配对:正确配对、打乱配对或反事实设置。划分开发集与独立评估集时,相关记录应留在同一组,避免相互泄漏。

输入
局部被遮蔽的分子结构、性质数值,以及补全结构的候选项
输出
为每条观测选择一个候选项
反馈
开发集上的正确性评分及参考结果对照

来源与引用

基准论文。 Yuhang Xie, Zhiyi Shi, Zeyi Zhang, Zhisheng Qi, Yushun Dong, Yu Wang, Xiongye Xiao. MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure? arXiv:2610.12522 (2026).

引用此资源

使用 MolP2SBench 的任务与设计时,请引用基准论文。使用源自 QM9S 的记录时,还应引用底层 QM9S 论文并注明所用数据集版本。各项来源有各自的复用条款。 A deep learning model for predicting selected organic molecular spectra · QM9S 数据集版本.

选择并复制下方条目,或下载上面的 BibTeX 文件。

@misc{xie2026molp2sbench,
  title = {MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?},
  author = {Yuhang Xie and Zhiyi Shi and Zeyi Zhang and Zhisheng Qi and Yushun Dong and Yu Wang and Xiongye Xiao},
  year = {2026},
  eprint = {2610.12522},
  archivePrefix = {arXiv},
  primaryClass = {physics.chem-ph},
  url = {https://arxiv.org/abs/2610.12522}
}

@article{zou2023molecularspectra,
  title = {A deep learning model for predicting selected organic molecular spectra},
  author = {Zihan Zou and Yujin Zhang and Lijun Liang and Mingzhi Wei and Jiancai Leng and Jun Jiang and Yi Luo and Wei Hu},
  journal = {Nature Computational Science},
  year = {2023},
  volume = {3},
  pages = {957--964},
  doi = {10.1038/s43588-023-00550-y},
  url = {https://doi.org/10.1038/s43588-023-00550-y}
}

把数据接入你的改进循环

  1. 运行你的模型

    把任务输入交给模型,记录它的预测结果。 接入你的模型

  2. 分析反馈,改进系统

    在开发集上评分,分析出错的样例。 查看反馈如何使用

  3. 用新样例验证

    使用相同的检查程序和计算预算,在独立的样例组上比较不同版本。 请从完整数据中按同源样例组划分开发集与评估集;这两个教学样例不足以提供独立的新测试题。 查看完整原始数据

这两个教学样例供你熟悉接口。开展研究还需要更多独立样例组,系统如何改进则由你的模型或 Agent 实现。 了解我们提出的评估方案

分享你的科学数据

分享原创数据,或推荐现有资源。说明科学用途和来源即可;论文可选。

贡献数据集