摘要
现有的模拟集成电路设计基准测试使两个问题难以回答：模型学到的是可迁移的电路技能，还是仅仅回忆了熟悉的示例；以及其输出在规定的工艺和测试条件下是否有效。我们引入了一个基于人工设计的开源电路构建的基准测试，这些电路与 Tiny Tapeout 制造穿梭项目相关。该集合包含 273 个拓扑结构不同的顶层设计。每个源文件均按其穿梭提交所记录的版本获取，并在固定的容器化环境中处理。该流水线从同一源文件导出每个合格原理图图像及其 SPICE 网表，为转录提供精确的结构参考。提交日期支持针对特定模型的训练截止时间分析，而作者测试平台为尺寸设计提供仿真上下文。该基准测试评估原理图到网表的转录以及器件尺寸设计。在固定 66 个转录任务上对七个模型进行评估，最强模型达到 56.1% 的精确图同构，且七个模型中有六个从小规模到中等规模层级出现急剧下降。对于一个前沿模型，移除作者选择的标签会降低精确匹配率，同时保持聚合结构 F1 不变，这表明标签可以帮助连接追踪。在 17 个尺寸设计任务中，领先模型在所有 17 个提案上均收敛，并达到 91.2 分（满分 100 分），对照人类参考；而两个最新的 Claude 模型在它们毫无异议地转录的相同提示中分别拒绝了 4 个和 11 个；没有尺寸的提案得零分。这两个任务产生了不同的模型排名，揭示了不同的视觉和设计能力，并且在某个模型系列中，体现的是策略限制而非能力限制。