同一个公开的遗传扰动数据集，同一个深度学习模型，两组人跑出来的结论完全相反。
A 组的汇报是：这个模型连 PCA 加线性回归都打不过，所谓深度学习的优势不过是包装。B 组的汇报是：它在所有基线上取得领先，刷新了该数据集的最好成绩。
两组人没有改模型，也没有换数据。差异只在评测脚本里的一行：用什么指标算分。A 组用均方误差，B 组用加权均方误差。同一批预测，换一个打分口径，模型从垫底变成第一。
这不是段子。一项发表于 Nature Biotechnology 2026 的系统评测（Miller 等）在 14 个遗传扰动数据集、18 个指标上把这件事量化了：多数常用指标本身没有被校准，区分不了「模型真的学到了扰动信号」与「模型只是在复述对照组均值」。
陷阱一：拿没标定的指标判模型生死
先定义「校准性」：一个指标是否校准，指的是它能不能对被比较的对象做出正确排序，尤其是能不能把「含信息的模型」和「无信息的基线」分开。
Miller 等的做法是给每个指标设两个参照。阳性对照用插值重复基线（interpolated replicate baseline），即用同一扰动的技术重复之间的信号做插值来生成预测，代表真实扰动信号可达到的水平；阴性对照用均值基线（mean baseline），对任何扰动都输出同一条平均表达谱，代表完全无信息。
在此基础上，他们定义动态范围分数（dynamic range fraction，DRF），用来度量一个指标在阳性与阴性对照之间能拉开多大的分差。DRF 越低，说明该指标对真假信号的分辨力越弱。
体检结果并不乐观。MSE、Pearson（Δctrl）这类常用指标在许多弱扰动数据集上没有通过，阳性与阴性对照的得分挤在一起；而加权均方误差（WMSE）、加权 RΔ2、归一化逆排序（NIR）等强调「扰动特异信号」的指标，DRF 明显更高。
弱扰动数据集上的高相关，未必等于抓到了真实变化。一项发表于 Science Advances 的系统比较研究（2026 年 9 月）给出解释：一次扰动通常只改变少数基因，数千个基因几乎不动，模型即使只输出一条接近未扰动对照的表达谱，也能在绝对表达一致性类指标上拿高分。该研究比较了 25 个数据集与 13 种方法，结论是模型表现强烈依赖扰动效应量与评价视角，多数模型还会压缩响应异质性、低估组合扰动的协同效应。
对策一：先体检，再排名。 在比较模型之前，用阳性与阴性对照给候选指标各做一次体检，只保留 DRF 达标的指标进入模型排名。指标没过体检，模型排名就没有意义，因为那排的是指标的分辨力。
陷阱二：把均值基线当成唯一对手
争议的另一半来自基线。独立的第三方评测（Ahlmann-Eltze 等，Nature Methods 2025）显示，在常用指标下，深度学习方法并未稳定超越 PCA 加线性回归这类简单基线。一边说深度学习领先，一边说深度学习跑不过线性回归，两句话可以同时成立，因为它们的对手不一样。
关键是把基线分成两层。无信息基线（uninformative baseline），例如均值基线，输出与输入扰动无关，赢过它只说明模型学到了东西，不说明学到了多少；简单线性基线（simple linear baseline），例如 PCA 加线性回归，会学到一部分线性结构，是一个有信息的弱模型，赢过它才说明深度学习相对传统方法有增量。
两层混在一起，评测就会失真：只对均值基线容易高估，只对 PCA 加线性回归又容易低估。
对策二：基线分两层报。 第一层报对无信息基线的增益，用来确认模型确实引入了扰动特异信息；第二层报对简单线性基线的增益，用来刻画深度学习相对传统方法的增量。Miller 等的工作显示，在校准过的指标下，scGPT、GEARS、PRESAGE、scLambda、CellFlow 等多种模型都能超过无信息基线。
陷阱三：同一批细胞既训练又测试
第三类问题不在指标，在拆分。先定义「数据泄露（data leakage）」：训练集与测试集之间共享了本应隔离的信息，例如同一个扰动的重复样本同时出现在两边，或者先用全部细胞挑特征再随机切分，都会让测试得分虚高。
Miller 等把数据处理与拆分写成了固定流程：过滤低质量细胞与基因；把文库量归一化至 10000 后取 log1p；按每个扰动的细胞均值做平衡抽样；特征上选取高变基因（HVG）与所有被扰基因；拆分上把每个扰动的细胞固定拆成「真值半」与「技术重复半」，真值半用于监督训练，技术重复半用于评测，两边不重叠。
这套做法让每个扰动在训练侧和测试侧都有代表，同时避免信息串场。
对策三：把拆分规则写进协议，而不是事后按随机种子切。 凡是按扰动、按批次或按供体分区的评测，都要写明切分单元、切分比例和选择理由；能在实验设计阶段固定的，不要留到分析阶段再补。
陷阱四：只追一个总分数
即便指标校准了、基线分清了、拆分干净了，只看一个总分仍然不够。总分回答不了结构问题：模型预测出的差异表达，是否落在已知通路上。
Miller 等在下游用两组指标补上这一层。通路富集，用来检验预测信号能否对应到有生物学意义的通路；KNN 图秩偏重叠（rank-biased overlap，RBO），用来衡量预测的邻域结构在多大程度上还原了真值的邻域结构。
换到更靠近药物设计的任务，指标合格与真正有用之间的距离会更明显。MolGenBench（Nature Communications 2026，DOI 10.1038/s41467-026-78105-8）对 17 种结构基分子生成方法做了系统评测，暴露的持续局限包括：虚拟筛选性能弱、靶点特异性生物活性空间覆盖有限、频繁出现高风险结构基序、靶点感知能力不足。
把几条证据连成线：Nature Methods 2025 的独立评测发现深度模型未必赢过简单基线，这是争议；Science Advances 2026 把原因指向效应量与评价视角，这是归因；Nature Biotechnology 2026 给出经过校准的指标，让深度模型能超过无信息基线，这是修正。问题更多出在评测环节，而不是单方面出在模型。
对策四：主指标、下游指标与任务约束一起看。 主指标回答分数，下游指标回答结构对不对，任务约束回答在真实筛选流程里能不能用。三件事都过了，再说「模型可用了」。
四类操作，一条工作流
这类科研工作，可以在 DeepBio 上按「上传资料、结构化分析、复核迭代」的顺序走一遍，下面四件事各对应一类操作。
第一，数据与多组学分析。把扰动预测结果表、指标对照表与下游富集结果一起上传，让平台做结构化分析与可视化，输出一张「模型 × 指标 × 数据集」的对比矩阵，而不是一张只有总分的分数表。操作顺序是先上传资料，再按指标分组汇总，最后对异常单元格，例如某个模型在某个数据集上突然跃升，回查它的拆分方式与对照组设置。
第二，文献与证据整理。把争论两派的原始论文一起放进去，围绕「指标校准性」这个问题整理发现，输出证据等级、主要风险点与下一步验证方向。它的用处是把「指标有问题」这句判断，落成可核对的条目：哪一篇用了哪种对照，哪一条结论依赖了未校准的指标。
第三，实验与研究设计。把「用哪套指标、哪个基线、怎么拆训练与测试」写成一份可执行的研究计划，明确实验目标、样本需求（需要多少个扰动、每个扰动多少细胞）与关键变量（是否平衡抽样、是否留出独立扰动）。这份计划可以直接作为预注册材料的初稿。
第四，综述与论文写作。方法学小节按「基线选择、指标校准、数据拆分」三段组织；如果这篇稿件还要作为学位论文的一章，平台内置的院校格式模板能按目标院校的规范排版，参考文献与引文著录格式一次对齐，减少因格式不合规被退回重改的来回。
有一条边界必须说清楚：DeepBio 只做研究辅助，不替代专业判断；指标选择与统计结论，最终以同行评议文献与研究者本人的判断为准。涉及健康或临床的结论不构成医疗建议。
回到开头那两组人。模型没有问题，数据也没有问题，问题在于没人先问一句：这个指标，校准过吗。指标是评测的地基，地基没标定，模型排名越高越危险。
你们组评测模型时，指标是谁定的，基线是谁选的，拆分是谁切的？欢迎在评论区说说。
标签：#生物信息学 #计算生物学 #科研方法 #论文写作 #SCI #文献综述 #生物医药 #DeepBio
