6.2 评估题目的好坏

本节目标

读完本节后，你能用一张可复核的评分表比较候选题目，说明每项分数的证据、主要风险和下一步验证动作，而不是只凭“听起来有趣”做决定。

“好题目”要同时过四道关

把候选题目放进四个维度：新颖（增量是否清楚）、理论（能区分或修正什么解释）、现实（谁会因结果改变决策）、可行（样本、测量、时间、伦理和分析是否可承受）。这是讨论工具，不是机械的质量定律；一个理论价值高但暂时不可实施的题目，可以先缩小范围或做方法预研。

示例题目：“静音手机通知是否提高本科生 25 分钟学习任务的正确率？”它比“手机影响学习吗”具体，但仍要检查通知操纵是否真实、正确率是否有天花板、样本能否招到，以及结果能否外推到真实课程。

最短决策路径

把题目写成一句包含人群、X、Y、比较和时间的句子，并标出主要估计目标（均值差、相关、预测误差或其他）。
为四个维度各找一条证据：最近综述/直接复制、竞争理论、利益相关者需求、可获得数据与资源。
用 0–2 分评分：0 = 缺证据或明显不合格，1 = 有条件成立，2 = 证据充分。每个分数后写一句理由和一个补证动作。
设“杀手条件”：例如无法获得伦理批准、关键测量在目标样本中无效、或最小关注效应要求的样本超出资源。命中任一条件就暂停，不靠热情硬做。
让没有参与构思的人复核评分，记录分歧；最后再决定继续、缩小、改设计或放弃。

四象限评分表（可直接复制）

维度	0–2 分要问什么	“通知—专注”示例证据	下一步检查
新颖	新增的是人群、情境、测量、机制还是边界？	直接复制已有课堂研究，并换成短任务；增量尚需核对	做引文追踪，确认是否已有同样操纵
理论	哪两个解释给出不同预测？	注意力切换预测即时下降；期待效应预测内容相关时才下降	预先写出交互或中介的可观测指标
现实	谁会据此改变设置或教学安排？	学习者和课程设计者可能关心静音建议	访谈 2–3 位目标使用者，确认问题不是臆想
可行	样本、操纵、测量、时间、权限、伦理是否够？	实验室可控制通知，但生态效度有限	先做 10 人流程预试，不把预试当正式检验

评分不是把四项相加就结束。若理论分高但可行性为 0，应先改为观察性或短时预研；若现实分高但新颖性为 0，考虑把贡献定位为复制、稳健性或实施评估。

把“可行”拆成资源清单

逐项写出：目标样本和取样框、每人时长、设备与软件、招募渠道、预算、数据保留期限、伦理审批路径、分析能力和最晚完成日期。然后做一个小型预演失败（pre-mortem）：假设项目六个月后失败，列出三件最可能的原因（如通知权限失效、正确率天花板、招募偏向高自控人群），并为每件原因指定监测指标和备选方案。

样本量不是“可行”的全部。把最小关注效应、精度目标、流失和排除规则写进 2.4 取样与功效分析；若只能依赖便利样本，要把外推边界写进问题和报告，而不是把“代表性”当作默认属性。

常见误用

“有显著结果就有理论贡献”“四项都打 2 分才是好题目”“别人没做过所以新颖”都过度简化了判断。评分必须附证据和不确定性；题目价值与结果是否显著是两件事。