主题
2.4 取样与功效分析
本节目标
读完本节后,你能区分代表性与统计功效,识别真正独立的观测单位,用最小关注效应规划样本量,并把脱落、集群结构和不确定性写进可复核的样本量说明。
2.4.1 先回答“从谁那里取样”
取样决定研究结论可以推广到谁,功效分析决定在给定模型与假设下,研究识别某个效应的概率。大样本不能修复严重的选择偏差,高功效也不等于样本具有总体代表性。
开始招募前,至少写清:
- 目标总体:想对哪些人、情境和时间范围作结论;
- 抽样框与招募渠道:哪些目标成员实际有机会进入样本;
- 纳入与排除标准:应在看结果前确定,并说明理由;
- 观测单位:人、家庭、班级还是重复试次;
- 停止规则:固定样本量、固定日期,或预先规定的序贯规则;
- 预计损耗:拒访、脱落、设备失败和无法使用的数据分别有多少。
便利样本可以回答样本内的关联或处理效应,但向更广总体推广时要说明覆盖不足。若学生来自同一班级、员工来自同一团队,或每人贡献多次试次,记录数不等于独立样本数;功效计算和最终模型都必须反映集群或重复测量结构。
2.4.2 功效分析回答什么问题
频率学派的统计功效是:当备择假设及计算所用条件成立时,检验拒绝零假设的概率。
它不是“研究成功的概率”,也不是看到不显著结果后“零假设为真的概率”。一次事前功效分析通常需要以下输入:
| 输入 | 要事先说明什么 |
|---|---|
| 主要检验 | 主要结果、核心对比、单侧或双侧、分析模型 |
| 显著性水平 | 通常是主要检验的 |
| 目标功效 | 例如 0.80 或 0.90,并解释选择依据 |
| 效应量 | 均值差、标准化差异 |
| 数据结构 | 组间分配比、配对相关、基线相关、ICC、每群人数、重复次数 |
| 方差与损耗 | 结果方差、脱落率、无效数据率及其来源 |
效应量优先取最小关注效应(smallest effect size of interest, SESOI):小于它的效应即使存在,也不足以改变理论或实践决策。也可以依据高质量先前研究、元分析或有外部依据的原始量纲差异,但要保留不确定性。小型先导研究的效应估计往往很不稳定,不宜单独作为正式研究的唯一输入。
2.4.3 一套可审计的规划流程
样本量规划六步
- 定义主要估计目标、结果变量、对比和真正独立的观测单位。
- 指定检验或模型、
、目标功效、单双侧与组间分配比。 - 说明效应量、方差、相关或 ICC 的来源,而不只填软件参数。
- 对乐观、中性和保守输入做敏感性分析,报告样本量范围。
- 加入脱落、无效记录和整群招募的上取整规则。
- 在招募前固定计划;实际样本量偏离时同时报告原因和时间点。
对于等组、独立样本、双侧均值差检验,标准化效应为
正态近似下,每组样本量约为
但正式计算应使用非中心
教学算例:两组均值差
这是教学规划示例,不是已有研究数据。设主要结果为连续变量,比较两个独立且等大的随机组;计划双侧两样本
| 项目 | 规划值 |
|---|---|
| 最小关注效应 | |
| 显著性水平 | 双侧 |
| 目标功效 | 0.80 |
| 分配比 | 1:1 |
| 可分析样本 | 每组 64 人,共 128 人 |
若预计 15% 的受试者无法进入主要分析,至少需招募
集群结构不能按个人数直接计算
若每个班级平均招募
把上例的 128 人乘以 1.95 得 249.6 人。因为按整班招募,应再上取整为 13 个班、260 人;还要保证处理臂中有足够的集群数。ICC、群大小不等和集群数较少都会改变真实功效,复杂设计宜用仿真并对多个合理参数做敏感性分析。
2.4.4 诊断、报告与常见误用
样本量依据不是单个数字,而是一组可检查的假设。报告时列出软件或算法、版本或核查日期、检验、所有输入、上取整方式和最终计划人数。研究结束后重点报告效应估计、置信区间、实际样本与缺失,而不是用观察到的效应重新计算“事后功效”。基于同一数据的观察效应功效通常只是
常见误用
- 不要机械采用“每组 30 人”或固定被试数,却不给出研究问题与精度依据。
- 不要把文献中显著且偏大的效应直接当作真实效应;同时检查其置信区间和发表偏差。
- 不要为了得到更小样本量而事后改成单侧检验。单侧方向必须在看数据前有理论与决策依据。
- 不要忽略主要结局、多重比较、协变量、ICC、分配不均和脱落。
- “达到 80% 功效”不保证估计精确或结果可重复;仍需检查置信区间、模型诊断与设计偏差。
如果目标主要是把效应估计到足够精确,可直接依据置信区间宽度规划样本量;如果目标是证明效应小到可忽略,应使用预先规定界值的等效性检验,而不是把“不显著”解释为“没有效应”。
资源与工具
以下入口于 2026-08-15 核查可访问;软件版本与界面更新时以官方页面为准。
延伸阅读
- Lakens, D. (2022). Sample size justification. Collabra: Psychology, 8(1), 33267. https://doi.org/10.1525/collabra.33267
- Faul, F., Erdfelder, E., Lang, A.-G., & Buchner, A. (2007). G*Power 3: A flexible statistical power analysis program for the social, behavioral, and biomedical sciences. Behavior Research Methods, 39, 175–191. https://doi.org/10.3758/BF03193146
- Green, P., & MacLeod, C. J. (2016). SIMR: An R package for power analysis of generalized linear mixed models by simulation. Methods in Ecology and Evolution, 7, 493–498. https://doi.org/10.1111/2041-210X.12504
- Gelman, A., & Carlin, J. (2014). Beyond power calculations: Assessing Type S (sign) and Type M (magnitude) errors. Perspectives on Psychological Science, 9, 641–651. https://doi.org/10.1177/1745691614551642
- Hoenig, J. M., & Heisey, D. M. (2001). The abuse of power: The pervasive fallacy of power calculations for data analysis. The American Statistician, 55, 19–24. https://doi.org/10.1198/000313001300339897