主题
5.3 现场实验
本节目标
读完本节后,你能界定现场实验的处理、随机化单位和目标总体,规划集群分配与干扰,记录不依从和流失,并用绝对效应、置信区间和实施证据报告结果。
5.3.1 什么使研究成为现场实验
现场实验在学校、社区、组织、平台或公共服务等自然环境中,由研究者随机分配处理。它既利用随机化识别处理对比,又保留真实参与者、任务或实施环境。研究发生在“现场”本身不产生因果识别:若研究者只观察自然暴露,仍是观察性研究。
现场实验通常更接近实际决策,却牺牲部分控制。政策变化、人员执行、跨组交流、缺失记录和组织约束都可能改变处理。因而方案需要同时定义:
| 要素 | 示例问题 |
|---|---|
| 目标总体 | 结论要推广到哪些学校、员工、用户或地区? |
| 处理版本 | 谁在何时实际收到什么?对照条件会接触什么? |
| 随机化单位 | 人、家庭、班级、门店还是社区? |
| 主要结果 | 行政记录、行为或自报;观察窗口多长? |
| 估计目标 | 分配处理的平均效应,还是实际接受处理者的效应? |
| 干扰范围 | 一人的处理是否会影响同伴、家庭或邻近地区? |
随机化单位、处理传递单位、观测单位和分析单位可能不同,必须逐一写清。例如按班级分配信息课程、向学生实施、按学生记录结果时,学生结果嵌套在班级内,不能按独立个人实验分析。
5.3.2 从合作现场到可审计方案
现场合作方常希望边做边改。研究者应在启动前把不可随意改变的核心和允许适应的部分分开。
现场启动七步
- 与合作方定义主要问题、处理版本、对照和可接受的运营边界。
- 确认伦理审查、知情同意或获准的替代程序、数据权限与风险响应。
- 建立符合条件单位名册,冻结随机化前的纳入标准和基线变量。
- 选择个体或集群随机化、分层/配对因素,并生成可复核的分配记录。
- 预注册主要结果、观察窗口、分析模型、停止规则和偏离处理。
- 小范围演练招募、传递、记录、退出和数据合并,不检验正式效应。
- 启动后持续记录覆盖、剂量、污染、共同干预、流失和现场事件。
不要让执行人员根据参与者表现自行选择“更需要处理”的人。若业务必须分批上线,可在符合条件单位中随机安排上线顺序,形成阶梯式设计;其分析需要同时考虑时间趋势和集群相关,不能简单比较早晚两批。
5.3.3 集群随机化、干扰与污染
当同一班级、团队或社区成员会共享处理,常需按集群随机化。集群设计的有效信息不仅由总人数决定,还取决于集群数、群内人数和组内相关。设计效应的简单近似与上取整示例见 2.4 取样与功效分析;群大小不等、集群很少或结果非连续时,应使用与主要模型一致的仿真。
干扰指一个单位的处理改变另一个单位的结果。常见形式包括同伴转发、教师同时影响多个班级、服务点之间人员流动和地理扩散。处理组信息进入对照组称为污染,它通常会改变估计效应,而不只是“增加噪声”。
处理方向包括:
- 把随机化层级提高到预计不会频繁相互影响的集群;
- 在设计中随机化“覆盖比例”,直接估计直接效应和溢出效应;
- 预先定义邻接、群组或距离范围,并记录跨组接触;
- 对无法避免的干扰,把结论限定为当前分配策略的效应,不宣称无干扰下的个人效应。
事后只删除被污染单位会破坏随机分配。若主要分析假定无干扰,应同时报告干扰证据,并以预先规定的暴露模型做敏感性分析。
5.3.4 不依从、缺失与实施质量
分配到处理与实际接受处理需要分别记录。处理组有人未参加、对照组有人自行获得服务时,主要分析通常按最初随机分配比较,即意向性分析。它估计“实施这项分配策略”的效应,并保留随机化基础。
只比较真正接受处理者与未接受者会重新引入自我选择。若要估计依从者效应,可把随机分配作为工具变量,但需要排除限制、单调性等额外假设,并应与意向性结果同时报告;不能把这种估计泛化为所有人的处理效应。
现场流失还可能发生在不同层级:整个学校退出、个体不再参与、行政数据匹配失败或结果只对一部分人可见。应按分组报告每一步人数与原因,比较缺失发生的时间和可观测特征,并进行与合理缺失机制相符的敏感性分析。用“只分析完整案例”不能自动解决差异流失。
实施监测至少包括:
- 触达:符合条件者中多少收到或看到处理;
- 剂量:收到几次、持续多久、执行到什么程度;
- 忠实度:实际做法是否符合处理手册;
- 污染与共同干预:对照组接触处理,或现场同期发生其他变化;
- 异常事件:系统故障、政策变化、人员替换、投诉与安全问题。
这些指标帮助解释处理为何有效或无效,但不应按处理后的实施指标随意筛选主要样本。
5.3.5 分析、诊断与效应表达
分析必须尊重随机化方式。分层随机化应在模型中保留分层因素;集群随机化需在集群层反映依赖。集群数很少时,常规“聚类稳健标准误”的大样本近似可能不可靠,应采用适合小集群数的方法、随机化推断或集群层分析,并清楚报告依据。
优先报告读者能用于决策的绝对效应:
- 连续结果:原始量尺均值差及 95% CI,可补充标准化差异;
- 二分类结果:处理组与对照组比例、风险差及 95% CI,可补充风险比;
- 计数或发生率:明确人时或观察窗口,报告率差和率比;
- 成本或实施结果:把效果与实际资源投入并列,不用显著性代替实际价值。
诊断不是检验“随机化是否成功”,而是检查实施和模型:分配人数、基线覆盖、结果分布、极端集群、时间趋势、组间流失、污染和标准误对不同合理模型是否敏感。异质性分析应预先指定调节变量和交互;分组后分别看显著性不能证明效应不同。
常见误用
- 以个人总数计算功效和标准误,却按班级或机构分配处理;
- 删除不依从者、被污染者或“执行不标准”的现场后仍声称随机试验效应;
- 只报告相对变化,不给基线风险与绝对差异;
- 把一次地点和时期中的平均效应外推到所有组织或人群;
- 现场结果不显著就断言政策无效,而不检查区间、实施强度和识别边界。
5.3.6 报告与外推
报告应给出招募、符合条件、随机分配、接受处理、取得结果和进入分析的流程,并同时报告集群数与个人数。公开随机化代码、处理手册、结果定义、数据合并规则、偏离日志和分析代码;受隐私或合作协议限制时,提供变量字典、模拟数据和受控访问说明。
外推需要比较研究样本与目标总体、现场实施与未来实施、结果窗口与政策时间尺度。随机化支持当前试验内的处理对比,却不会自动证明其他地区、执行者或处理版本同样有效。解释时把证据分成三层:试验中的平均效应、观察到的实施过程、向新环境推广所需的额外假设。
集群试验可对照 CONSORT 扩展核查报告项目;伦理和数据治理见 2.6 研究伦理,偏离记录见 2.5 预注册与开放科学。
资源与工具
CONSORT Cluster Extension
集群随机试验的设计与报告清单
→
EGAP Methods Guides
现场实验设计、随机化与分析方法资源
→
AEA RCT Registry
社会科学随机试验注册与方案记录
→
延伸阅读
- Gerber, A. S., & Green, D. P. (2012). Field experiments: Design, analysis, and interpretation. W. W. Norton.
- Campbell, M. K., Piaggio, G., Elbourne, D. R., & Altman, D. G. (2012). CONSORT 2010 statement: Extension to cluster randomised trials. BMJ, 345, e5661. https://doi.org/10.1136/bmj.e5661
- Aronow, P. M., & Samii, C. (2017). Estimating average causal effects under general interference, with application to a social network experiment. The Annals of Applied Statistics, 11(4). https://doi.org/10.1214/16-AOAS1005
- Deaton, A., & Cartwright, N. (2018). Understanding and misunderstanding randomized controlled trials. Social Science & Medicine, 210, 2–21. https://doi.org/10.1016/j.socscimed.2017.12.005