{{HeadCode}}

通过

内森·奧勇

—

准实验设计示例:类型与实际应用案例

奥扬的个人资料图片

内森·奧勇

安永的高级会计师

获得会计学学士学位,完成会计研究生文凭

类实验设计(Quasi-experimental designs)可以帮助研究人员在无法进行随机分配时研究因果关系。这些研究并不依赖于受控的随机分组,而是利用现实世界的场景,如学校、诊所、社区或地区。

这使得它们在教育、医疗保健和公共政策领域尤为实用,因为在这些领域中,研究人员通常需要寻找答案,但又无法完全控制谁来接受干预。

在本指南中,我们将探讨最重要的类实验设计案例,解释每种设计发挥作用的机制,并展示如何清晰且自信地在您自己的研究中选择并应用合适的方法。

<CTA title="更快速地设计更优秀的科研方案" description="数分钟内生成逻辑严密、结构清晰的类实验设计。" buttonLabel="免费试用 Jenni" link="https://cn.app.jenni.ai/register" />

什么是类实验研究设计?

类实验研究设计是一种在不进行随机分配的情况下检验因果关系的方法。

它不创建随机分组,而是利用现实环境中已经存在的自然形成的群体,这使得该方法在应用研究中更具现实意义。研究人员通常会与现有的班级、医院或社区合作。

正如在类实验设计中所解释的那样,类实验在应用研究中得到了广泛应用,因为它们在可行性与有意义的因果洞察之间提供了一种切实可行的平衡。

与真正的实验不同,参与者不会被随机分配到不同的实验条件下。这可能会使排除其他解释变得更加困难,因为在干预开始之前,各组之间就已经存在差异。

因此,内部效度可能是类实验设计面临的一个挑战。尽管存在这些局限性,类实验方法在社会学、心理学和经济学等学科中仍然至关重要。

  • 自变量(Independent variable): 干预或治疗手段

  • 因变量(Dependent variable): 测量的结果指标

  • 对照组(Control group): 未接受干预的对比组

  • 实验组(Treatment group): 接受干预的组别

<ProTip title="💡 专家提示:" description="在选择类实验设计之前,务必清晰定义变量。" />

核心类实验设计案例类型

以下是您在实践中会遇到的主要类型。解释中包含了简明的示例以及它们的具体应用场景。

非等值对照组设计(Nonequivalent control group design)

对两个组别进行比较,但它们并非随机分配,而是原本就存在的。

  • 示例: 某学校的一个班级采用了新的数学教学方案。另一个班级则继续使用传统方法。在学期末,您对比他们的考试成绩。

  • 应用场景: 这在教育研究中无处不在。由于各组在开始时并不对等,研究人员必须使用统计学方法(如协方差分析 ANCOVA)来试图消除初始差异。其最大的挑战在于处理您未考虑到的变量。

单组前测-后测设计(One-group pretest-posttest design)

您对单一群体进行测量,引入某种干预,然后再次对其进行测量。该设计没有独立的对照组。

  • 示例: 一家工厂记录了六个月内的事故发生次数。随后,他们开展了一项安全培训计划。在此之后,他们又追踪了六个月的事故情况,以观察事故数量是否有所下降。

  • 为何其论证力较弱: 事故数量的下降可能是由于培训引起的。但也可能是由于同时发生的其他因素导致的,例如生产的季节性放缓。很难确定究竟是什么原因导致了这一变化。

  • 权衡折中: 这种方法非常简便且成本低廉,因此在商业和工作场所研究中很常见。但它在因果关系上提供的证据最弱。

带非等值对照组的前测-后测设计(Pretest-posttest with a nonequivalent control group)

这是一个更强的版本。您拥有两个现有的组别,并在仅对其中一组引入变化之前和之后,对两个组别均进行测量。

  • 示例: 某诊所启动了一项帮助人们戒烟的新项目。另一家类似的诊所则没有。您对两家诊所的吸烟者进行习惯调查。在第一家诊所运行该项目一年后,您再次对所有人进行调查。

  • 为何它更好: 如果开展该项目的诊所其吸烟人数的下降幅度明显大于另一家诊所,您就可以对该项目确实有效产生更大的信心。这有助于排除某些外部因素(如新的公共卫生宣传活动)同时影响了所有人的可能性。

以下是前三种设计形式的对比情况:

设计类型

是否有对照组?

是否有前测?

证据效力强度

单组前测-后测

否

是

低

非等值对照组

是

可选

中

带对照组的前测-后测

是

是

较高

中断时间序列设计(Interrupted time series design)

您并非只进行一次“前”和一次“后”的测量,而是在很长一段时间内的多个时间点收集数据。您需要寻找特定事件发生后趋势的变化。

  • 示例: 某个国家通过了一项对含糖饮料征税的法律。研究人员对征税前数年和征税后数年的全国汽水月度销售数据进行逐月分析。他们希望观察长期销售趋势是否在税收开始实施时出现明显的下降或形态改变。

  • 为何它很有用: 它在评估政策和法律方面非常强大。观察长期模式的变化比观察两个单一时间点之间的变化更具说服力。有关具体的应用讨论,可参见现实研究中的中断时间序列设计,该文展示了基于时间的设计如何在现实世界的健康研究中得到应用。

<ProTip title="📊 提示:" description="为了进行强有力的中断时间序列分析(ITS),请在干预前后各使用至少12个时间点。" />

断点回归设计(Regression discontinuity design)

人们被分配到实验组的依据是,他们在某一量表上是否达到或低于特定的临界值。

  • 示例: 某所大学向家庭收入低于 $50,000 的学生发放辅导补助金。研究人员随后比较了勉强符合条件(例如,家庭收入为 $49,500)与勉强不符合条件(例如,家庭收入为 $50,500)的学生的毕业率。

  • 其背后的逻辑: 该想法在于,除了微小的收入差异以及他们是否获得补助金之外,这两组学生在其他各个方面几乎是完全相同的。两组最终结果的任何重大差异都可以更安全地归因于该补助金。经济学家和政策分析师非常青睐这一设计,因其逻辑十分巧妙。

匹配与倾向评分设计(Matching and propensity score designs)

既然无法进行随机化,您就可以尝试用统计学来模拟它。您在实验组中寻找个体,并将其与来自非实验组中几乎完全相同的个体进行“匹配”。

  • 示例: 您正在研究在线大学课程与面授课程的对比。您找出每位在线学生,并匹配一位具有相同高中 GPA、年龄和专业的面授学生。然后,您对这些匹配对的成绩进行对比。

  • 局限性: 您只能根据您能够测量并拥有数据的特征来进行人员匹配。它无法解释隐藏的差异,比如某个学生的动力水平,或者他们是否能拥有安静的学习环境。它能减少偏倚,但无法消除它。

<ProTip title="⚙️ 专家提示:" description="匹配后务必进行平衡性检验,以验证您的类实验设计。" />

各领域的真实类实验设计案例

这些方法在各个领域都屡见不鲜。以下是它们在几个主要领域的实际应用情况。

教育领域

学校通常不能为了做实验而随机重新分配学生。因此,他们需要利用现有的学生群体开展研究。

  • 具体表现: 某个学区决定试用一款新型在线辅导系统。他们将其提供给林肯高中的所有学生。与此同时,杰斐逊高中的学生则继续使用旧的自习室系统。学期末,研究人员对比了这两所学校的期末考试成绩。

  • 为何采用该方法: 当无法进行真正的随机化时,这是测试新教学工具或项目的标准且实用的方法。

医疗保健领域

医院和诊所利用现有的患者群体来研究新的临床流程或系统。

  • 具体表现: 一家医院安装了一套全新的数字化系统,用于护士追踪患者的生命体征。他们分析了该系统启用前六个月入院患者的平均康复时间,并将其与系统启用后六个月内患者的康复时间进行了对比。

  • 为何采用该方法: 您无法为了实验而随机给某些患者分配较差的护理服务。这种方法使医疗研究人员能够以受控的方式研究现实世界中的改进效果。

公共政策领域

当一项新法律或税收出台时,它会影响到每一个人。研究人员通过观察长期的数据来研究其影响。

  • 具体表现: 某个州将购买烟草的法定年龄从18岁提高到21岁。随后,公共卫生官员追踪了法律变更前后数年内该州青少年的吸烟率,以寻找趋势线上的下降节点。

  • 为何采用该方法: 这通常属于中断时间序列设计。这是确定大规模政策是否确实带来了大家所期望的变化的主要方法。

商业与营销领域

在全面推行前,公司会在部分客户群体中测试新想法,这通常是因为无法进行真正的 A/B 测试。

  • 具体表现: 某款社交媒体应用开发了一项新的视频功能。他们首先向加拿大的所有用户开放。在接下来的三个月里,他们追踪加拿大用户观看视频的频率,并将其与尚未获得该功能的类似市场(如英国和澳大利亚)的用户进行对比。

  • 为何采用该方法: 即使在 Reddit 等论坛中,分析师们也称其为“分阶段推广(staggered rollout)”。它使公司能够在全球发布前观察现实世界的使用情况并发现问题,同时依然能够收集到对比数据。

此类研究往往介于定性洞察和定量测量之间。如果您不确定这些方法有何不同,定性与定量研究解释了每种方法如何对研究设计决策做出贡献。

类实验设计的优缺点

了解这些方法的优势与不足,是评价使用这些方法的研究所至关重要的前提。

优点

其最大的优势在于,当无法进行真正的实验或开展实验不符合伦理时,它能让您开展研究。

  • 现实世界应用性: 您可以研究学校、医院或城市中实际发生的项目、政策和干预措施。您不需要创建人工的实验室环境。

  • 伦理可行性: 通常情况下,您不能随机剥夺某人接受某种潜在有益治疗的权利。美国国家卫生研究院(NIH)指出,正因如此,许多临床研究不得不采用非随机设计。

  • 高效性: 研究人员可以频繁使用已有的数据,例如学校记录或医院入院登记日志。这使得研究能够更快速、更经济地运行。

  • 规模性: 这些设计可以应用于大型群体,甚至整个社会群体,这对于评估新法律或公共卫生宣传活动等项目是必不可少的。

缺点

主要的权衡在于其因果关系的论证力较弱。您无法完全确定您所研究的干预措施是产生变化的真实原因。

  • 核心问题: 在没有随机分配的情况下,您所对比的群体在最开始时可能就存在差异。也许采用新数学方案的学生拥有更多支持他们学习的家长。也许接受新疗法的患者本身身体状况就更好。这些预先存在的差异可能会使您的结果产生偏差。

  • 混杂变量: 这些是可能真正对结果负责的、未被测量的因素。它们是这类研究中持续存在的威胁。

  • 选择性偏倚: 人们最终进入某个组别的方式并不是随机的。主动选择加入新项目的人可能比不加入的人更有积极性,这本身就可能带来更好的结果。

  • 不确定性: 归根结底,您得到的是一种强相关性,这与您在相关性研究中看到的类似,但不能作为因果关系的绝对证据。其证据具有启发性,但并非无懈可击。

关于这些挑战以及研究人员如何应对这些挑战的更深入解释,已在类实验设计的效度与因果推断中进行了讨论,该文探讨了类实验设计中的因果推断和效度问题。

<ProTip title="⚠️ 注意:" description="务必清晰地报告局限性,以增强研究的可信度。" />

如何逐步设计类实验研究

如果您需要运行其中一项研究,可以遵循以下明确的路径。

1. 明确您的研究问题 从一个清晰的因果关系问题开始。务必具体。

  • 较弱的问题: “这个项目有用吗?”

  • 更好的问题: “完成新的同伴辅导计划的高中生,其代数期末考试成绩的提高幅度是否大于未参与该计划的学生?”

2. 寻找您的研究群体 您无需随机创建分组,而是利用已经存在的分组。

  • 实验组: 接受干预的个人、班级或地区(例如,采用新软件的三个公司分支机构)。

  • 对照/对比组: 照常运行的组别(例如,保持旧系统的另外两个分支机构)。您的目标是使这些组别在开始时尽可能相似。

3. 选择您的研究设计 您的选择完全取决于您的具体实际情况。

  • 如果您只能接触到一个组别,则应使用单组前测-后测设计。

  • 如果您有两个现有的组别,并且可以在干预前后对其进行测量,请使用带非等值对照组的前测-后测设计。

  • 如果您正在研究政策变化并且拥有多年的数据,中断时间序列设计将是您的最佳选择。

  • 如果干预措施是由严格的临界值(如考试分数或收入水平)决定的,断点回归设计则是最严谨的选择。

4. 控制其他变量 这是最关键的分析步骤。由于您没有进行随机化,您必须尝试通过统计学方法控制其他因素,并使用尽可能可靠的测量方法。

  • 匹配: 将实验组中的每个人与对照组中具有相似特征(年龄、既往测试成绩等)的人进行配对。

  • 回归分析: 利用这一方法分离出干预的效果,同时在数学上保持其他变量恒定。

  • 双重差分法(Difference-in-differences): 将实验组的变化与对照组的变化进行对比。这有助于消除同时影响两组的共同趋势。

如果您仍在确定这些方法如何契合您更广泛的研究路径,研究范式可以帮助厘清不同的设计如何与研究目标保持一致。

5. 谨慎地进行分析与汇报 谨慎地解释您的数据。

  • 不要声称您“证明”了干预措施导致了变化。应当表述为证据“表明”或“支持”某种因果关系。

  • 坦诚说明研究的局限性。明确列出您无法控制且可能影响结果的其他变量。这种诚实正是使研究具有可信度的原因。

在汇报研究结果时,引用格式的清晰度同样关系到可信度。如果您正在排版学术写作,et-al APA引用示例提供了在学术论文中正确使用引文的指导。

<ProTip title="🧠 专家提示:" description="在类实验中使用双重差分法来控制时间趋势。" />

关于类实验设计的总结思考

您可能已经感受到,在无法控制一切的情况下,证明因果关系是多么棘手,而且结果可能会让人感到不确定或容易受到质疑。这确实令人沮丧。而这些设计可以帮助您在现实条件下开展工作,同时依然能获得有用的答案,即使无法达到最完美的实验设置。

<CTA title="将您的研究想法转化为清晰的设计方案" description="在向导式 AI 的支持下,清晰、自信地规划和构建类实验研究。" buttonLabel="免费试用 Jenni" link="https://cn.app.jenni.ai/register" />

与其过度思考每一个局限性,不如专注于构建清晰的结构并很好地解释您的选择。像 Jenni 这样的工具可以帮助您更快地整理想法并保持写作的精炼,这样您就可以减少陷入困境的时间,将更多精力投入到推进研究进度上。

目录

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文

今天就开启你的非凡写作之旅

从今天起,用 Jenni 写下你的 第一篇论文,开启全新篇章

免费开始

无需信用卡

随时取消

500万+

遍布全球的学者

5.2小时

每篇论文平均节省

超过1500万篇

在鉴研上完成的论文