{{HeadCode}} 準實驗設計範例:類型與真實應用案例

歐陽威信

準實驗設計範例:類型與真實應用案例

Nathan Auyeung 的個人檔案照片

歐陽威信

安永高級會計師

畢業於會計學士學位,並取得了會計深造文憑

準實驗設計(Quasi-experimental designs)在無法進行隨機分配時,能幫助研究人員研究因果關係。這些研究並不依賴受控的隨機分組,而是使用真實世界的場景,例如學校、診所、社區或地區。

這使得它們在教育、醫療保健和公共政策中特別有用,在這些領域中,研究人員通常需要答案,但無法完全控制誰接受了干預。

在本指南中,我們將探討最重要的準實驗範例,解釋使每種設計發揮作用的原因,並展示如何清晰且自信地在您自己的研究中選擇和應用正確的方法。

<CTA title="更快設計更好的研究" description="在幾分鐘內,生成具有清晰度和強大邏輯的結構化準實驗設計。" buttonLabel="免費試用 Jenni" link="https://app.jenni.ai/register" />

什麼是準實驗研究設計?

準實驗研究設計是在沒有隨機分配的情況下檢驗因果關係。

它不創建隨機組,而是使用在真實場景中已經存在的自然形成的群組,這使得該方法對於應用研究更加現實。研究人員通常會與現有的教室、醫院或社區合作。

正如準實驗設計中所解釋的,準實驗廣泛應用於應用研究中,因為它們在可行性與有意義的因果洞察之間提供了實用的平衡。

與真正的實驗不同,參與者不會被隨機分配到不同的條件中。這可能會使得排除其他解釋變得更加困難,因為在干預開始之前,群組之間可能就存在差異。

因此,內部效度在準實驗設計中可能是一個挑戰。即使存在這些限制,準實驗方法在社會學、心理學和經濟學等學科中仍然至關重要。

  • 自變量:干預或治療

  • 因變量:測量的結果

  • 對照組:未接受治療的對照組

  • 實驗組:接受干預的群組

<ProTip title="💡 專家提示:" description="在選擇準實驗設計之前,務必清晰定義變量。" />

準實驗設計範例的核心類型

以下是您在實踐中會看到的主要類型。解釋中包含了簡單的例子以及您實際會使用它們的地方。

非對等對照組設計

比較兩個群組,但它們不是隨機分配的。它們是原本就存在的。

  • 範例:學校的一個班級採用了新的數學方案。另一個班級則使用舊方法。在學期結束時,您比較他們的測試成績。

  • 應用場景:這在教育研究中無處不在。由於這些群組在開始時並非等同創建,研究人員必須使用統計學(如 ANCOVA)來嘗試解釋最初的差異。主要的挑戰是處理您未考慮到的變量。

單組前測-後測設計

您測量一個單一組,引入某種事物,然後再次測量他們。沒有獨立的對照組。

  • 範例:一家工廠記錄了六個月內發生的事故數量。然後,他們開展了安全培訓課程。之後,他們又追蹤了六個月的事故,看看數量是否有所下降。

  • 為什麼它較弱:事故的減少可能是因為培訓。但也可能是因為同時發生的其他事情,例如季節性生產放緩。很難確定是什麼原因導致了這一變化。

  • 權衡:它非常容易且便宜,這就是為什麼它在商業和職場研究中很常見。但它為因果關係提供的證據最弱。

帶有非對等對照組的前測-後測設計

這是一個更強大的版本。您有兩個現有的群組,並在向其中僅一個群組引入變化之前和之後對兩者進行測量。

  • 範例:一家診所啟動了一項幫助人們戒煙的新方案。另一家類似的診所則沒有。您調查了兩家診所吸煙者的習慣。在第一家診所運行該方案一年後,您再次對所有人進行調查。

  • 為什麼它更好:如果實施該方案的診所顯示出的吸煙率下降幅度顯著高於另一家診所,您就可以更有信心該方案確實起作用了。它有助於排除某些外部因素(如新的公共衛生運動)同時影響到所有人的可能性。

以下是這前三種設計的對比情況:

設計類型

有對照組?

有前測?

證據強度

單組前測-後測

非對等對照組

可選

有對照組的前測-後測

較高

中斷時間序列設計

您不只是進行一次“前”和一次“後”的測量,而是在很長一段時間內的多個時間點收集數據。您要在特定事件後尋找趨勢的轉變。

  • 範例:一個國家通過了一項法案,對含糖飲料加稅。研究人員分析了加稅前幾年和加稅後幾年全國每月的汽水銷量數據。他們是想看看在剛開始徵稅時,銷量的長期趨勢是否明顯下降或改變了形狀。

  • 為什麼它有用:它對於評估政策和法律非常強大。看到長期模式的改變比看到兩個單一時間點之間的變化更令人信服。在真實世界研究中的中斷時間序列設計中可以找到詳細的應用探討,這展示了基於時間的設計如何用於真實世界的健康研究中。

<ProTip title="📊 提醒:" description="使用至少 12 個前後時間點進行強大的 ITS 分析。" />

斷點回歸設計

人們被分配到一個實驗組是基於他們是否高於或低於某個量表上的特定分界點。

  • 範例:一所大學向家庭收入低於 $50,000 的學生提供輔導補助金。研究人員隨後比較了剛好符合資格的學生(例如,收入為 $49,500)與剛好錯過資格的學生(例如,收入為 $50,500)的畢業率。

  • 邏輯:其理念是,這兩組學生除了微小的收入差異和他們獲得的補助金外,在其他各個方面幾乎完全相同。他們結果的任何巨大差異都可以更安全地與補助金聯繫起來。經濟學家和政策分析師因其巧妙的邏輯而非常喜愛這種設計。

配對與傾向評分設計

既然無法進行隨機分配,您就嘗試用統計學來模擬。您在實驗組中尋找個體,並將他們與來自非治療組的幾乎相同的個體進行“配對”。

  • 範例:您正在研究線上課程與實體大學課程的對比。您選取每位線上學生,並找到一位具有相同高中 GPA、年齡和專業的實體學生。然後,您比較這些匹配對的成績。

  • 限制:您只能根據您可以測量且擁有數據的事物來配對。它無法解釋隱藏的差異,例如學生的動機水平或他們是否能獲得安靜的學習場所。它減少了偏差,但並未消除它。

<ProTip title="⚙️ 專家提示:" description="在配對後務必檢查平衡性,以验证您的準實驗設計。" />

各領域的真實世界準實驗設計範例

您會在很多地方看到這些方法。以下是它們在幾個主要領域中的實際應用方式。

教育

學校通常無法為了解實作而隨機調配孩子。因此,他們會使用現有的群組。

  • 具體表現:一個學區決定嘗試一個新的線上輔導方案。他們將其提供給林肯高中的所有學生。與此同時,傑斐遜高中的學生繼續使用舊的自習室系統。在學期結束時,研究人員比較了兩所學校的期末考試成績。

  • 為什麼使用它:當真正的隨機化不可行時,這是測試新教學工具或方案的標準、實用方法。

醫療保健

醫院和診所利用現有的患者群體來研究新的物理程序或系統。

  • 具體表現:一家醫院安裝了一個新條碼系統,供護士追蹤患者的生命體徵。他們查看了該系統上線前六個月內入院患者的平均康復時間,並將其與上線後六個月內患者的康復時間進行了比較。

  • 為什麼使用它:您不能隨機分配一些患者去接受較差的護理。這種方法使醫療保健研究人員能夠以受控的方式研究現實世界的改進。

公共政策

當一項新法律或新稅收出台時,它會影響到每個人。研究人員通過觀察一段時間內的數據來研究其影響。

  • 具體表現:一個州將合法的購煙年齡從 18 歲提高到 21 歲。公共衛生官員隨後追蹤了法律變更前後幾年全州青少年的吸煙率,尋找趨勢線的下降。

  • 為什麼使用它:這通常是一個中斷時間序列設計。這是確定大規模政策是否確實引起了大家所希望的變化的主要方式。

商業與營銷

公司會在全面推出之前在一部分客戶身上測試新想法,通常是因為無法進行真正的 A/B 測試。

  • 具體表現:一款社交媒體應用開發了一項新的視頻功能。他們首先向加拿大的所有用戶發布。在三個月內,他們追蹤加拿大用戶觀看視頻的頻率,並與尚未獲得該功能的類似市場(如英國和澳洲)的用戶進行比較。

  • 為什麼使用它:分析師(甚至是 Reddit 等論壇上的分析師)稱之為“分階段推出”。它使公司能夠在全求推出之前看到真實世界的使用情況並發現問題,同時仍能收集對比數據。

這種類型的研究通常介於定性洞察和定量測量之間。如果您不確定這些方法有何不同,定性研究與定量研究解釋了每種方法如何對研究設計決策做出貢獻。

準實驗設計的優缺點

了解這些方法的長處和短處,是評判使用這些方法的研究的關鍵。

優點

最大的優勢在於,當真正的實驗不可行或不符合倫理時,它們能讓您進行研究。

  • 真實世界應用:您可以研究在學校、醫院或城市中實際發生的方案、政策和治療。您不是在創建一個人工的實驗室環境。

  • 倫理實用性:通常,您不能隨機拒絕為某人提供可能有幫助的治療。美國國家衛生院指出,正是出於這個原因,許多臨床研究不得不採用非隨機設計。

  • 效率:研究人員常常可以使用已經存在的數據,例如學校記錄或醫院准入日誌。這使得研究運行得更快且成本更低。

  • 規模:這些設計可以應用於大型群體,甚至是整個群體,這對於評估新法律或公共衛生運動等事物是必需的。

缺點

主要的權衡是關於因果關係的判斷力較弱。您無法像真實驗那樣確信,您所研究的治療是發生任何變化的真正原因。

  • 核心問題:沒有隨機分配,您所比較的群體從一開始可能就存在差異。也許新數學方案中的學生有著更多支持他們的父母。也許接受新療法的患者通常更健康。這些預先存在的差異可能會使您的結果產生偏差。

  • 混雜變量:這些是可能真正對結果負責的未測量因素。它們是此類研究中持續存在的威脅。

  • 選擇性偏差:人們最終進入一個群體或另一個群體的方式不是隨機的。選擇加入新方案的人可能比沒有加入的人更有動力,這本身就可能導致更好的結果。

  • 不確定性:歸根結底,您得到的是一種強相關性,類似於您在相關性研究中看到的,但並非因果關係的決定性證據。證據具有暗示性,並非無懈可擊。

準實驗設計效度與因果推論中對這些挑戰以及研究人員如何處理它們進行了更深入的解釋,該文探討了準實驗設計中的因果推論和效度問題。

<ProTip title="⚠️ 備註:" description="務必清晰報告局限性,以增強研究的公信力。" />

如何逐步設計一項準實驗研究

如果您需要運行這些研究之一,這裡有一條簡單的途徑可循。

1. 定義您的問題 從一個清晰的因果問題開始。要具體。

  • 較弱:“這個方案有效嗎?”

  • 更好:“完成新同伴輔導方案的高中生,是否比未完成該方案的學生在代數期末考試成績中顯示出更大的增長?”

2. 尋找您的群組 您不會隨機創建群組。您將使用原本就存在的群組。

  • 實驗組:將接受干預的人群、教室或地區(例如,獲得新軟體的三個公司分部)。

  • 對照/對比組:將照常進行的群組(例如,保留舊系統的兩個分部)。您的目標是使這些群組從一開始就儘可能相似。

3. 挑選您的設計 您的選擇完全取決於您的實際情況。

  • 如果您只能接觸到一個群體,您將使用單組前測-後測設計。

  • 如果您有兩個現有的群體且可以在之前和之後對其進行測量,請使用帶有非對等對照組的前測-後測計

  • 如果您正在研究政策變更且擁有多年數據,那麼中斷時間序列設計是您的最佳選擇。

  • 如果治療是由嚴格的分界點(如測試分數或收入水平)決定的,那麼斷點回歸設計是最嚴謹的選擇。

4. 解釋其他變量 這是最關鍵的分析步驟。由於您沒有進行隨機分配,您必須嘗試在統計上控制其他因素,並使用儘可能可靠的方法。

  • 配對:將實驗組中的每個人與對照組中具有相似特徵(年齡、先前期末考分數等)的人進行配對。

  • 回歸分析:使用它來隔離治療的效果,同時在數學上保持其他變量不變。

  • 雙重差分法(Difference-in-differences):將實驗組的變化與對照組的變化進行比較。這有助於抵消影響這兩個群組的趨勢。

如果您仍在決定這些方法如何融入更廣泛的研究方法,研究典範可以幫助澄清不同設計如何與研究目標相一致。

5. 謹慎分析和報告 仔細解讀您的數據。

  • 不要聲稱您“證明”了干預導致了變化。可以說證據“表明”或“支持”因果聯繫。

  • 坦白說明研究的局限性。明確列出您無法控制但可能影響結果的其他變量。這種坦誠正是研究具有公信力的原因。

在報告發現時,引用風格的清晰度對於公信力也很重要。如果您正在撰寫學術論文,et-al 範例 apa 為研究論文中正確使用引用提供了指導。

<ProTip title="🧠 專家提示:" description="在準實驗中使用雙重差分法來控制時間趨勢。" />

準實驗設計的結語

當您無法控制一切且結果可能感到不確定或容易受到質疑時,您可能已經感受到了證明因果關係有多麼棘手。這很令人沮喪。這些設計可以幫助您在真實條件下開展工作,同時仍能獲得有用的答案,即使無法進行完美的設置。

<CTA title="將您的研究構想轉化為清晰的設計" description="使用引導式 AI 支持,清晰、自信地規劃和構建準實驗研究。" buttonLabel="免費試用 Jenni" link="https://app.jenni.ai/register" />

與其過度思考每一個限制,不如專注於建立一個清晰的結構並很好地解釋您的選擇。像 Jenni 這樣的工具可以幫助您更快地整理想法並保持寫作邏輯清晰,這樣您就可以減少卡住的時間,並花更多時間推動您的研究向前發展。

參考文獻:

  1. https://www.bmj.com/content/384/bmj-2022-072254

  2. https://pmc.ncbi.nlm.nih.gov/articles/PMC6086368/

  3. https://www.scribbr.com/methodology/quasi-experimental-design/

相關文章:

  1. https://jenni.ai/blog/research-paradigms

  2. https://jenni.ai/blog/qualitative-vs-quantitative-research

  3. https://jenni.ai/blog/et-al-example-apa

目錄

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文