{{HeadCode}}

由

歐陽威信

—

準實驗設計範例:類型與真實應用案例

Nathan Auyeung 的個人檔案照片

歐陽威信

安永高級會計師

畢業於會計學士學位,並取得了會計深造文憑

準實驗設計在無法進行隨機分配時,能幫助研究人員研究因果關係。這些研究不依賴受控的隨機小組,而是使用真實世界的場景,例如學校、診所、社區或地區。

這使得它們在教育、醫療保健和公共政策中特別有用,在這些領域中,研究人員通常需要答案,但無法完全控制誰接受干預措施。

在本指南中,我們將探討最重要的準實驗範例,解釋使每種設計發揮作用的要素,並展示如何在您自己的研究中清晰且有信心地選擇和應用正確的方法。

<CTA title="更快設計出更好的研究" description="在幾分鐘內產生結構清晰、邏輯嚴密的準實驗設計。" buttonLabel="免費試用 Jenni" link="https://app.jenni.ai/register" />

什麼是準實驗研究設計?

準實驗研究設計在沒有隨機分配的情況下檢驗因果關係。

它不創建隨機小組,而是使用在真實場景中已經存在的自然形成的小組,這使得該方法在應用研究中更具現實意義。研究人員通常與現有的教室、醫院或社區開展工作。

正如準實驗設計中所解釋的,準實驗在應用研究中被廣泛使用,因為它們在可行性與有意義的因果見解之間提供了實用的平衡。

與真正的實驗不同,參與者不會被隨機分配到不同的條件中。這可能會使排除其他解釋變得更加困難,因為在干預開始之前,小組之間就可能存在差異。

因此,內部效度在準實驗設計中可能是一個挑戰。即便有這些限制,準實驗方法在社會學、心理學和經濟學等學科中仍然至關重要。

  • 自變量:干預措施或治療方法

  • 因變量:測量的結果

  • 對照組:未接受治療的對比組

  • 實驗組:接受干預措施的小組

<ProTip title="💡 專家提示:" description="在選擇準實驗設計之前,務必清晰定義變量。" />

準實驗設計範例的核心類型

以下是您在實踐中會看到的主要類型。解釋中包含了簡單的範例以及您實際會使用它們的場景。

非等同對照組設計

對兩個小組進行比較,但它們不是隨機分配的。它們是本就存在的。

  • 範例:學校的一個班級採用了新的數學課程。另一個班級使用舊的方法。在學期結束時,您比較他們的測試成績。

  • 應用場景:這在教育研究中無處不在。由於小組在開始時就不是平等的,研究人員必須使用統計學(如共變數分析 ANCOVA)來嘗試解釋最初的差異。最大的挑戰在於處理您未考慮到的變量。

單組前測-後測設計

您對單一小組進行測量,引入某些因素,然後再次對他們進行測量。沒有單獨的對照組。

  • 範例:一家工廠記錄了六個月內發生的事故數量。然後他們推行了安全培訓計劃。之後,他們又追踪了六個月的事故情況,看看數量是否有所下降。

  • 為何其效力較弱:事故數量的下降可能是因為培訓,但也可能是因為同時發生的其他事情,例如生產的季節性放緩。很難確定是什麼原因導致了這一變化。

  • 權衡:這種方法非常容易且成本低廉,這也是它在商業和職場研究中很常見的原因。但它為因果關係提供的證據最弱。

帶非等同對照組的前測-後測設計

這是一個更強大的版本。您有兩個現有的小組,並且在僅向其中一個小組引入變化之前和之後,對這兩個小組都進行測量。

  • 範例:一家診所啟動了一項幫助人們戒煙的新計劃。另一家類似的診所則沒有。您對這兩家診所的吸煙者進行關於其習慣的調查。在第一家診所運行該計劃一年後,您再次對所有人進行調查。

  • 為何它更好:如果實施該計劃的診所顯示出的吸煙率下降幅度遠大於另一家診所,您就可以更有信心該計劃確實發揮了作用。它有助於排除某些外部因素(例如新的公共衛生宣傳活動)同時影響所有人的可能性。

以下是這前三種設計的對比情況:

設計類型

有對照組?

有前測?

證據強度

單組前測-後測

否

是

低

非等同對照組

是

可選

中

帶對照組的前測-後測

是

是

較高

中斷時間序列設計

您不只是進行一次“之前”和一次“之後”的測量,而是在很長一段時間內的多個時間點收集數據。您要在特定事件發生後尋找趨勢的轉變。

  • 範例:一個國家通過了一項對含糖飲料徵稅的法律。研究人員分析了徵稅前幾年和徵稅後幾年逐月的全國汽水銷售數據。他們想看看銷售的長期趨勢是否在徵稅開始時明顯下降或改變了形狀。

  • 為何它有用:它對於評估政策和法律非常有效。看到長期模式的變化比看到兩個單一時間點之間的變化更具說服力。詳細的應用討論可以在真實世界研究中的中斷時間序列設計中找到,該研究展示了基於時間的設計如何應用於真實世界的健康研究中。

<ProTip title="📊 提醒:" description="使用至少 12 個前後時間點進行強大的 ITS 分析。" />

斷點迴歸設計

根據人們在某個量表上是高於還是低於特定的臨界點,將其分配到實驗組中。

  • 範例:一所大學向家庭收入低於 $50,000 的學生提供輔導補助金。然後,研究人員比較剛好符合資格的學生(例如,收入為 $49,500)與剛好錯過資格的學生(例如,收入為 $50,500)的畢業率。

  • 邏輯:其核心想法是,這兩組學生除了微小的收入差異和他們獲得的補助金之外,在其他各個方面幾乎完全相同。他們結果中的任何巨大差異都可以更安全地與補助金聯繫起來。經濟學家和政策分析師因其巧妙的邏輯而非常青睞這種設計。

配對與傾向分數設計

既然無法進行隨機化,您就可以嘗試用統計學來模擬它。您在實驗組中找到個體,並將他們與來自非實驗組的幾乎完全相同的個體進行“配對”。

  • 範例:您正在研究線上大學課程與實體大學課程的對比。您挑選出每一位線上學生,並找到一位具有相同高中 GPA、年齡和專業的實體學生。然後,您比較這些配對學生的成績。

  • 注意事項:您只能根據您可以測量且擁有數據的因素來配對人員。它無法解釋隱藏的差異,例如學生的積極性水平或他們是否能獲得安靜的學習場所。它減少了偏差,但無法完全消除。

<ProTip title="⚙️ 專家提示:" description="配對後務必檢查平衡性,以驗證您的準實驗設計。" />

按領域劃分的真實世界準實驗設計範例

您會在很多地方看到這些方法。以下是它們在幾個主要領域中的實踐情況。

教育

學校通常無法為了實驗而隨機調配孩子。因此,他們會使用現有的小組開展工作。

  • 具體情況:一個學區決定嘗試一項新的線上輔導計劃。他們將其提供給林肯高中的所有學生。與此同時,傑斐遜高中的學生繼續使用舊的自習室系統。在學期結束時,研究人員比較這兩所學校的期末考試成績。

  • 應用場景:當無法進行真正的隨機化時,這是測試新教學工具或計劃的一種標準且實用的方法。

醫療保健

醫院和診所利用現有的患者群體來研究新的程序或系統。

  • 具體情況:一家醫院安裝了一套新的數位系統,供護士追蹤患者的生命體徵。他們查看了該系統上線前六個月內入院患者的平均康復時間,並將其與系統上線後六個月內患者的康復時間進行比較。

  • 應用場景:您不能隨機分配一些患者去接受較差的護理。這種方法讓醫療保健研究人員能夠以受控的方式研究真實世界的改進。

公共政策

當一項新法律或新稅收推出時,它會影響到每個人。研究人員通過觀察隨時間推移的數據來研究其效果。

  • 具體情況:一個州將購買煙草的法定年齡從 18 歲提高到 21 歲。公共衛生官員隨後追蹤了法律變更前後幾年全州青少年的吸煙率,尋找趨勢線的下降。

  • 應用場景:這通常是中斷時間序列設計。這是確定大規模政策是否確實引起了大家所期盼的變化的主要方法。

商業與行銷

公司在全面發布之前會在部分客戶身上測試新想法,這通常是因為無法進行真正的 A/B 測試。

  • 具體情況:一款社交媒體應用開發了一項新的影片功能。他們首先向加拿大的所有用戶發布。在三個月內,他們追蹤加拿大用戶觀看影片的頻率,並與尚未獲得該功能之類似市場(如英國和澳洲)的用戶進行比較。

  • 應用場景:分析師(甚至在 Reddit 等論壇上)將此稱為“分階段推出”。它讓公司能夠在全求發布前了解真實世界的使用情況並發現問題,同時仍能收集對比數據。

這種類型的研究通常介於定性見解和定量測量之間。如果您不確定這些方法有何不同,定性研究與定量研究解釋了每種方法如何為研究設計決策做出貢獻。

準實驗設計的優缺點

了解這些方法的長處和短處,是評判使用它們的研究的關鍵。

優點

最大的優勢在於,當真正的實驗不可行或不符合倫理時,它們能讓您進行研究。

  • 真實世界應用:您可以研究在學校、醫院或城市中實際發生的計劃、政策和治療。您並未創建一個人工的實驗室環境。

  • 倫理實用性:通常,您不能隨機拒絕為某人提供可能有幫助的治療。美國國家衛生研究院指出,正是出於這個原因,許多臨床研究不得不採用非隨機設計。

  • 效率:研究人員經常可以使用已經存在的數據,例如學校記錄或醫院入院日誌。這使得研究的開展速度更快,成本也更低。

  • 規模:這些設計可以應用於大型群體,甚至是整個整個人口,這對於評估新法律或公共衛生宣傳活動等事務是必要的。

缺點

主要的權衡在於對因果關係的論證力較弱。您無法像之前那樣肯定,您所研究的治療是發生任何變化的真正原因。

  • 核心問題:在沒有隨機分配的情況下,您所對比的小組在開始時可能就存在差異。也許新數學課程中的學生有更支持他們的家長。也許接受新療法的患者總體上更健康。這些預先存在的差異可能會使您的結果產生偏差。

  • 混雜變量:這些是未經測量的因素,可能才是導致結果的真正原因。它們是這類研究中持續存在的威脅。

  • 選擇性偏差:人們最終進入某個小組的方式並非隨機。選擇加入新計劃的人可能比不加入的人更有積極性,這本身就可能導致更好的結果。

  • 不確定性:歸根結底,您得到的是強烈的相關性(類似於您在相關性研究中看到的那樣),但並非因果關係的確鑿證據。其證據是提示性的,而非無懈可擊的。

關於這些挑戰以及研究人員如何應對它們的更深入解釋,在準實驗設計的效度與因果推論中進行了討論,該文章探討了準實驗設計中的因果推論和效度問題。

<ProTip title="⚠️ 注意:" description="始終清晰報告研究局限性,以增強研究的可信度。" />

如何循序漸進地設計一項準實驗研究

如果您需要進行其中一項研究,這裡有一條可以直接遵循的路徑。

1. 定義您的問題 從一個清晰的因果關係問題開始。務必具體。

  • 較弱:“這個計劃有效嗎?”

  • 較好:“完成新同儕輔導計劃的高中生,其代數期末考試成績的增幅是否大於未參與該計劃的學生?”

2. 確定您的小組 您不會隨機創建小組。您將使用已經存在的小組。

  • 實驗組:將接受干預措施的人員、教室或地區(例如,採用新軟體的三個公司分部)。

  • 對照/對比組:將照常進行的小組(例如,保留舊系統的兩個分部)。您的目標是使這些小組在開始時盡可能相似。

3. 選擇您的設計 您的選擇完全取決於您的實際情況。

  • 如果您只能接觸到一個小組,您將使用單組前測-後測設計。

  • 如果您有兩個現有的小組,並且可以在前後進行測量,請使用帶非等同對照組的前測-後測設計。

  • 如果您正在研究一項政策變更並擁有多年數據,那麼中斷時間序列設計是您的最佳選擇。

  • 如果干預是由嚴格的臨界點(如測試分數或收入水平)決定的,那麼斷點迴歸設計是最嚴謹的選擇。

4. 解釋其他變量 這是最關鍵的分析步驟。由於您沒有進行隨機化,您必須嘗試在統計學上控制其他因素,並使用盡可能可靠的測量方法。

  • 配對:將實驗組中的每個人與對照組中具有相似特徵(年齡、先前的測試分數等)的人配對。

  • 迴歸分析:利用此分析來孤立您的干預效果,同時在數學上保持其他變量不變。

  • 雙重差分法:將實驗組的變化與對照組的變化進行比較。這有助於消除影響這兩個小組的趨勢。

如果您仍在決定這些方法如何融入您更廣泛的研究方法中,研究典範可以幫助釐清不同的設計如何與研究目標保持一致。

5. 謹慎地進行分析和報告 仔細解讀您的數據。

  • 不要聲稱您“證明”了干預措施引起了變化。可以說,證據“提示”或“支持”了因果聯繫。

  • 坦白說明研究的局限性。明確列出您無法控制但可能影響結果的其他變量。這種誠實態度才是讓研究具有可信度的原因。

在報告研究結果時,引用格式的清晰度對於可信度也很重要。如果您正在撰寫學術論文,et-al apa 範例為研究論文中正確使用引用提供了指導。

<ProTip title="🧠 專家提示:" description="在準實驗中使用雙重差分法來控制時間趨勢。" />

關於準實驗設計的結語

當您無法控制一切時,證明因果關係是多麼棘手,您可能已經有所體會,而且結果可能會讓人感到不確定或容易受到質疑。這確實令人沮喪。這些設計可以幫助您在應對現實條件的同時,仍然獲得有用的答案,即使在無法實現完美設置的情況下也是如此。

<CTA title="將您的研究設想轉化為清晰的設計" description="利用引導式人工智慧支持,清晰且有信心地規劃和構建準實驗研究。" buttonLabel="免費試用 Jenni" link="https://app.jenni.ai/register" />

與其過度思考每一個局限性,不如專注於建立一個清晰的結構並很好地解釋您的選擇。像 Jenni 這樣的工具可以幫助您更快地整理想法並保持寫作流暢,這樣您就可以減少卡住的時間,把更多時間花在推進研究上。

目錄

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文

就在今天,讓您的偉大工作取得進展

今天就和 Jenni 一起撰寫你的第一篇論文,從此不再回頭

免費開始

免信用卡

隨時取消

超過 500 萬

全球學術界

節省了 5.2 小時

每篇論文的平均值

超過 1500 萬

在 Jenni 上撰寫的論文