От
Нейтан Ойюнг
—
Примеры квазиэкспериментального дизайна: типы и реальные сценарии использования
Нейтан Ойюнг
Старший бухгалтер в EY
Получила степень бакалавра в области бухгалтерского учета, окончила аспирантуру по специальности «Бухгалтерский учет»
Квазиэкспериментальные планы помогают исследователям изучать причинно-следственные связи, когда случайное распределение невозможно. Вместо того чтобы полагаться на контролируемые случайные группы, в таких исследованиях используются реальные условия, такие как школы, клиники, районы или регионы.
Это делает их особенно полезными в сфере образования, здравоохранения и государственной политики, где исследователям часто нужны ответы, но они не могут полностью контролировать, кто именно подвергается вмешательству.
В этом руководстве мы рассмотрим наиболее важные примеры квазиэкспериментальных исследований, объясним, за счет чего работает каждый план, и покажем, как четко и уверенно выбрать и применить правильный подход в собственном исследовании.
<CTA title="Проектируйте исследования лучше и быстрее" description="Создавайте структурированные квазиэкспериментальные планы с четкой и сильной логикой за считанные минуты." buttonLabel="Попробовать Jenni бесплатно" link="https://app.jenni.ai/register" />
Что такое квазиэкспериментальный дизайн исследования?
Квазиэкспериментальный план исследования изучает причинно-следственные связи без использования случайного распределения участников по группам.
Вместо создания случайных групп в нем используются естественно сформированные группы, которые уже существуют в реальных условиях, что делает этот подход более реалистичным для прикладных исследований. Исследователи обычно работают с уже существующими классами в школах, больницами или сообществами.
Как объясняется в статье о квазиэкспериментальном дизайне, квазиэксперименты широко используются в прикладных исследованиях, поскольку они предлагают практический баланс между возможностью реализации и получением значимых причинно-следственных выводов.
В отличие от истинного эксперимента, участники не распределяются по условиям случайным образом. Из-за этого может быть сложнее исключить альтернативные объяснения, поскольку группы могут отличаться друг от друга еще до начала вмешательства.
В результате внутренняя валидность может стать проблемой для квазиэкспериментальных планов. Даже при наличии этих ограничений квазиэкспериментальные методы остаются важнейшими в таких дисциплинах, как социология, психология и экономика.
Независимая переменная: вмешательство или воздействие
Зависимая переменная: измеряемый результат
Контрольная группа: группа сравнения, которая не подвергается воздействию
Экспериментальная группа: группа, которая подвергается вмешательству
<ProTip title="💡 Полезный совет:" description="Всегда четко определяйте переменные перед выбором квазиэкспериментального плана." />
Основные типы квазиэкспериментальных планов с примерами
Вот основные типы, с которыми вы столкнетесь на практике. Описания включают простые примеры и сферы их реального применения.
План с неэквивалентной контрольной группой
Сравниваются две группы, но участники не распределялись по ним случайным образом. Эти группы уже существовали ранее.
Пример: В одном классе школы внедряется новая программа по математике. В другом классе используется старый метод. В конце триместра вы сравниваете результаты их тестов.
Где это используется: Этот метод повсеместно встречается в педагогических исследованиях. Поскольку группы изначально не были созданы равными, исследователям приходится использовать статистические методы (например, ANCOVA), чтобы попытаться учесть исходные различия. Главная трудность здесь — работа с переменными, которые вы не учли.
План с предварительным и итоговым тестированием на одной группе
Вы проводите измерения в одной группе, вводите какое-то изменение, а затем снова проводите измерения в этой же группе. Отдельной контрольной группы нет.
Пример: Завод фиксирует количество несчастных случаев за шесть месяцев. Затем проводится программа обучения по технике безопасности. После этого в течение еще шести месяцев отслеживается количество инцидентов, чтобы увидеть, снизилось ли оно.
В чем его слабость: Снижение количества несчастных случаев может быть связано с обучением. Но оно также может быть вызвано чем-то другим, что произошло в то же время, например, сезонным спадом производства. Точно определить причину изменений сложно.
Компромисс: Этот метод очень прост и дешев в реализации, поэтому он популярен в исследованиях бизнеса и рабочих процессов. Однако он дает самые слабые доказательства причинно-следственной связи.
Предварительное и итоговое тестирование с неэквивалентной контрольной группой
Это более надежный вариант. У вас есть две существующие группы, и вы проводите измерения в обеих до и после того, как введете изменения только в одной из них.
Пример: Клиника запускает новую программу помощи в отказе от курения. Другая похожая клиника этого не делает. Вы опрашиваете курильщиков в обеих клиниках об их привычках. После года работы программы в первой клинике вы снова опрашиваете всех участников.
Почему это лучше: Если в клинике с программой наблюдается гораздо более значительное снижение уровня курения, чем во второй клинике, вы можете быть более уверены в эффективности программы. Это помогает исключить вероятность того, что какой-то внешний фактор (например, новая государственная кампания о вреде курения) повлиял на всех одновременно.
Вот как соотносятся эти первые три плана:
Тип плана | Есть контрольная группа? | Есть предварительный тест? | Сила доказательств |
В одной группе с пре- и пост-тестом | Нет | Да | Низкая |
С неэквивалентной контрольной группой | Да | Необязательно | Средняя |
Пре- и пост-тест с контрольной группой | Да | Да | Высокая |
План с прерванным временным рядом
Вместо одного измерения «до» и одного «после» вы собираете данные во множестве точек на протяжении длительного периода. Вы ищете изменение тенденции после определенного события.
Пример: В стране принимается закон о налоге на сладкие напитки. Исследователи анализируют данные о продажах газировки по всей стране помесячно в течение нескольких лет до введения налога и нескольких лет после. Они хотят увидеть, снизился ли долгосрочный тренд продаж или изменилась ли траектория именно в момент введения налога.
Почему это полезно: Этот метод незаменим для оценки эффективности политик и законов. Изменение долгосрочной тенденции выглядит более убедительно, чем просто разница между двумя отдельными моментами времени. Подробное обсуждение прикладного применения можно найти в статье о планах с прерванным временным рядом в реальных исследованиях, где показано, как временные схемы используются в исследованиях сферы здравоохранения.
<ProTip title="📊 Напоминание:" description="Используйте не менее 12 временных точек до и после события для качественного анализа прерванных временных рядов." />
План с разрывным регрессионным дизайном
Участники распределяются в группу воздействия на основе того, оказываются ли они выше или ниже определенного порогового значения по какой-либо шкале.
Пример: Университет предоставляет гранты на репетиторство студентам с доходом семьи ниже 50 000 долларов. Затем исследователи сравнивают показатели успеваемости студентов, которые едва прошли по критерию (например, доход 49 500 долларов), с показателями тех, кому немного не хватило до прохождения (например, доход 50 500 долларов).
Логика метода: Идея заключается в том, что эти две группы студентов практически идентичны во всем, за исключением этой крошечной разницы в доходах и полученного гранта. Любое существенное различие в их последующих результатах можно с большей уверенностью связать с предоставлением гранта. Экономисты и политические аналитики очень любят этот план за его изящную логику.
Методы сопоставления и балансировки показателей склонности
Поскольку вы не можете провести рандомизацию, вы пытаетесь симулировать ее с помощью статистики. Вы находите людей в экспериментальной группе и «сопоставляете» их с практически идентичными людьми из контрольной группы.
Пример: Вы изучаете онлайн-обучение по сравнению с очным обучением в вузе. Вы берете каждого студента онлайн-курса и подбираете для него студента очной формы обучения с таким же средним баллом в школе, того же возраста и специальности. Затем вы сравниваете оценки этих подобранных пар.
Подвох: Вы можете сопоставлять людей только по тем параметрам, которые вы можете измерить и по которым у вас есть данные. Этот метод не может учесть скрытые различия, такие как уровень мотивации студента или наличие у него тихого места для учебы. Метод снижает систематическую ошибку, но не устраняет ее полностью.
<ProTip title="⚙️ Полезный совет:" description="Всегда проверяйте баланс характеристик после сопоставления, чтобы подтвердить качество вашего квазиэкспериментального плана." />
Реальные примеры квазиэкспериментальных исследований по сферам применения
Эти методы встречаются повсеместно. Вот как они работают на практике в нескольких основных областях.
Образование
Школы обычно не могут распределять детей по классам случайным образом ради эксперимента. Поэтому они работают с уже имеющимися группами.
Как это выглядит: Школьный округ решает протестировать новую программу онлайн-репетиторства. Ее предлагают всем учащимся школы Линкольна. В то же время учащиеся школы Джефферсона продолжают учиться по старой системе самостоятельной подготовки. В конце семестра исследователи сравнивают оценки за выпускной экзамен в обеих школах.
Почему это используется: Это стандартный и практичный способ тестирования новых инструментов или программ обучения, когда проведение полноценного рандомизированного эксперимента невозможно.
Здравоохранение
Больницы и клиники используют существующие группы пациентов для изучения новых процедур или терапевтических систем.
Как это выглядит: Больница внедряет новую цифровую систему для медсестер, позволяющую отслеживать жизненно важные показатели пациентов. Они анализируют среднее время восстановления пациентов, поступивших за шесть месяцев до внедрения системы, и сравнивают его со временем восстановления пациентов за шесть месяцев после ее запуска.
Почему это используется: Вы не можете случайным образом назначить некоторым пациентам более худший уход. Этот подход позволяет исследователям в области здравоохранения изучать реальные улучшения контролируемым образом.
Государственная политика
Когда вводится новый закон или налог, это затрагивает всех. Исследователи изучают последствия, анализируя данные во времени.
Как это выглядит: Штат повышает установленный законом возраст для покупки табака с 18 лет до 21 года. Представители здравоохранения отслеживают показатели курения среди подростков по всему штату в течение нескольких лет до и после вступления закона в силу, оценивая изменение линии тренда.
Почему это используется: Зачастую это план с прерванным временным рядом. Это основной способ выяснить, действительно ли масштабная реформа привела к тем изменениям, на которые все надеялись.
Бизнес и маркетинг
Компании тестируют новые функции на части клиентов перед полноценным запуском, часто из-за невозможности провести стандартный A/B-тест.
Как это выглядит: Приложение для социальных сетей разрабатывает новую видеотрансляцию. Сначала ее запускают только для пользователей в Канаде. В течение трех месяцев отслеживается, насколько часто канадские пользователи смотрят видео по сравнению с пользователями на аналогичных рынках, например, в Великобритании и Австралии, где эта функция еще не доступна.
Почему это используется: Аналитики, даже на таких форумах, как Reddit, называют это «поэтапным развертыванием». Это позволяет компании увидеть реальное использование продукта и выявить проблемы до глобального запуска, продолжая собирать сравнительные данные.
Этот тип исследований часто находится на стыке качественного понимания и количественного измерения. Если вы не уверены, чем отличаются эти подходы, статья о качественных и количественных исследованиях объясняет, как каждый метод влияет на принятие решений при планировании научной работы.
Преимущества и недостатки квазиэкспериментального дизайна
Понимание сильных и слабых сторон этих методов является ключом к объективной оценке использующих их исследований.
Преимущества
Главное преимущество заключается в том, что этот подход позволяет проводить исследования, когда проведение истинного эксперимента невозможно или неэтично.
Реальные условия: Вы можете исследовать программы, политики и методы лечения в том виде, в каком они реально существуют в школах, больницах или городах. Вам не нужно создавать искусственные лабораторные условия.
Этическая практичность: Часто бывает невозможно случайным образом отказать кому-то в потенциально полезном лечении. Национальные институты здравоохранения США отмечают, что многие клинические исследования вынуждены использовать нерандомизированные планы именно по этой причине.
Эффективность: Исследователи часто могут использовать уже существующие данные, такие как школьные журналы или протоколы госпитализации. Это делает исследования более быстрыми и менее ресурсоемкими.
Масштабность: Эти планы можно применять к большим группам или даже к населению в целом, что необходимо при оценке новых федеральных законов или общенациональных кампаний в области здравоохранения.
Недостатки
Основной компромисс заключается в меньшей уверенности в причинно-следственной связи. Вы не можете быть до конца уверены, что изучаемое вами воздействие является единственной причиной зафиксированных изменений.
Главная проблема: Без случайного распределения сравниваемые группы могут изначально отличаться друг от друга. Возможно, у учеников в экспериментальном классе по математике были более вовлеченные родители. Или пациенты, получавшие новую терапию, изначально были здоровее. Эти предвзятости могут исказить ваши результаты.
Сопутствующие факторы (конфаундеры): Это неизмеренные факторы, которые на самом деле могут быть причиной полученного результата. Они представляют собой постоянную угрозу в исследованиях подобного рода.
Систематическая ошибка отбора (социологическое смещение): Процесс попадания людей в ту или иную группу не является случайным. Люди, решившие присоединиться к новой программе, могут быть более мотивированными, чем те, кто отказался, что само по себе может привести к лучшим результатам.
Неопределенность: В конечном итоге вы получаете сильную корреляцию, аналогичную той, что наблюдается в корреляционных исследованиях, но не окончательное доказательство причинно-следственной связи. Полученные данные носят характер предположения, а не железного доказательства.
Более глубокое объяснение этих проблем и способов их решения исследователями обсуждается в статье о валидности квазиэкспериментального дизайна и причинно-следственном выводе.
<ProTip title="⚠️ Примечание:" description="Всегда четко указывайте ограничения исследования, чтобы повысить доверие к его результатам." />
Пошаговое руководство по созданию квазиэкспериментального исследования
Если вам необходимо провести подобное исследование, воспользуйтесь следующим простым алгоритмом.
1. Сформулируйте ваш вопрос Начните с ясного вопроса о причине и следствии. Будьте максимально конкретны.
Слабый вариант: «Работает ли программа?»
Более сильный вариант: «Наблюдается ли у старшеклассников, прошедших новую программу взаимного обучения, более значительный рост оценок по алгебре, чем у тех, кто в ней не участвовал?»
2. Определите группы для сравнения Вы не будете формировать группы случайным образом, а воспользуетесь уже существующими.
Экспериментальная группа: Люди, классы или регионы, на которые будет направлено вмешательство (например, три филиала компании, внедряющие новое программное обеспечение).
Контрольная группа/группа сравнения: Группы, которые продолжат работу в обычном режиме (например, два филиала, сохраняющие старую систему). Ваша цель — сделать эти группы как можно более похожими с самого начала.
3. Выберите план исследования Ваш выбор полностью зависит от того, что практически осуществимо в вашей ситуации.
Если у вас есть доступ только к одной группе, вы будете использовать план с предварительным и итоговым тестированием в одной группе.
Если у вас есть две готовые группы и вы можете измерить показатели до и после воздействия, используйте пре- и пост-тест с неэквивалентной контрольной группой.
Если вы изучаете изменение политики и у вас есть данные за много лет, лучшим выбором будет прерванный временной ряд.
Если распределение участников определяется строгим порогом (например, тестовым баллом или уровнем дохода), наиболее строгим вариантом будет разрывный регрессионный дизайн.
4. Учтите другие переменные Это самый важный аналитический шаг. Поскольку рандомизация не проводилась, вам придется контролировать другие факторы статистически и использовать максимально надежные показатели.
Сопоставление (matching): Подберите для каждого человека в экспериментальной группе человека из контрольной группы с похожими характеристиками (возраст, средний балл и т.д.).
Регрессионный анализ: Используйте его для изоляции эффекта вашего вмешательства, математически удерживая другие переменные постоянными.
Метод разности разностей (difference-in-differences): Сравните изменение показателей в экспериментальной группе с изменением показателей в контрольной группе. Это помогает отсечь влияние общих для всех групп внешних факторов.
Если вы все еще думаете, как эти методы вписываются в вашу общую методологию, статья об исследовательских парадигмах поможет определить, какие планы лучше соответствуют вашим научным целям.
5. Анализируйте данные и формулируйте выводы с осторожностью Внимательно интерпретируйте свои цифры.
Не утверждайте, что вы «доказали», будто именно вмешательство вызвало изменения. Говорите о том, что данные «свидетельствуют» или «подтверждают» наличие причинно-следственной связи.
Открыто указывайте на ограничения работы. Перечислите другие переменные, которые вы не могли проконтролировать, но которые могли повлиять на результаты. Честность — залог научной авторитетности.
При изложении результатов точность оформления цитат также повышает научную убедительность исследования. Если вы оформляете академическую работу, практическое руководство к формату APA с примерами et al. подскажет правила оформления источников.
<ProTip title="🧠 Полезный совет:" description="Используйте метод разности разностей для контроля временных тенденций в квазиэкспериментах." />
Заключение о квазиэкспериментальном дизайне
Вы, вероятно, понимаете, как сложно доказать причинно-следственную связь, когда контролировать все факторы невозможно, а полученные результаты вызывают сомнения. Это может вызывать разочарование. Описанные планы помогают работать в естественных условиях и получать полезные ответы даже тогда, когда построить идеальный эксперимент не представляется возможным.
<CTA title="Превратите свою научную идею в четкий план" description="Планируйте и структурируйте квазиэкспериментальные исследования с легкостью и уверенностью благодаря поддержке искусственного интеллекта." buttonLabel="Попробовать Jenni бесплатно" link="https://app.jenni.ai/register" />
Вместо того чтобы излишне концентрироваться на каждом ограничении, сосредоточьтесь на построении логичной структуры и грамотном обосновании своего выбора. Такие инструменты, как Jenni, помогут быстрее организовать ваши мысли и сделать текст лаконичным, чтобы вы тратили меньше времени на рутину и больше — на развитие вашего исследования.