Для конструирования и оценки экспериментальных процедур используются понятия: идеальный эксперимент, эксперимент полного соответствия и бесконечный эксперимент.
       Идеальный эксперимент– это эксперимент, организованный таким образом, что экспериментатор изменяет лишь независимую переменную, зависимая переменная контролируется, а все остальные условия эксперимента остаются неизменными. Идеальный эксперимент предполагает эквивалентность всех испытуемых, неизменность их характеристик во времени, отсутствие самого времени. Он никогда не может быть осуществлен в реальности, так как в жизни изменяются не только интересующие исследователя параметры, но и ряд других условий.
      Соответствие реального эксперимента идеальному выражается в такой его характеристике, как внутренняя валидность.Внутренняя валидность показывает достоверность результатов, которую обеспечивает реальный эксперимент по сравнению с идеальным. Чем больше влияют на изменение зависимых переменных не контролируемые исследователем условия, тем ниже внутренняя валидность эксперимента, следовательно, больше вероятность того, что факты, обнаруженные в эксперименте, являются артефактами. Высокая внутренняя валидность – главный признак хорошо проведенного эксперимента.
      Д. Кэмпбелл выделяет следующие факторы, угрожающие внутренней валидности эксперимента: фактор фона, фактор естественного развития, фактор тестирования, погрешность измерения, статистическая регрессия, неслучайный отбор, отсеивание. Если они не контролируются, то приводят к появлению соответствующих эффектов.
      Фактор фона(истории) включает события, которые происходят между предварительным и окончательным измерением и могут вызвать изменения в зависимой переменной наряду с влиянием независимой переменной. Фактор естественного развитиясвязан с тем, что изменения в уровне зависимой переменной могут возникнуть в связи с естественным развитием участников эксперимента (взросление, нарастание утомления и т. п.). Фактор тестированиязаключается во влиянии предварительных измерений на результаты последующих. Фактор погрешности измерениясвязан с неточностью или изменениями в процедуре или методе измерения экспериментального эффекта. Фактор статистической регрессиипроявляется в том случае, если для участия в эксперименте были отобраны испытуемые с крайними показателями каких-либо оценок. Фактор неслучайного отборасоответственно встречается в тех случаях, когда при формировании выборки отбор участников проводился неслучайным образом. Фактор отсеиванияпроявляется в том случае, если испытуемые неравномерно выбывают из контрольной и экспериментальной групп.
      Экспериментатор должен учитывать и по возможности ограничивать влияние факторов, угрожающих внутренней валидности эксперимента.
       Эксперимент полного соответствия– это экспериментальное исследование, в котором все условия и их изменения отвечают реальности. Приближение реального эксперимента к эксперименту полного соответствия выражается во внешней валидности.От уровня внешней валидности зависит степень переносимости результатов эксперимента в реальность. Внешняя валидность, по определению Р. Готтсданкера, влияет на достоверность выводов, которую дают результаты реального эксперимента по сравнению с экспериментом полного соответствия. Для достижения высокой внешней валидности нужно, чтобы уровни дополнительных переменных в эксперименте соответствовали их уровням в реальности. Эксперимент, который не имеет внешней валидности, считается неверным.
      К факторам, угрожающим внешней валидности, относят следующие:
      • реактивный эффект (заключается в уменьшении или увеличении восприимчивости испытуемых к экспериментальному влиянию вследствие предыдущих измерений);
      • эффект взаимодействия отбора и влияния (состоит в том, что экспериментальное влияние будет существенным только для участников данного эксперимента);
      • фактор условий эксперимента (может привести к тому, что экспериментальный эффект может наблюдаться только в данных специально организованных условиях);
      • фактор интерференции влияний (проявляется при предъявлении одной группе испытуемых последовательности взаимоисключающих влияний).
      Заботу о внешней валидности экспериментов особо проявляют исследователи, работающие в прикладных областях психологии – клинической, педагогической, организационной, поскольку в случае невалидного исследования его результаты ничего не дадут при переносе их в реальные условия.
       Бесконечный экспериментпредполагает неограниченное количество опытов, проб для получения все более точных результатов. Увеличение количества проб в эксперименте с одним испытуемым ведет к повышению надежностирезультатов эксперимента. В экспериментах с группой испытуемых повышение надежности происходит при увеличении числа испытуемых. Однако суть эксперимента состоит именно в том, чтобы на основе ограниченного числа проб или при помощи ограниченной группы испытуемых выявить причинно-следственные связи между явлениями. Поэтому бесконечный эксперимент не только невозможен, но и бессмыслен. Для достижения высокой надежности эксперимента количество проб или число испытуемых должно соответствовать изменчивости изучаемого явления.
      Следует отметить, что при увеличении числа испытуемых повышается и внешняя валидность эксперимента, так как его результаты могут быть перенесены на более широкую популяцию. Для проведения экспериментов с группой испытуемых необходимо рассмотреть вопрос об экспериментальных выборках.

      Как указывалось выше, эксперимент может проводиться либо с одним испытуемым, либо с группой испытуемых. Эксперимент с одним испытуемым проводится лишь в некоторых специфических ситуациях. Во-первых, это ситуации, когда индивидуальными различиями испытуемых можно пренебречь, т. е. испытуемым может быть любой человек (если в эксперименте изучаются его особенности в отличие, например, от животного). В других ситуациях, напротив, испытуемый представляет собой уникальный объект (гениальный шахматист, музыкант, художник и др.). Возможны также ситуации, когда от испытуемого требуется особая компетентность как результат обучения или неординарного жизненного опыта (единственный выживший в авиационной катастрофе и т. п.). Одним испытуемым ограничиваются и в тех случаях, когда повторение данного эксперимента с участием других испытуемых невозможно. Для экспериментов с одним испытуемым разработаны особые экспериментальные планы (подробно о них см. 4.7).
      Чаще эксперименты проводятся с группой испытуемых. В этих случаях выборка испытуемых должна представлять собой модель генеральной совокупности,на которую затем будут распространяться результаты исследования. Первоначально исследователь решает проблему численности экспериментальной выборки. В зависимости от цели исследования и возможности экспериментатора она может составлять от нескольких испытуемых до нескольких тысяч человек. Количество испытуемых в отдельной группе (экспериментальной или контрольной) варьируется от 1 до 100 человек. Для применения статистических методов обработки рекомендуется число испытуемых в сравниваемых группах не менее 30–35 человек. Кроме того, целесообразно увеличивать количество испытуемых по крайней мере на 5—10 % от требуемого, так как часть из них или их результатов будет «отбракована» в ходе эксперимента.
      Для формирования выборки испытуемых необходимо учитывать несколько критериев.
      1.  Содержательный.Он заключается в том, что подбор группы испытуемых должен соответствовать предмету и гипотезе исследования. (Например, бессмысленно набирать в группу испытуемых детей двухлетнего возраста для выявления уровня произвольного запоминания.) Желательно создать идеальные представления об объекте экспериментального исследования и при формировании группы испытуемых минимально отклоняться от характеристик идеальной экспериментальной группы.
      2.  Критерий эквивалентности испытуемых.При формировании группы испытуемых следует учесть все значимые характеристики объекта исследования, различия в выраженности которых могут существенно повлиять на зависимую переменную.
      3.  Критерий репрезентативности.Группа лиц, участвующих в эксперименте, должна представлять всю часть генеральной совокупности, на которую будут распространяться результаты эксперимента. Величина экспериментальной выборки определяется видом статистических мер и выбранной точностью (достоверностью) принятия или отвержения экспериментальной гипотезы.
      Рассмотрим стратегии отбора испытуемых из популяции.
       Случайная стратегиязаключается в том, что каждому члену генеральной совокупности предоставляется равный шанс попадания в экспериментальную выборку. Для этого каждому индивиду присваивается номер, а затем с помощью таблицы случайных чисел формируется экспериментальная выборка. Данная процедура трудноосуществима, поскольку каждый представитель интересующей исследователя популяции должен быть учтен. Кроме того, случайная стратегия дает хорошие результаты при формировании экспериментальной выборки большого объема.
       Стратометрический отбориспользуется в том случае, если в экспериментальной выборке обязательно должны быть представлены испытуемые с определенным набором характеристик (пол, возраст, уровень образования и т. п.). Выборка составляется таким образом, чтобы в ней были равно представлены испытуемые каждой страты (слоя) с заданными характеристиками.
       Стратометрический случайный отборсовмещает две предыдущие стратегии. Представителям каждой страты присваиваются номера и из них случайным образом формируется экспериментальная выборка. Данная стратегия эффективна при отборе экспериментальной выборки небольшого объема.
       Репрезентативное моделированиеприменяется в том случае, когда исследователю удается создать модель идеального объекта экспериментального исследования. Характеристики реальной экспериментальной выборки должны минимально отклоняться от характеристик идеальной экспериментальной выборки. Если исследователю известны не все характеристики идеальной модели экспериментального исследования, то применяется стратегия приближенного моделирования.Чем точнее набор критериев, описывающих популяцию, на которую предполагается распространить выводы эксперимента, тем выше его внешняя валидность.
      Иногда в качестве экспериментальной выборки используются реальные группы,при этом в эксперименте либо участвуют добровольцы, либо все испытуемые привлекаются принудительно. И в том и в другом случае нарушается внешняя и внутренняя валидность.
      После формирования экспериментальной выборки экспериментатор составляет план исследования. Достаточно часто эксперимент проводится с несколькими группами, экспериментальными и контрольными, которые помещаются в разные условия. Экспериментальные и контрольные группы должны быть эквивалентными на момент начала экспериментального воздействия.
      Процедура подбора эквивалентных групп и испытуемых называется рандомизацией.По мнению ряда авторов, эквивалентность групп может быть достигнута при попарном отборе.В этом случае экспериментальная и контрольная группы составляются из индивидов, эквивалентных по значимым для эксперимента побочным параметрам. Идеальный вариант для попарного отбора – привлечение близнецовых пар. Рандомизация с выделением стратзаключается в подборе однородных подгрупп, в которых испытуемые уравнены по всем характеристикам, кроме интересующих исследователя дополнительных переменных. Иногда для выделения значимой дополнительной переменной все испытуемые тестируются и ранжируются по уровню ее выраженности. Экспериментальная и контрольная группы формируются так, чтобы испытуемые, обладающие одинаковыми или близкими значениями переменной, попали в разные группы. Распределение испытуемых на экспериментальную и контрольную группы может проводиться и случайным методом.Как уже указывалось выше, при большой численности экспериментальной выборки этот способ дает вполне удовлетворительные результаты.

       Экспериментальный план– это тактика экспериментального исследования, воплощенная в конкретной системе операций планирования эксперимента. Основными критериями классификации планов являются:
      • состав участников (индивид или группа);
      • количество независимых переменных и их уровней;
      • виды шкал представления независимых переменных;
      • метод сбора экспериментальных данных;
      • место и условия проведения эксперимента;
      • особенности организации экспериментального воздействия и способа контроля.
       Планы для групп испытуемых и для одного испытуемого.Все экспериментальные планы можно разделить по составу участников на планы для групп испытуемых и планы для одного испытуемого.
      Эксперименты с группой испытуемыхимеют следующие преимущества: возможность обобщения результатов эксперимента на популяцию; возможность использования схем межгрупповых сравнений; экономия времени; применение методов статистического анализа. К недостаткам данного типа экспериментальных планов можно отнести: влияние индивидуальных различий между людьми на результаты эксперимента; проблему репрезентативности экспериментальной выборки; проблему эквивалентности групп испытуемых.
      Эксперименты с одним испытуемым– это частный случай «планов с маленьким N».Дж. Гудвин указывает на следующие причины использования таких планов: потребности в индивидуальной валидности, так как в экспериментах с большим Nвозникает проблема, когда обобщенные данные не характеризуют ни одного испытуемого. Эксперимент с одним испытуемым проводится также в уникальных случаях, когда в силу ряда причин невозможно привлечь много участников. В этих случаях целью эксперимента является анализ уникальных явлений и индивидуальных характеристик.
      Эксперимент с маленьким N, по мнению Д. Мартина, имеет следующие преимущества: отсутствие сложных статистических подсчетов, легкость в интерпретации результатов, возможность изучения уникальных случаев, привлечение одного-двух участников, широкие возможности манипуляции независимыми переменными. Ему свойственны и некоторые недостатки, в частности сложность процедур контроля, затруднение при обобщении результатов; относительная неэкономичность по времени.
      Рассмотрим планы для одного испытуемого.
       Планирование временных серий.Основным показателем влияния независимой переменной на зависимую при реализации такого плана является изменение характера ответов испытуемого во времени. Простейшая стратегия: схема А– В. Испытуемый первоначально выполняет деятельность в условиях А, а затем в условиях В. Для контроля «эффекта плацебо» применяется схема: А – В – А.(«Эффект плацебо» – это реакции испытуемых на «пустые» воздействия, соответствующие реакциям на реальные воздействия.) В данном случае испытуемый не должен заранее знать, какое из условий является «пустым», а какое реальным. Однако эти схемы не учитывают взаимодействия воздействий, поэтому при планировании временных серий, как правило, применяют схемы регулярного чередования (А – В – А– В), позиционного уравнивания (А – В – В– А) или случайного чередования. Применение более «длинных» временных серий увеличивает возможность обнаружения эффекта, но приводит к ряду негативных последствий – утомлению испытуемого, снижению контроля за другими дополнительными переменными и т. п.
       План альтернативных воздействийявляется развитием плана временных серий. Его специфика заключается в том, что воздействия Аи Врандомизированно распределяются во времени и предъявляются испытуемому раздельно. Затем сравниваются эффекты от каждого из воздействий.
       Реверсивный планприменяется для изучения двух альтернативных форм поведения. Первоначально регистрируется базовый уровень проявления обеих форм поведения. Затем предъявляется комплексное воздействие, состоящее из специфического компонента для первой формы поведения и дополнительного для второй. Через определенное время сочетание воздействий видоизменяют. Эффект двух комплексных воздействий оценивается.
       План возрастания критериевчасто используется в психологии обучения. Суть его состоит в том, что регистрируется изменение поведения испытуемого в ответ на прирост воздействия. При этом следующее воздействие предъявляется лишь после выхода испытуемого на заданный уровень критерия.
      При проведении экспериментов с одним испытуемым следует учитывать, что основные артефакты практически неустранимы. Кроме того, в этом случае, как ни в каком другом, проявляется влияние установок экспериментатора и отношений, которые складываются между ним и испытуемым.
      Р. Готтсданкер предлагает различать качественные и количественные экспериментальные планы. В качественныхпланах независимая переменная представлена в номинативной шкале, т. е. в эксперименте используются два или более качественно разных условия.
      В количественныхэкспериментальных планах уровни независимой переменной представлены в интервальных, ранговых или пропорциональных шкалах, т. е. в эксперименте используются уровни выраженности того или иного условия.
      Возможна ситуация, когда в факторном эксперименте одна переменная будет представлена в количественном, а другая – в качественном виде. В таком случае план будет комбинированным.
       Внутригрупповые и межгрупповые экспериментальные планы.Т.В. Корнилова определяет два типа экспериментальных планов по критерию количества групп и условий проведения эксперимента: внутригрупповые и межгрупповые. К внутригрупповымотносятся планы, в которых влияние вариантов независимой переменной и измерение экспериментального эффекта происходят в одной группе. В межгрупповыхпланах влияние вариантов независимой переменной осуществляется в разных экспериментальных группах.
      Преимуществами внутригруппового плана являются: меньшее количество участников, устранение факторов индивидуальных отличий, уменьшение общего времени проведения эксперимента, возможность доказательства статистической значимости экспериментального эффекта. К недостаткам относятся неконстантность условий и проявление «эффекта последовательности».
      Преимуществами межгруппового плана являются: отсутствие «эффекта последовательности», возможность получения большего количества данных, сокращение времени участия в эксперименте для каждого испытуемого, уменьшение эффекта выбывания участников эксперимента. Главным недостатком межгруппового плана является неэквивалентность групп.
       Планы с одной независимой переменной и факторные планы.По критерию количества экспериментальных воздействий Д. Мартин предлагает различать планы с одной независимой переменной, факторные планы и планы с серией экспериментов. В планах с одной независимой переменнойэкспериментатор манипулирует одной независимой переменной, которая может иметь неограниченное количество вариантов проявления. В факторныхпланах (подробно о них см. с. 120) экспериментатор манипулирует двумя и более независимыми переменными, исследует все возможные варианты взаимодействия их разных уровней.
      Планы с серией экспериментовпроводятся для постепенного исключения конкурирующих гипотез. В конце серии экспериментатор приходит к верификации одной гипотезы.
       Доэкспериментальные, квазиэкспериментальные планы и планы истинных экспериментов.Д. Кэмпбелл предложил разделить все экспериментальные планы для групп испытуемых на следующие группы: доэкспериментальные, квазиэкспериментальные и планы истинных экспериментов. В основе этого деления лежит близость реального эксперимента к идеальному. Чем меньше артефактов провоцирует тот или иной план и чем строже контроль дополнительных переменных, тем ближе эксперимент к идеальному. Доэкспериментальные планы менее всего учитывают требования, предъявляемые к идеальному эксперименту. В.Н. Дружинин указывает, что они могут служить лишь иллюстрацией, в практике научных исследований их следует по возможности избегать. Квазиэкспериментальные планы являются попыткой учета реалий жизни при проведении эмпирических исследований, они специально создаются с отступлением от схем истинных экспериментов. Исследователь должен осознавать источники артефактов – внешних дополнительных переменных, которые он не может контролировать. Квазиэкспериментальный план применяется тогда, когда применение лучшего плана невозможно.
      Систематизированные признаки доэкспериментальных, квазиэкспериментальных планов и планов истинных экспериментов приводятся в нижеследующей таблице.
      При описании экспериментальных планов будем пользоваться символизацией, предложенной Д. Кэмпбеллом: R– рандомизация; X– экспериментальное воздействие; O– тестирование.
      К доэксперименталъным планамотносятся: 1) исследование единичного случая; 2) план с предварительным и итоговым тестированием одной группы; 3) сравнение статистических групп.
      При исследовании единичного случаяоднократно тестируется одна группа после экспериментального воздействия. Схематично этот план можно записать в виде:
       X O
      Контроль внешних переменных и независимой переменной полностью отсутствует. В таком эксперименте нет никакого материала для сравнения. Результаты могут быть сопоставлены лишь с обыденными представлениями о реальности, научной информации они не несут.
      План с предварительным и итоговым тестированием одной группычасто применяется в социологических, социально-психологических и педагогических исследованиях. Его можно записать в виде:
      O1 XO2
      В этом плане отсутствует контрольная группа, поэтому нельзя утверждать, что изменения зависимой переменной (разница между O1и O2), регистрируемые в ходе тестирования, вызваны именно изменением независимой переменной. Между начальным и итоговым тестированием могут произойти и другие «фоновые» события, воздействующие на испытуемых вместе с независимой переменной. Этот план не позволяет контролировать также эффект естественного развития и эффект тестирования.
       Сравнение статистических группбудет точнее назвать планом для двух неэквивалентных групп с тестированием после воздействия. Он может быть записан в таком виде:
      XO1
      O2
      Этот план позволяет учитывать эффект тестирования, благодаря введению контрольной группы контролировать ряд внешних переменных. Однако с его помощью невозможно учесть эффект естественного развития, так как нет материала для сравнения состояния испытуемых на данный момент с их начальным состоянием (предварительное тестирование не проводилось). Для сравнения результатов контрольной и экспериментальной групп используют t-критерий Стьюдента. Однако следует учитывать, что различия в результатах тестирования могут быть обусловлены не экспериментальным воздействием, а различием в составе групп.
       Квазиэкспериментальные планыявляются своеобразным компромиссом между реальностью и строгими рамками истинных экспериментов. Существуют следующие типы квазиэкспериментальных планов в психологическом исследовании: 1) планы экспериментов для неэквивалентных групп; 2) планы с предварительным и итоговым тестированием различных рандомизированных групп; 3) планы дискретных временных серий.
      План эксперимента для неэквивалентных группнаправлен на установление причинно-следственной зависимости между переменными, однако в нем отсутствует процедура уравнивания групп (рандомизация). Этот план может быть представлен следующей схемой:
       O1 X O2
      O3 O4
      К проведению эксперимента в данном случае привлекаются две реальные группы. Обе группы тестируются. Затем одна группа подвергается экспериментальному воздействию, а другая – нет. Затем обе группы повторно тестируются. Результаты первого и второго тестирования обеих групп сопоставляют, для сравнения используют t-критерий Стьюдента и дисперсионный анализ. Различие O2и O4 свидетельствует о естественном развитии и фоновом воздействии. Для выявления действия независимой переменной необходимо сравнивать 6(O1 O2) и 6(O3 O4), т. е. величины сдвигов показателей. Значимость различия приростов показателей будет свидетельствовать о влиянии независимой переменной на зависимую. Этот план аналогичен плану истинного эксперимента для двух групп с тестированием до и после воздействия (см. с. 118). Главным источником артефактов является различие в составе групп.
      План с предварительным и итоговым тестированием различных рандомизированных группотличается от плана истинного эксперимента тем, что предварительное тестирование проходит одна группа, а итоговое – эквивалентная группа, которая подверглась воздействию:
       R O1
       R X O2
      Главный недостаток этого квазиэкспериментального плана – невозможность контролировать эффект «фона» – влияние событий, происходящих наряду с экспериментальным воздействием в период между первым и вторым тестированием.
      Планы дискретных временных серийподразделяются на несколько видов в зависимости от количества групп (одной или нескольких), а также в зависимости от количества экспериментальных воздействий (одиночного или серии воздействий).
      План дискретных временных серий для одной группы испытуемых состоит в том, что первоначально определяется исходный уровень зависимой переменной на группе испытуемых с помощью серии последовательных замеров. Затем применяют экспериментальное воздействие и проводят серию аналогичных замеров. Сравнивают уровни зависимой переменной до и после воздействия. Схема этого плана:
      O1O2O3O4O5O6
      Главный недостаток плана дискретных временных серий в том, что он не дает возможности отделить результат влияния независимой переменной от влияния фоновых событий, которые происходят в течение исследования.
      Модификацией этого плана является квазиэксперимент по схеме временных серий, в котором воздействие перед замером чередуется с отсутствием воздействия перед замером. Его схема такова:
      ХO1 – O2ХO3 – O4 ХO5
      Чередование может быть регулярным или случайным. Этот вариант подходит лишь в том случае, когда эффект воздействия обратим. При обработке данных, полученных в эксперименте, серии разбивают на две последовательности и сравнивают результаты замеров, где было воздействие, с результатами замеров, где оно отсутствовало. Для сравнения данных используется t-критерий Стьюдента с числом степеней свободы n– 2, где n– число ситуаций одного типа.
      Планы временных серий часто реализуются на практике. Однако при их применении нередко наблюдается так называемый «эффект Хотторна». Впервые его обнаружили американские ученые в 1939 г., когда проводили исследование на заводе Хотторна в Чикаго. Предполагалось, что изменение системы организации труда позволит повысить его производительность. Однако в ходе эксперимента любые изменения в организации труда приводили к повышению его производительности. В результате оказалось, что само по себе участие в эксперименте повысило мотивацию к труду. Испытуемые поняли, что ими лично интересуются, и стали работать продуктивнее. Чтобы контролировать этот эффект, должна использоваться контрольная группа.
      Схема плана временных серий для двух неэквивалентных групп, из которых одна не получает воздействия, выглядит так:
      O1O2O3O4O5O6O7O8O9O10
      O1O2O3O4O5O6O7O8O9O10
      Такой план позволяет контролировать эффект «фона». Обычно он используется исследователями при изучении реальных групп в образовательных учреждениях, клиниках, на производстве.
      Еще один специфический план, который нередко используется в психологии, называют экспериментом ex-post-facto.Он часто применяется в социологии, педагогике, а также в нейропсихологии и клинической психологии. Стратегия применения этого плана состоит в следующем. Экспериментатор сам не воздействует на испытуемых. В качестве воздействия выступает некоторое реальное событие из их жизни. Экспериментальная группа состоит из «испытуемых», подвергшихся воздействию, а контрольная группа – из людей, не испытавших его. При этом группы по возможности уравниваются на момент своего состояния до воздействия. Затем проводится тестирование зависимой переменной у представителей экспериментальной и контрольной групп. Данные, полученные в результате тестирования, сопоставляются и делается вывод о влиянии воздействия на дальнейшее поведение испытуемых. Тем самым план ex-post-factoимитирует схему эксперимента для двух групп с их уравниванием и тестированием после воздействия. Его схема такова: