Психология развития: методы исследования - Скотт Миллер

Как следует из вышесказанного, конструктная, как и критериальная валидность в большинстве случаев оценивается через проверку ожидаемых корреляций между результатами измерений. Однако между этими двумя видами валидности имеются существенные различия. Критериальная валидность обычно оценивается по какому-то одному внешнему показателю, например школьной успеваемости, в отношении которого мы хотим сделать прогноз; конструктная же валидность оценивается по целой системе предполагаемых взаимосвязей. Цель определения критериальной валидности, как правило, — в прагматическом прогнозе; цель определения конструктной валидности — валидизация лежащей в основе теста теории. Поэтому то, что последняя из рассмотренных форм валидности носит то же название, что и одна из форм валидности эксперимента, о которой рассказывалось в главе 2, не случайно (хотя и может смутить читателя). В обоих случаях сутью вопроса является теоретическая обоснованность: в одном — в отношении измерения, в другом — в отношении исследования в целом.

Надежность

Стандартизованный тест должен обладать не только валидностью, но и удовлетворять критерию надежности. Вопрос надежности в его применении к тестам также довольно очевиден: Согласованы ли результаты измерения данным тестом? Предположим, что мы даем одному ребенку IQ -тест несколько раз подряд, а затем сравниваем результаты. Если они близки, тест обладает хорошей надежностью; значительный разброс результатов свидетельствовал бы о недостаточной надежности.

Пример с IQ иллюстрирует одну из основных форм надежности — ретестовую надежность. Существует два способа оценки ретестовой надежности. Один — дать один и тот же тест дважды. Однако понятно, что если тесты одинаковы, ребенок может вспомнить свои ответы, а это приведет к искусственному завышению надежности (это также может привести к занижению надежности, если ребенок воспримет повторное предъявление теста как сигнал к изменению своих ответов). Дабы избежать этой проблемы, ретестовую надежность иногда оценивают с использованием взаимозаменяемых форм теста. Как следует из названия, такой подход требует наличия двух разных, но эквивалентных версий теста, при этом один вариант предъявляется в момент 1, а другой — в момент 2. Вновь высокая согласованность ответов будет свидетельствовать о высокой надежности.

Второй из основных типов надежности называется надежностью внутренней согласованности. Теперь суть состоит в согласованности ответов на разные вопросы одного теста, предъявляемого однократно. Как правило, для этого пользуются процедурой «расщепления» теста на нечетные и четные задания с

последующим сравнением ответов между двумя этими категориями. Вновь о высокой надежности будет говорить высокая согласованность ответов.

Важно отличать надежность от других конструктов, которые также имеют отношение к согласованности независимо от полученных результатов. Предположим, что интервал между первым и вторым выполнением теста интеллекта не один день, а два года. Обнаружив значительное расхождение между этими двумя показателя -ми, должны мы сделать вывод о ненадежности теста или о том, что IQ ребенка действительно изменился за два года? Допустим, мы решили измерять не интеллект, а вес. Если наши измерения показывают, что 9-летний ребенок весит на 15 фунтов больше, чем он весил в 7-летнем возрасте, должны ли мы заключить, что наши весы неисправны? Разумеется, вероятнее всего, что наш ребенок действительно прибавил в весе за прошедшие два года, то есть в период физического развития стабильность веса далека от идеальной. Многие аспекты жизнедеятельности ребенка (включая успешность выполнения IQ -тестов) далеки от идеальной стабильности в период его развития. Поэтому важно понимать разницу между надежностью измерения и стабильностью поведения.

Надежность измерения также важно отличать от типичности поведения. Вопрос типичности — это вопрос согласованности поведения в разных ситуациях. Предположим, нас интересует агрессия у дошкольников. Мы идем в детский сад и регистрируем все наблюдаемые там акты агрессии. На основе полученных данных мы вычисляем индекс агрессии для каждого ребенка. Затем мы отправляемся домой к детям и измеряем агрессию там. Обнаруживается, что наши показатели агрессии в домашних условиях слабо связаны с показателями агрессии в детском саду — иными словами, эти показатели существенно расходятся. Заключим ли мы, что один или оба метода измерения ненадежны? Хотя это вполне возможный вывод, более разумно было бы заключить, что уровень агрессии зависит от обстановки. В этом случае обнаруженный факт связан с типичностью поведения, а не с надежностью измерений.

Вероятно, полезно было бы резюмировать сказанное выше. Надежность — это свойство метода измерения; стабильность и типичность — это свойства поведения. Надежность — это то, что исследователь всегда пытается максимизировать. Стабильность и типичность же — это феномены, которые нужно изучать, а не максимизировать. Наконец, эти феномены можно изучать только по достижении достаточно высокого уровня надежности. Только будучи уверенными в надежности наших методов для определенного времени и ситуации, мы можем попробовать оценить согласованность поведения во времени (вопрос стабильности)*и в разных ситуациях (вопрос типичности).

Регрессия

Вернемся на время к ретестовой надежности. Надежность, которая далека от идеальной подразумевает, что результаты второго выполнения теста отличаются от результатов, полученных при первом тестировании. Можно ли уточнить это обобщенное утверждение и сказать что-либо о направлении изменения, то есть повысятся или понизятся результаты при втором предъявлении? Если рассматривать индивидуальные случаи, то предугадать направление измерения нельзя. Однако на уровне среднегрупповых показателей такой прогноз возможен. В целом испытуемые, получающие при первом тестировании низкие результаты, во второй раз справляются с заданиями успешнее, а испытуемые, получающие при первом тестировании высокие результаты, на второй раз справляются хуже. Тенденция, проявляющаяся в изменении при повторном тестировании изначально крайних показателей в направлении группового среднего, называется регрессией к среднему. Прежде чем попытаться объяснить, почему это происходит, рассмотрим конкретный пример. Допустим, мы предлагаем отобранной группе детей некий тест IQ и получаем распределение баллов, изображенное на рис. 4.2. Часть детей (пустые кружочки) получила оценки значительно ниже среднего, часть (закрашенные кружки) — значительно выше среднего, а результаты остальных (зачеркнутые кружки) находились в пределах среднего. Теперь предположим, что мы даем тот же тест той же группе неделю спустя и получаем распределение, изображенное на рис. 4.3. Как можно заметить, у детей, получивших первоначально низкие результаты, успешность в среднем повысилась, а у детей, первоначально получивших высокие результаты — снизилась. Таким образом, у обеих групп наблюдалась регрессия к среднему. Однако, поскольку некоторые из тех, кто первоначально справился с заданиями на среднем уровне, впоследствии улучшили или ухудшили свои результаты, общий диапазон значений и среднее значение остались неизменными.

Почему происходит регрессия? Результат любого испытуемого можно рассматривать как сумму двух компонентов — «истинного результата», или фактического значения измеряемого параметра, и погрешности, обусловленной несовершенством измерения. Ясно, что «погрешность» — это еще один способ описания надежности: абсолютная надежность подразумевает отсутствие погрешностей; и наоборот, чем больше погрешность, тем ниже надежность. В отношении погрешности обычно бывают оправданны два допущения. Первое — среди истинных показателей погрешность распределена по закону нормального распределения. Это означает, что небольшие погрешности встречаются чаще, чем существенные; это также означает, что погрешности с равной вероятностью могут привести как к завышению, так и к занижению индивидуальной оценки каждого испытуемого. Второе допущение — погрешности случайным образом распределены между испытуемыми и между тестовыми ситуациями. Это означает, что погрешность в результатах определенного испытуемого в одном тесте не коррелирует с погрешностью этого же испытуемого в другом тесте; погрешность в первом тесте не связана погрешностью во втором тесте.

Рассмотрим теперь результаты, изображенные на рис. 4.2. Каким образом на них отразились погрешности измерения? В частности, как повлияли на полученное распределение существенные погрешности, то есть те, которые приводят к значительному завышению или занижению результата? Справедливо допустить, что низкие показатели (пустые кружочки), в целом, явились следствием непропорционального количества отрицательных погрешностей; это одна из причин низких результатов части детей. Аналогично справедливо допустить, что высокие показатели, в целом, явились следствием непропорционального количества положительных погрешностей; это одна из причин высоких результатов другой части детей. Но что происходит при повторном тестировании? Вспомним, что погрешности результатов одного тестирования не связаны с погрешностями результатов другого. Поэтому маловероятно, что существенные погрешности изменят результаты тех же детей и в том же направлении. Скорее всего, результаты каждого ребенка затронет относительно небольшая погрешность, которая равно вероятно может исказить истинный показатель, как в сторону повышения, так и в сторону понижения. Это «выравнивание» погрешностей при повторном тестировании обусловливает тенденцию низких показателей к повышению, а высоких — к понижению; иными словами, обусловливает регрессию к среднему.