Страница:
Валидность психодиагностической методики - это комплекс показателей, отражающих разные аспекты оценки ее соответствия (или адекватности) как диагностической процедуры той психологической реальности или тем психологическим конструктам, измерение которых предполагается. По определению видного американского тестолога А. Анастази, "валидность теста понятие, указывающее нам, что тест измеряет и насколько хорошо он это делает" [Анастази А. - 1982. - Т. 1. - С. 126]. Таким образом, валидность свидетельствует о том, пригодна ли методика для измерения определенных качеств, особенностей и насколько эффективно она это делает. В первом понимании валидность характеризует сам измерительный инструмент, и проверка этого аспекта валидности называется теоретической валидизацией. Проверка второго аспекта валидности называется прагматической (или практической) валидизацией. Теоретическая валидность дает информацию о степени измерения методикой теоретически выделяемой черты (например, умственного развития, мотивации и т.д.).
Наиболее распространенным способом определения теоретической валидности методики является конвергентная валидность, т. е. сопоставление данной методики с авторитетными родственными методиками и доказательство наличия значимых связей с ними. Сопоставление с методиками, имеющими другое теоретическое основание, и констатация отсутствия значимых связей с ними называется дискриминантной валидностью. Если референтных методик не существует, то только постепенное накопление разнообразной информации об изучаемом признаке, анализ теоретических предпосылок и экспериментальных данных, длительный опыт работы с методикой позволяют раскрыть ее психологический смысл.
Другой вид валидности - прагматическая валидность - проверка методики с точки зрения ее практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются так называемые независимые внешние критерии, т.е. показатели проявления изучаемого свойства в жизни. Среди них могут быть успеваемость, профессиональные достижения, достижения в различных видах деятельности, субъективные оценки (или самооценки). При подборе внешнего критерия необходимо соблюдать принцип его релевантности изучаемому методикой признаку, т. е. между диагностируемым свойством и жизненно важным критерием должно быть смысловое соответствие. Если, например, методика измеряет особенности развития профессионально важных качеств, то для критерия необходимо найти такую деятельность или отдельные операции, где именно эти качества реализуются.
Что касается величин коэффициентов валидности, то они по разным причинам всегда ниже, чем коэффициент надежности. По мнению ведущих психодиагностов, низким признается коэффициент валидности порядка 0,20-0,30, средним - 0,30 - 0,50, высоким - выше 0,60.
Степень соответствия получаемых с помощью диагностического средства эмпирических данных тому конструкту, который описывает предполагаемую (латентную) психологическую переменную, определяется как конструктная валидностъ методики.
Степень соответствия тем заданий (содержания "пунктов" в тесте) сфере диагностируемых психических свойств характеризует содержательную валидностъ методики.
Психодиагностические методики могут быть направлены как на выявление актуального уровня эмпирических составляющих, или "признаков", подводимых под то или иное понятие (диагностируемой латентной переменной), так и на прогноз степени представлен-ности выявляемых свойств в практических видах деятельности или изменений признаков в будущем.
Текущая валидностъ в узком смысле - это "установление соответствия результатов валидизируемого теста независимому критерию, отражающему состояние исследуемого тестом качества в момент проведения исследования" [Бурлачук Л. Ф., Морозов С. М. - 1989. - С. 29]. Этот критерий может быть как внешним, например успешность субъекта в определенном виде деятельности или принадлежность к той или иной группе испытуемых, так и психологическим, но связанным с использованием другой методики.
Прогностическая валидностъ характеризует не степень соответствия на уровне актуально измеряемого психического свойства, а возможность предсказания какой-то другой - второй переменной по показателям или "признакам" выраженности первой, собственно диагностируемой переменной.
Ретроспективная валидностъ определяется на основе критерия, отражающего событие или состояние качества в прошлом. Она также может свидетельствовать о предсказательных возможностях методики.
Надежность - составляющая оценки свойств психодиагностической методики, отражающая степень точности измерения и стабильности результатов с точки зрения контроля разных источников вариативности психологических показателей: вариативности самого измеряемого свойства; вариативности данных в силу множественных соответствий латентного свойства и эмпирических "признаков"; устойчивости самой шкалы в контексте процедурных компонентов методики; возможности получения сходных результатов в другое время или подверженности изменениям со стороны других процессов и свойств (например, противостояния разных пунктов опросника фактору "социальной желательности" ответа).
Известный специалист в области психодиагностики К. М. Гуре-вич предлагает выделять три типа надежности: надежность самого измерительного инструмента, стабильность изучаемого признака и константность, т.е. независимость результатов от личности экспериментатора [Гуревич К.М. 1975. - С. 162 - 176]. С учетом этого следует различать и показатели, характеризующие тот или иной тип надежности, называя их соответственно коэффициентами надежности, стабильности или константности. В таком порядке следует проводить проверку методик: вначале следует проверить инструмент измерения, затем выявить меру стабильности изучаемого свойства и только после этого перейти к критерию константности.
Качество методики определяется тем, насколько хорошо она составлена, насколько однородна, что свидетельствует о ее направленности на диагностику одного и того же свойства, признака. Для проверки надежности инструмента по показателю однородности (или гомогенности), как правило, используют метод "расщепления". Для этого все задания психодиагностического инструмента делятся на четные и нечетные (по нумерации), отдельно обрабатываются, а затем подсчитываются коэффициенты корреляции между этими рядами. Об однородности методики свидетельствует отсутствие существенной разницы в успешности решения выделенных частей, что выражается в достаточно высоких коэффициентах корреляции - не ниже 0,75 - 0,85. Чем выше эта величина, тем однороднее методика, тем выше ее надежность. Существуют специальные способы увеличения надежности разрабатываемого метода [Анастази А. - 1982].
Для проверки стабильности изучаемого признака используется метод, получивший название "т е с т - р е т е с т", который заключается в проведении повторного психодиагностического испытания той же выборки испытуемых через определенный промежуток времени, вычислении коэффициента корреляции между результатами первого и второго испытания. Этот коэффициент и представляет собой показатель стабильности исследуемого признака. Как правило, повторное обследование проводится через несколько месяцев (но не более полугода). Нельзя проводить повторное испытание слишком быстро после первого, поскольку есть опасность, что испытуемые будут воспроизводить свои ответы по памяти. Однако этот срок не может быть слишком большим, поскольку в этом случае возможно изменение, развитие самой исследуемой функции. Коэффициент стабильности считается приемлемым в том случае, когда его величина не ниже 0,80.
Коэффициент константности определяется путем корреляции результатов двух психодиагностических испытаний, проведенных на одной и той же выборке испытуемых с соблюдением идентичности условий, морозными экспериментаторами. Он должен быть не ниже 0,80.
Таким образом, качество любой психодиагностической методики зависит от степени ее стандартизованности, надежности и валидности. При разработке любой диагностической методики ее авторы должны проводить соответствующую проверку и сообщать в руководстве к ее применению полученные результаты.
Не следует путать уровень психометрического обоснования психодиагностической методики и вид, или метрику, построенной психологической шкалы, отражающей уровень результатов измерения. Качественные данные, соответствующие описательным или - в лучшем случае классификационным параметрам представления диагностируемых психических свойств, не обязательно будут свидетельствовать о меньшей надежности методики, чем в случае получения количественных показателей. Качественные характеристики позволят отнести испытуемых - как обследуемых субъектов или классифицируемых "объектов" - к той или иной группе; условием является, однако, возможность полного охвата в этих предполагаемых группах всех признаков классификации. Количественные характеристики позволят не только сопоставлять людей между собой уже по их принадлежности к разным группам (или классам признаков), но и установить порядок их расположения друг за другом с точки зрения выраженности диагностируемого признака (порядковая шкала) или осуществить сравнения, на сколько единиц или во сколько раз тот или иной признак более или менее выражен у одного субъекта по сравнению с другим, что позволяют определить шкала интервалов и шкала отношений (см. п. 6.6).
Контрольные вопрос и задания
1. Назовите различные виды теоретической и прагматической валидно-сти тестов.
2. Перечислите основные виды надежности высокоформализованных психодиагностических процедур и методы их измерения.
3. От каких факторов зависят валидность и надежность психодиагностических методик?
6.6. КОРРЕЛЯЦИОННЫЙ ПОДХОД КАК ОСНОВА ПСИХОДИАГНОСТИЧЕСКИХ ИЗМЕРЕНИЙ
Психодиагностические средства, разработка которых основывается на использовании психометрических процедур оценки надежности и валидности, обычно предполагают их подкрепленность проверкой статистических гипотез о связях между выборочными значениями переменных. То есть в основе их разработки лежит корреляционный подход, предполагающий исследовательские схемы сопоставления групп лиц, отличающихся по тому или иному внешнему критерию (возраст, пол, профессиональная принадлежность, образовательный ценз), или сопоставления различных показателей, полученных для одних и тех же лиц разными методическими средствами или в разное время (при повторном тестировании, по схеме "до - после" осуществления какого-то воздействия и т.д.).
Мерами связи являются коэффициенты ковариации и корреляции. Статистические гипотезы формулируются как гипотезы об отсутствии связи между выборочными значениями переменных, о равенстве коэффициентов какой-то величине (например, нулю, что не равнозначно понятию нулевой корреляции) или между собой.
При проверке корреляционных гипотез открытым остается вопрос о том, какая из двух переменных влияет на другую (или ее детерминирует). Именно это обстоятельство ограничивает возможности прогноза, т. е. обоснованного предсказания значений величин на одной психологической шкале по данным измерения других (переменных). Например, можно выявить положительную связь между показателями теста, измеряющего умственный возраст, и академической успеваемостью. Обе переменные как бы равноправны в этой ковариации, т. е. отклонения от среднего (как выборочного показателя меры центральной тенденции) в двух рядах показателей сопутствуют по величине друг другу. Это наглядно представляют в виде вытянутого облака точек на диаграмме рассеивания. В ней оси X и У обозначают величины, соответствующие двум психологическим переменным, а каждая точка представляет конкретного субъекта, характеризующегося одновременно двумя показателями (уровнем умственного развития и академической успеваемостью). Но содержательно разными являются задачи: прогнозировать успеваемость по показателю психологического теста и прогнозировать возможную величину умственного развития, зная показатель успеваемости. Решение каждой из этих задач предполагает, что исследователем принимается решение о направленности связи, т. е. о том, какой показатель является определяющим.
Для показателей, измеренных в разных психологических шкалах, используются адекватные этим шкалам коэффициенты корреляции [Гласс Дж., Стенли Дж. - 1976]. Психологические свойства могут быть измерены в следующих шкалах: 1) наименований, где разные элементы (психологические показатели) могут быть приписаны к разным классам, поэтому второе название этой шкалы шкала классификации; 2) порядка, или ранговая шкала; с ее помощью определяют порядок следования элементов друг за другом, но неизвестным остается деление на шкале, а значит, нельзя утверждать, на сколько один человек отличается по тому или иному свойству от другого; 3) шкала интервалов (например, коэффициент интеллекта - IQ), на основе использования которой можно не только установить, у какого субъекта то или иное свойство более выражено, но и на сколько единиц оно более выражено; 4) шкала отношений, с помощью которой можно указать, во сколько раз один измеряемый показатель больше или меньше другого. Однако таких шкал в практике психодиагностики практически нет. Межиндивидуальные различия описываются в лучшем случае шкалами интервалов.
Коэффициенты корреляции отличаются от других мер связи - коэффициентов ковариации - видом их представления: все они расположены в интервалах от 0 до +1 и -1. Соответственно по величине коэффициента корреляции судят о силе связи между измеренными психологическими переменными. Однако при решении задачи прогноза (например, судить об успеваемости по величине умственного возраста или наоборот) переменные перестают быть равноправными. Коэффициенты корреляции не могут служить основанием прогноза в том смысле, что установление направленности влияния переменной - как детерминирующей другую - подразумевает установление коэффициентов регрессии. В них величины регрессии X по Y и Y по X будут отличаться между собой. Следует также заметить, что нельзя путать разные виды прогноза: предсказание в каком-то временном интервале для конкретного индивида и предсказание разбросов "срезовых" показателей для групп.
Наконец, специальные проблемы будет решать прогноз, подразумевающий оценку по внешнему критерию: например, вероятности попадания в группы хорошо или плохо справляющихся с работой лиц, которые были первоначально разделены по психологическому тесту на более и менее успешных (при этом предполагается обоснованность измерения конкретного свойства в качестве способствующего успешному выполнению того вида деятельности, о котором идет речь как о "работе).
Контрольные вопросы и задание
1. Что такое корреляция и в каких пределах изменяется коэффициент корреляции?
2. Можно ли путем подсчета коэффициентов корреляции делать вывод о причинно-следственных связях между переменными?
3. Назовите 4 типа шкал, используемых в психологических измерениях.
6.7. КЛАССИФИКАЦИИ ПСИХОДИАГНОСТИЧЕСКИХ МЕТОДОВ
6.7.1. Номотетический и идеографический подходы
При тех или иных попытках анализа межиндивидуальных различий важным оказывается методологическая позиция, реализованная при построении психодиагностической методики: измеряется индивидуальная выраженность всех тех параметров, сквозь призму которых исследователь рассматривает каждого испытуемого, или же выявляются, в первую очередь, именно те свойства, которые присущи только конкретному лицу (и не следует его рассматривать сквозь призму переменных, выявленных для других людей). В первом случае говорят о номотетическом подходе, а во втором - об идеографическом. Последовательная реализация номотетического подхода представлена при использовании нормативного тестирования. "Нормой" здесь выступает выборка испытуемых, данные которой вошли в схемы корреляционного анализа определенных заранее психологических шкал и критериев. Индивидуальный показатель при нормативном тестировании означает положение индивидуума как точки на общем континууме результатов, представляющих распределение показателей на всей нормативной выборке. Если использована множественная система показателей, то выявляется индивидуальный профиль, на котором столько точек, сколько шкал (или факторов) выявляет тест.
Такой способ реализуется только при условии решения задач количественной оценки диагностируемого показателя и выработки предварительных нормативных данных. Это также включает ряд допущений (например, в виде распределения выборочных показателей, о степени независимости разных показателей и т.д.).
Идеографический подход реализуется обычно при использовании менее формализованных методик, чем нормативное тестирование. Например, в результате беседы, интервью или при наблюдении за человеком в разных условиях психолог может сделать выводы о выраженности у него познавательного отношения к миру, представленности других видов мотивации, его ценностных ориентациях. Полученный психологический портрет может не включать при этом указания о том, как соотнести (на уровне представленности разных качеств и количественно) обсуждаемые индивидуальные показатели с какими-либо нормативными характеристиками других людей.
Иной способ психодиагностики разработан при реализации средств критериально-ориентированного тестирования [Гуревич К. М. - 1982]. В этом подходе принимается во внимание, что индивидуальные психологические свойства могут оцениваться не только по тому, как они "разбросаны" в той или иной выборке людей, но и по тому, насколько соответствуют индивидуальные показатели тем социально выработанным критериям, которые могут быть фиксированы в виде внешне заданных требований или критериальных норм. Степень приближения индивида к заданной планке, т. е. к социально одобренному нормативу, и будет отличать его от другого индивида.
В этом же контексте следует рассматривать развернувшиеся в последние годы острые дискуссии по поводу правомерности использования понятия "норма" как некоторого среднего показателя для данной выборки. Действительно, критерий сравнения по нормам, полученный путем объединения разных выборок (например, дети определенного возраста, но проживающие в разных регионах, отличающихся укладом жизни, социально-экономическим статусом), игнорирует влияние различных условий на развитие людей. Это, в первую очередь, условия обучения. Представление тестовых психодиагностических данных в виде баллов, кривой распределения затрудняет качественный анализ и выявление влияния условий на развитие человека. Норма характеризует выборку или популяцию, но не раскрывает действительных требований к человеку как сложившемуся или складывающемуся члену общества и может не совпадать с нормальными требованиями к нему. А эти требования не случайны, они возникают из общественной практики, вытекают из нее. В качестве критерия, ориентируясь на который можно сравнивать результаты психодиагностического обследования, целесообразнее использовать так называемый социально-психологический норматив (CUE) [Гуревич К. М. - 1982. - С. 9 - 18].
В сжатом виде СПИ можно определить как систему требований, которую общество на определенном этапе своего развития предъявляет каждому из его членов. Это могут быть требования к умственному, эстетическому, нравственному развитию человека. Чтобы жить в обществе, человек должен отвечать требованиям, которые к нему предъявляются, причем процесс этот является активным - каждый стремится занять определенное положение в своей социальной общности, группе (например, подростки, входящие в неформальные объединения разного типа, чтобы не быть отторгнутыми, принимают и "присваивают" не только манеру поведения, общения, но и ценности, нравственные нормативы и другие атрибуты, принятые в сообществе).
Требования общества к личности могут быть закреплены в форме правил, предписаний, обычаев, требований взрослых к детям и т.д. Таким образом, содержание СПН вполне реально, оно присутствует в образовательных программах, в квалификационных профессиональных характеристиках, общественном мнении, мнении педагогов, воспитателей.
В качестве точек отсчета могут быть использованы и другие критерии, например возрастные нормы, критерии выполнения деятельности и др.
Следует учесть, что каждый из названных подходов (номотетический и идеографический) возможен при использовании разных типов психологических показателей. Нет также предопределенности, каким областям психологической реальности более адекватны те или иные подходы. Но можно говорить о степени разработанности психологических теорий, подкрепляющих применимость того или иного подхода при создании психологического инструментария.
Контрольные вопросы
1. Укажите основные особенности номотетического и идеографического подходов в психодиагностике.
2. Чем различаются понятия "норма" и "социально-психологический норматив"?
6.7.2. Типы психологических показателей
Одним из наиболее известных примеров рассмотрения психодиагностических методов с точки зрения разницы в типе эмпирических данных, т. е. с точки зрения связи психологических показателей со способом их получения исследователем, является классификация Р. Кеттелла.
Он предложил отличать такие типы данных: L, T и Q Эта маркировка идет от английских названий:
L - life record (факты жизни), Т - test (проба, испытание) u Q questionnaire (опросник).
L-данные являются жизненными документами (например, анамнестического характера), они или были получены в более ранних исследованиях, или их поставляет сам испытуемый (либо описывающие события его жизни другие люди) в ходе актуально проводимого исследования. Не важно, каким конкретно методическим приемом эти данные были получены - в результате беседы, внешнего наблюдения, анализа самоотчетов, опроса, свидетельств других людей и т.д. Общим их радикалом является то, что это свидетельства прошлого, фиксация в той или иной форме продуктов прошлой психической деятельности (испытуемого, пациента или клиента). Таким образом, они могут быть оценены только как исторические документы, хотя в принципе могут быть получены неоднократно. Соответственно при их диагностической интерпретации психолог должен реализовать какие-то нормативы анализа документов.
Например, он должен предполагать такой случай, когда отсутствие "признака" не означает отсутствие самого латентного свойства. Отсутствие признака на уровне "забывания" событий или отказа испытуемого признавать за собой те или иные поступки может означать как действительную несвойственность их этому человеку, так и то, что предполагаемое событие имело место, но сознательно опускается испытуемым (или неосознанно "забывается"). Сам факт умолчания может свидетельствовать об особой значимости этого события в жизни человека или об условиях получения данных, при которых упоминание о нем становится по какой-то причине для субъекта невозможным.
Австралийские преподаватели психологии Белл и Стэйнс [Bell Ph., Staines Ph. - 1981] приводят классический пример ошибки умозаключений психолога, не утруждающего себя формулировкой вопросов о том, как можно интерпретировать те данные, проверка которых в контролируемых условиях не доступна исследователю. Психолог обратился к студентам в группе с просьбой ответить на вопрос, читают ли они журнал "Плэйбой". Ответы испытуемых были отрицательными. У исследователя при этом имелись две возможности оценки этих ответов. Первая: испытуемые не признались в том, что они читали журнал "Плэйбой". Вторая: они действительно не читали этого журнала, т. е. не интересовались им. Поправка на социальную желательность, а в данном примере на нежелательность ответа "да, читал", совершенно необходимо должна быть представлена в том веере гипотез, которые исследователь будет обсуждать на основании полученных данных.
Т- и Q-данные имеют то общее свойство, что они получены в актуально проводимом исследовании, т.е. психолог может осуществлять какие-то формы контроля при их фиксации. Оставаясь документами, эти данные могут быть перепроверены путем продолжения сбора эмпирического материала. Таким образом, они в отличие от L-данных допускают анализ по схемам, предполагающим возможность их повторного воспроизводства. Повторное тестирование как раз и представляет случай такого воспроизводства с целью оценки временной стабильности как компонента надежности теста.
Так, например, психолог может обратиться к коллегам преподавателя или к студентам с целью опроса о предпочитаемых стилях общения, получить сведения о частоте фиксируемых официально опозданий на занятия или получить иные сведения после того, как эти события имели место. Допустим, он нацелен на сопоставление этой переменной с показателями другой - например с показателями стиля разрешения проблемных ситуаций. Немецким психологом Г. Крампеном разрабатывается направление, в котором способы разрешения таких ситуаций преподавателем высшей школы сопоставляются с различными способами получения Т- или Q-данных. Квазиэкспериментальный метод сопоставления разных групп преподавателей, подобранных в соответствии с диагностируемыми у них проявлениями мотивации, особенностями целевой регуляции, уровнями генерализации самоконтроля действий и состояний и т.д., позволяет при этом обосновывать прикладную значимость используемых диагностических средств.
Наиболее распространенным способом определения теоретической валидности методики является конвергентная валидность, т. е. сопоставление данной методики с авторитетными родственными методиками и доказательство наличия значимых связей с ними. Сопоставление с методиками, имеющими другое теоретическое основание, и констатация отсутствия значимых связей с ними называется дискриминантной валидностью. Если референтных методик не существует, то только постепенное накопление разнообразной информации об изучаемом признаке, анализ теоретических предпосылок и экспериментальных данных, длительный опыт работы с методикой позволяют раскрыть ее психологический смысл.
Другой вид валидности - прагматическая валидность - проверка методики с точки зрения ее практической значимости, эффективности, полезности. Для проведения такой проверки, как правило, используются так называемые независимые внешние критерии, т.е. показатели проявления изучаемого свойства в жизни. Среди них могут быть успеваемость, профессиональные достижения, достижения в различных видах деятельности, субъективные оценки (или самооценки). При подборе внешнего критерия необходимо соблюдать принцип его релевантности изучаемому методикой признаку, т. е. между диагностируемым свойством и жизненно важным критерием должно быть смысловое соответствие. Если, например, методика измеряет особенности развития профессионально важных качеств, то для критерия необходимо найти такую деятельность или отдельные операции, где именно эти качества реализуются.
Что касается величин коэффициентов валидности, то они по разным причинам всегда ниже, чем коэффициент надежности. По мнению ведущих психодиагностов, низким признается коэффициент валидности порядка 0,20-0,30, средним - 0,30 - 0,50, высоким - выше 0,60.
Степень соответствия получаемых с помощью диагностического средства эмпирических данных тому конструкту, который описывает предполагаемую (латентную) психологическую переменную, определяется как конструктная валидностъ методики.
Степень соответствия тем заданий (содержания "пунктов" в тесте) сфере диагностируемых психических свойств характеризует содержательную валидностъ методики.
Психодиагностические методики могут быть направлены как на выявление актуального уровня эмпирических составляющих, или "признаков", подводимых под то или иное понятие (диагностируемой латентной переменной), так и на прогноз степени представлен-ности выявляемых свойств в практических видах деятельности или изменений признаков в будущем.
Текущая валидностъ в узком смысле - это "установление соответствия результатов валидизируемого теста независимому критерию, отражающему состояние исследуемого тестом качества в момент проведения исследования" [Бурлачук Л. Ф., Морозов С. М. - 1989. - С. 29]. Этот критерий может быть как внешним, например успешность субъекта в определенном виде деятельности или принадлежность к той или иной группе испытуемых, так и психологическим, но связанным с использованием другой методики.
Прогностическая валидностъ характеризует не степень соответствия на уровне актуально измеряемого психического свойства, а возможность предсказания какой-то другой - второй переменной по показателям или "признакам" выраженности первой, собственно диагностируемой переменной.
Ретроспективная валидностъ определяется на основе критерия, отражающего событие или состояние качества в прошлом. Она также может свидетельствовать о предсказательных возможностях методики.
Надежность - составляющая оценки свойств психодиагностической методики, отражающая степень точности измерения и стабильности результатов с точки зрения контроля разных источников вариативности психологических показателей: вариативности самого измеряемого свойства; вариативности данных в силу множественных соответствий латентного свойства и эмпирических "признаков"; устойчивости самой шкалы в контексте процедурных компонентов методики; возможности получения сходных результатов в другое время или подверженности изменениям со стороны других процессов и свойств (например, противостояния разных пунктов опросника фактору "социальной желательности" ответа).
Известный специалист в области психодиагностики К. М. Гуре-вич предлагает выделять три типа надежности: надежность самого измерительного инструмента, стабильность изучаемого признака и константность, т.е. независимость результатов от личности экспериментатора [Гуревич К.М. 1975. - С. 162 - 176]. С учетом этого следует различать и показатели, характеризующие тот или иной тип надежности, называя их соответственно коэффициентами надежности, стабильности или константности. В таком порядке следует проводить проверку методик: вначале следует проверить инструмент измерения, затем выявить меру стабильности изучаемого свойства и только после этого перейти к критерию константности.
Качество методики определяется тем, насколько хорошо она составлена, насколько однородна, что свидетельствует о ее направленности на диагностику одного и того же свойства, признака. Для проверки надежности инструмента по показателю однородности (или гомогенности), как правило, используют метод "расщепления". Для этого все задания психодиагностического инструмента делятся на четные и нечетные (по нумерации), отдельно обрабатываются, а затем подсчитываются коэффициенты корреляции между этими рядами. Об однородности методики свидетельствует отсутствие существенной разницы в успешности решения выделенных частей, что выражается в достаточно высоких коэффициентах корреляции - не ниже 0,75 - 0,85. Чем выше эта величина, тем однороднее методика, тем выше ее надежность. Существуют специальные способы увеличения надежности разрабатываемого метода [Анастази А. - 1982].
Для проверки стабильности изучаемого признака используется метод, получивший название "т е с т - р е т е с т", который заключается в проведении повторного психодиагностического испытания той же выборки испытуемых через определенный промежуток времени, вычислении коэффициента корреляции между результатами первого и второго испытания. Этот коэффициент и представляет собой показатель стабильности исследуемого признака. Как правило, повторное обследование проводится через несколько месяцев (но не более полугода). Нельзя проводить повторное испытание слишком быстро после первого, поскольку есть опасность, что испытуемые будут воспроизводить свои ответы по памяти. Однако этот срок не может быть слишком большим, поскольку в этом случае возможно изменение, развитие самой исследуемой функции. Коэффициент стабильности считается приемлемым в том случае, когда его величина не ниже 0,80.
Коэффициент константности определяется путем корреляции результатов двух психодиагностических испытаний, проведенных на одной и той же выборке испытуемых с соблюдением идентичности условий, морозными экспериментаторами. Он должен быть не ниже 0,80.
Таким образом, качество любой психодиагностической методики зависит от степени ее стандартизованности, надежности и валидности. При разработке любой диагностической методики ее авторы должны проводить соответствующую проверку и сообщать в руководстве к ее применению полученные результаты.
Не следует путать уровень психометрического обоснования психодиагностической методики и вид, или метрику, построенной психологической шкалы, отражающей уровень результатов измерения. Качественные данные, соответствующие описательным или - в лучшем случае классификационным параметрам представления диагностируемых психических свойств, не обязательно будут свидетельствовать о меньшей надежности методики, чем в случае получения количественных показателей. Качественные характеристики позволят отнести испытуемых - как обследуемых субъектов или классифицируемых "объектов" - к той или иной группе; условием является, однако, возможность полного охвата в этих предполагаемых группах всех признаков классификации. Количественные характеристики позволят не только сопоставлять людей между собой уже по их принадлежности к разным группам (или классам признаков), но и установить порядок их расположения друг за другом с точки зрения выраженности диагностируемого признака (порядковая шкала) или осуществить сравнения, на сколько единиц или во сколько раз тот или иной признак более или менее выражен у одного субъекта по сравнению с другим, что позволяют определить шкала интервалов и шкала отношений (см. п. 6.6).
Контрольные вопрос и задания
1. Назовите различные виды теоретической и прагматической валидно-сти тестов.
2. Перечислите основные виды надежности высокоформализованных психодиагностических процедур и методы их измерения.
3. От каких факторов зависят валидность и надежность психодиагностических методик?
6.6. КОРРЕЛЯЦИОННЫЙ ПОДХОД КАК ОСНОВА ПСИХОДИАГНОСТИЧЕСКИХ ИЗМЕРЕНИЙ
Психодиагностические средства, разработка которых основывается на использовании психометрических процедур оценки надежности и валидности, обычно предполагают их подкрепленность проверкой статистических гипотез о связях между выборочными значениями переменных. То есть в основе их разработки лежит корреляционный подход, предполагающий исследовательские схемы сопоставления групп лиц, отличающихся по тому или иному внешнему критерию (возраст, пол, профессиональная принадлежность, образовательный ценз), или сопоставления различных показателей, полученных для одних и тех же лиц разными методическими средствами или в разное время (при повторном тестировании, по схеме "до - после" осуществления какого-то воздействия и т.д.).
Мерами связи являются коэффициенты ковариации и корреляции. Статистические гипотезы формулируются как гипотезы об отсутствии связи между выборочными значениями переменных, о равенстве коэффициентов какой-то величине (например, нулю, что не равнозначно понятию нулевой корреляции) или между собой.
При проверке корреляционных гипотез открытым остается вопрос о том, какая из двух переменных влияет на другую (или ее детерминирует). Именно это обстоятельство ограничивает возможности прогноза, т. е. обоснованного предсказания значений величин на одной психологической шкале по данным измерения других (переменных). Например, можно выявить положительную связь между показателями теста, измеряющего умственный возраст, и академической успеваемостью. Обе переменные как бы равноправны в этой ковариации, т. е. отклонения от среднего (как выборочного показателя меры центральной тенденции) в двух рядах показателей сопутствуют по величине друг другу. Это наглядно представляют в виде вытянутого облака точек на диаграмме рассеивания. В ней оси X и У обозначают величины, соответствующие двум психологическим переменным, а каждая точка представляет конкретного субъекта, характеризующегося одновременно двумя показателями (уровнем умственного развития и академической успеваемостью). Но содержательно разными являются задачи: прогнозировать успеваемость по показателю психологического теста и прогнозировать возможную величину умственного развития, зная показатель успеваемости. Решение каждой из этих задач предполагает, что исследователем принимается решение о направленности связи, т. е. о том, какой показатель является определяющим.
Для показателей, измеренных в разных психологических шкалах, используются адекватные этим шкалам коэффициенты корреляции [Гласс Дж., Стенли Дж. - 1976]. Психологические свойства могут быть измерены в следующих шкалах: 1) наименований, где разные элементы (психологические показатели) могут быть приписаны к разным классам, поэтому второе название этой шкалы шкала классификации; 2) порядка, или ранговая шкала; с ее помощью определяют порядок следования элементов друг за другом, но неизвестным остается деление на шкале, а значит, нельзя утверждать, на сколько один человек отличается по тому или иному свойству от другого; 3) шкала интервалов (например, коэффициент интеллекта - IQ), на основе использования которой можно не только установить, у какого субъекта то или иное свойство более выражено, но и на сколько единиц оно более выражено; 4) шкала отношений, с помощью которой можно указать, во сколько раз один измеряемый показатель больше или меньше другого. Однако таких шкал в практике психодиагностики практически нет. Межиндивидуальные различия описываются в лучшем случае шкалами интервалов.
Коэффициенты корреляции отличаются от других мер связи - коэффициентов ковариации - видом их представления: все они расположены в интервалах от 0 до +1 и -1. Соответственно по величине коэффициента корреляции судят о силе связи между измеренными психологическими переменными. Однако при решении задачи прогноза (например, судить об успеваемости по величине умственного возраста или наоборот) переменные перестают быть равноправными. Коэффициенты корреляции не могут служить основанием прогноза в том смысле, что установление направленности влияния переменной - как детерминирующей другую - подразумевает установление коэффициентов регрессии. В них величины регрессии X по Y и Y по X будут отличаться между собой. Следует также заметить, что нельзя путать разные виды прогноза: предсказание в каком-то временном интервале для конкретного индивида и предсказание разбросов "срезовых" показателей для групп.
Наконец, специальные проблемы будет решать прогноз, подразумевающий оценку по внешнему критерию: например, вероятности попадания в группы хорошо или плохо справляющихся с работой лиц, которые были первоначально разделены по психологическому тесту на более и менее успешных (при этом предполагается обоснованность измерения конкретного свойства в качестве способствующего успешному выполнению того вида деятельности, о котором идет речь как о "работе).
Контрольные вопросы и задание
1. Что такое корреляция и в каких пределах изменяется коэффициент корреляции?
2. Можно ли путем подсчета коэффициентов корреляции делать вывод о причинно-следственных связях между переменными?
3. Назовите 4 типа шкал, используемых в психологических измерениях.
6.7. КЛАССИФИКАЦИИ ПСИХОДИАГНОСТИЧЕСКИХ МЕТОДОВ
6.7.1. Номотетический и идеографический подходы
При тех или иных попытках анализа межиндивидуальных различий важным оказывается методологическая позиция, реализованная при построении психодиагностической методики: измеряется индивидуальная выраженность всех тех параметров, сквозь призму которых исследователь рассматривает каждого испытуемого, или же выявляются, в первую очередь, именно те свойства, которые присущи только конкретному лицу (и не следует его рассматривать сквозь призму переменных, выявленных для других людей). В первом случае говорят о номотетическом подходе, а во втором - об идеографическом. Последовательная реализация номотетического подхода представлена при использовании нормативного тестирования. "Нормой" здесь выступает выборка испытуемых, данные которой вошли в схемы корреляционного анализа определенных заранее психологических шкал и критериев. Индивидуальный показатель при нормативном тестировании означает положение индивидуума как точки на общем континууме результатов, представляющих распределение показателей на всей нормативной выборке. Если использована множественная система показателей, то выявляется индивидуальный профиль, на котором столько точек, сколько шкал (или факторов) выявляет тест.
Такой способ реализуется только при условии решения задач количественной оценки диагностируемого показателя и выработки предварительных нормативных данных. Это также включает ряд допущений (например, в виде распределения выборочных показателей, о степени независимости разных показателей и т.д.).
Идеографический подход реализуется обычно при использовании менее формализованных методик, чем нормативное тестирование. Например, в результате беседы, интервью или при наблюдении за человеком в разных условиях психолог может сделать выводы о выраженности у него познавательного отношения к миру, представленности других видов мотивации, его ценностных ориентациях. Полученный психологический портрет может не включать при этом указания о том, как соотнести (на уровне представленности разных качеств и количественно) обсуждаемые индивидуальные показатели с какими-либо нормативными характеристиками других людей.
Иной способ психодиагностики разработан при реализации средств критериально-ориентированного тестирования [Гуревич К. М. - 1982]. В этом подходе принимается во внимание, что индивидуальные психологические свойства могут оцениваться не только по тому, как они "разбросаны" в той или иной выборке людей, но и по тому, насколько соответствуют индивидуальные показатели тем социально выработанным критериям, которые могут быть фиксированы в виде внешне заданных требований или критериальных норм. Степень приближения индивида к заданной планке, т. е. к социально одобренному нормативу, и будет отличать его от другого индивида.
В этом же контексте следует рассматривать развернувшиеся в последние годы острые дискуссии по поводу правомерности использования понятия "норма" как некоторого среднего показателя для данной выборки. Действительно, критерий сравнения по нормам, полученный путем объединения разных выборок (например, дети определенного возраста, но проживающие в разных регионах, отличающихся укладом жизни, социально-экономическим статусом), игнорирует влияние различных условий на развитие людей. Это, в первую очередь, условия обучения. Представление тестовых психодиагностических данных в виде баллов, кривой распределения затрудняет качественный анализ и выявление влияния условий на развитие человека. Норма характеризует выборку или популяцию, но не раскрывает действительных требований к человеку как сложившемуся или складывающемуся члену общества и может не совпадать с нормальными требованиями к нему. А эти требования не случайны, они возникают из общественной практики, вытекают из нее. В качестве критерия, ориентируясь на который можно сравнивать результаты психодиагностического обследования, целесообразнее использовать так называемый социально-психологический норматив (CUE) [Гуревич К. М. - 1982. - С. 9 - 18].
В сжатом виде СПИ можно определить как систему требований, которую общество на определенном этапе своего развития предъявляет каждому из его членов. Это могут быть требования к умственному, эстетическому, нравственному развитию человека. Чтобы жить в обществе, человек должен отвечать требованиям, которые к нему предъявляются, причем процесс этот является активным - каждый стремится занять определенное положение в своей социальной общности, группе (например, подростки, входящие в неформальные объединения разного типа, чтобы не быть отторгнутыми, принимают и "присваивают" не только манеру поведения, общения, но и ценности, нравственные нормативы и другие атрибуты, принятые в сообществе).
Требования общества к личности могут быть закреплены в форме правил, предписаний, обычаев, требований взрослых к детям и т.д. Таким образом, содержание СПН вполне реально, оно присутствует в образовательных программах, в квалификационных профессиональных характеристиках, общественном мнении, мнении педагогов, воспитателей.
В качестве точек отсчета могут быть использованы и другие критерии, например возрастные нормы, критерии выполнения деятельности и др.
Следует учесть, что каждый из названных подходов (номотетический и идеографический) возможен при использовании разных типов психологических показателей. Нет также предопределенности, каким областям психологической реальности более адекватны те или иные подходы. Но можно говорить о степени разработанности психологических теорий, подкрепляющих применимость того или иного подхода при создании психологического инструментария.
Контрольные вопросы
1. Укажите основные особенности номотетического и идеографического подходов в психодиагностике.
2. Чем различаются понятия "норма" и "социально-психологический норматив"?
6.7.2. Типы психологических показателей
Одним из наиболее известных примеров рассмотрения психодиагностических методов с точки зрения разницы в типе эмпирических данных, т. е. с точки зрения связи психологических показателей со способом их получения исследователем, является классификация Р. Кеттелла.
Он предложил отличать такие типы данных: L, T и Q Эта маркировка идет от английских названий:
L - life record (факты жизни), Т - test (проба, испытание) u Q questionnaire (опросник).
L-данные являются жизненными документами (например, анамнестического характера), они или были получены в более ранних исследованиях, или их поставляет сам испытуемый (либо описывающие события его жизни другие люди) в ходе актуально проводимого исследования. Не важно, каким конкретно методическим приемом эти данные были получены - в результате беседы, внешнего наблюдения, анализа самоотчетов, опроса, свидетельств других людей и т.д. Общим их радикалом является то, что это свидетельства прошлого, фиксация в той или иной форме продуктов прошлой психической деятельности (испытуемого, пациента или клиента). Таким образом, они могут быть оценены только как исторические документы, хотя в принципе могут быть получены неоднократно. Соответственно при их диагностической интерпретации психолог должен реализовать какие-то нормативы анализа документов.
Например, он должен предполагать такой случай, когда отсутствие "признака" не означает отсутствие самого латентного свойства. Отсутствие признака на уровне "забывания" событий или отказа испытуемого признавать за собой те или иные поступки может означать как действительную несвойственность их этому человеку, так и то, что предполагаемое событие имело место, но сознательно опускается испытуемым (или неосознанно "забывается"). Сам факт умолчания может свидетельствовать об особой значимости этого события в жизни человека или об условиях получения данных, при которых упоминание о нем становится по какой-то причине для субъекта невозможным.
Австралийские преподаватели психологии Белл и Стэйнс [Bell Ph., Staines Ph. - 1981] приводят классический пример ошибки умозаключений психолога, не утруждающего себя формулировкой вопросов о том, как можно интерпретировать те данные, проверка которых в контролируемых условиях не доступна исследователю. Психолог обратился к студентам в группе с просьбой ответить на вопрос, читают ли они журнал "Плэйбой". Ответы испытуемых были отрицательными. У исследователя при этом имелись две возможности оценки этих ответов. Первая: испытуемые не признались в том, что они читали журнал "Плэйбой". Вторая: они действительно не читали этого журнала, т. е. не интересовались им. Поправка на социальную желательность, а в данном примере на нежелательность ответа "да, читал", совершенно необходимо должна быть представлена в том веере гипотез, которые исследователь будет обсуждать на основании полученных данных.
Т- и Q-данные имеют то общее свойство, что они получены в актуально проводимом исследовании, т.е. психолог может осуществлять какие-то формы контроля при их фиксации. Оставаясь документами, эти данные могут быть перепроверены путем продолжения сбора эмпирического материала. Таким образом, они в отличие от L-данных допускают анализ по схемам, предполагающим возможность их повторного воспроизводства. Повторное тестирование как раз и представляет случай такого воспроизводства с целью оценки временной стабильности как компонента надежности теста.
Так, например, психолог может обратиться к коллегам преподавателя или к студентам с целью опроса о предпочитаемых стилях общения, получить сведения о частоте фиксируемых официально опозданий на занятия или получить иные сведения после того, как эти события имели место. Допустим, он нацелен на сопоставление этой переменной с показателями другой - например с показателями стиля разрешения проблемных ситуаций. Немецким психологом Г. Крампеном разрабатывается направление, в котором способы разрешения таких ситуаций преподавателем высшей школы сопоставляются с различными способами получения Т- или Q-данных. Квазиэкспериментальный метод сопоставления разных групп преподавателей, подобранных в соответствии с диагностируемыми у них проявлениями мотивации, особенностями целевой регуляции, уровнями генерализации самоконтроля действий и состояний и т.д., позволяет при этом обосновывать прикладную значимость используемых диагностических средств.