Страница:
Ну хорошо, скажете вы, а если мне попался переводной американский тест? Ведь он уже наверняка валидизирован-перевалидизирован! Ему-то можно верить?
Нет, и вот почему. Помимо валидности к тестам применяется еще одно требование — надежность. Оно означает, что тест должен одинаково правильно работать в разных странах, в разное время и на разных контингентах обследуемых лиц.
Здесь у меня есть любимый пример. Один из самых известных в мире тестов — Миннесотский многофакторный личностный опросник, MMPI [45]. В нашей стране используются обычно две разные версии: Ф.Б. Березина (известная под названием ММИЛ) и Л.Н. Собчик. Обе вполне уважаемы и уже в 80-х были «штатными» инструментами профотбора в органы государственной безопасности СССР.
Так вот, в MMPI есть утверждение (там не вопросы, а утверждения, с которыми надо соглашаться или нет): «Вы религиозны». Представьте себе реакции на него:
а) жителя США, где религиозность — признак добропорядочности;
б) советского человека начала 70-х, когда за религиозные убеждения изгоняли из комсомола со всеми вытекающими;
в) современного жителя России, где теперь даже «коммунисты — во Христе».
Не кажется ли вам, что ответ «нет» в этих трех случаях будет означать три разные вещи?
И таких примеров очень много. В личностных тестах важен не ответ на какой-то конкретный вопрос, а тенденцияотвечать на вопросы шкалы тем или иным образом. Зачастую человек даже не понимает, по какой шкале «проходит» тот или иной пункт. Самое главное — это тестовые нормы, определяемые при валидизации чисто статистически на большой выборке людей.А представьте, как эти нормы «плывут» от страны к стране, от одной социальной группы к другой (возрастной, профессиональной, этнической — какой угодно!), от десятилетия к десятилетию… Я видел ситуацию, когда у одной женщины профиль MMPI радикально изменился буквально за три месяца. В это время погиб ее ребенок.
В конце 80-х мы с коллегами разработали тест под названием «Кругозор», который должен был измерять уровень общей начитанности и эрудиции у выпускников технических вузов. Тогда это было нужно, уже не важно зачем. Тест валидизировался на нескольких сотнях человек и прекрасно работал. Недавно я в него заглянул — и понял, что годится он только для урнирования, то есть почетного размещения в урне для бумаг. Большинство использованных там понятий уже «ушли», а эрудицию ныне должно отражать знание совсем иных слов… А ведь это всего-навсего тест знаний! С личностью намного сложнее.
Если все так непросто, стоит ли вообще использовать тесты при профотборе? Я вижу следующие варианты, когда определенно стоит.
1. У вас шквальный поток кандидатов, с которым существующая система отбора просто не справляется. Может быть, компания интенсивно растет, а может — текучесть кадров бешеная (но в последнем случае дело, скорее всего, не в качестве отбора). Тогда простая батарея тестов (в психологии принято говорить именно «батарея», а не «набор» или «комплекс»), поставленная в качестве первого фильтра, поможет вам сразу отсечь заведомо непригодных. При условии, если это действительно фильтр (валидность!), а не игрушка. Кстати, наш упомянутый выше тест «Кругозор» работал именно так, освобождая трудовые ресурсы кадрового аппарата для более тонкого изучения кандидатов.
2. Все наоборот. У вас «штучный» отбор с очень высокой стоимостью риска ошибки. Например, финансовый директор компании.Если вы отберете неподходящего кандидата, фирма потеряет значительные средства не только на том, что будет платить высокую зарплату человеку, которого потом придется менять, но и на потенциальных потерях от всего, что он натворит. Я уж не говорю о бесценной информации, которую он унесет с собой и потом неизвестно как использует.
Вот это — очень сложный и достаточно редкий случай. Здесь вы должны быть полностью уверены как в валидности используемых тестовых методик, так и в собственной квалификации. Может, лучше нанять сторонних экспертов с хорошей репутацией? Сейчас эта услуга широко распространена среди рекрутерских и консалтинговых фирм. Посчитайте цену вопроса.
3. Наконец, вы просто полагаете, что внедрение тестов в практику профотбора вашей компании тестовых методик будет полезным. Это вполне естественное желание для активного и любознательного человека. Только вспомним, что мы живем уже не в той стране, где наука была средством «удовлетворения личного любопытства за государственный счет». Прикинем, во что ваши идеи встанут фирме. Окупится ли такая инициатива?
«Серьезные» тесты стоят на рынке 200-500 долларов. Есть и более дорогие, разработчики которых претендуют на универсальность, оригинальность, комплексность обследования и так далее. Когда вы придете к начальству с запросом на такую сумму, неизвестно, какова будет реакция. По моим наблюдениям, руководители, распоряжающиеся деньгами в компании, нередко занимают одну из противоположных позиций. Одни считают тесты «шаманством», и им вы просто ничего не докажете. Другие, наоборот, полагают, что тесты — вещь полезная. Таким и доказывать ничего не надо.
Вспомним, как мы вычисляли стоимость кадровой ошибки. Как минимум. Если подобранный кандидат не выдерживает испытательного срока, она составляет как минимум:
Стоимость поиска + Оплата его труда на испытательный срок + Стоимость подбора нового кандидата
Если наш незадачливый кандидат продержался, скажем, два месяца, то общая стоимость ошибки составит примерно его учетверенную зарплату. Пусть она составит 500 долларов, значит, в сумме фирма потеряла 2000 долларов. Смотрите: приобретение тестов окупит себя, даже если за счет них вы предотвратите единственную ошибку отбора!
Но ведь не каждый же раз вы ошибаетесь! Предположим, вам приходится заполнять две такие вакансии в месяц, то есть 24 вакансии в год. Посчитайте, каков реальный процент ошибок в вашей практике. Вряд ли он составит больше 25%: даже в таком случае вам придется серьезно подумать о качестве отбора. Значит, при 24 вакансиях в год вы ошиблись 6 раз. Общая сумма потерь фирмы:
2000 долл. х 6 = 12 000 долл.
Если приобретение тестов сократит число ошибок, скажем, на 1/3, то выигрыш компании за год составит 4000 долларов. Для компании с приличным оборотом сумма невеликая, но в бюджете управления трудовыми ресурсами она смотрится неплохо.
А теперь повторите расчеты, используя не придуманные мной для примера, а реальные показатели вашей работы.
Теперь поговорим о том, что надо сделать, чтобы ввести тестирование кандидатов в практику.
Для начала надо определиться, какие качества кандидатов вы намерены оценивать, а исходя из этого — какие тесты следует применять. Поэтому не поленитесь ознакомиться с литературой по использованию тестов в профотборе. Она сейчас вполне доступна.
Если ключевой вопрос отбора — это квалификация и знания кандидата, то в большинстве случаев тесты либо не нужны, либо вы их не достанете, так как пока на рынке они практически отсутствуют. Лучше всего положиться на экспертные заключения. Другой вариант — сделайте тест сами. Об этом будет рассказано ниже.
Если ключевыми характеристиками профессиональной пригодности являются психологические, деловые и личные качества, то надо понять, какие именно. Иначе вы начнете с помощью тестов отсеивать не тех, кого надо.
В теории для решения этого вопроса вам придется провести целое исследование: провести тестирование действующих сотрудников компании с помощью максимально универсальных тестовых методик, а потом определить, какими показателями более успешные сотрудники отличаются от менее успешных. Но тогда вы превратитесь из службы управления персонала в психодиагностическую лабораторию. Неизвестно, как на это посмотрит руководство.
Более простой путь — воспользоваться вашим личным опытом и здравым смыслом. Выпишите в столбик слева фамилии успешных сотрудников, а справа — неуспешных, в том числе отсеявшихся по результатам испытательного срока. Попробуйте без «высокой психологии», на простом бытовом языке объяснить, какие деловые и личные качества приводят к негативным результатам. Это гораздо проще сделать, чем кажется, а результат бывает ошеломляющим.
Вообще-то с теориями и здравым смыслом — вопрос сложный. Когда-то они работают, а когда-то нет. Например, в любой книжке вы прочтете, да и здравый смысл подсказывает, что торговец должен отличаться хорошей коммуникабельностью. Даже целая отрасль тренингов для этого существует. Однако лично знаю уже не менее десятка случаев, когда в самых разных компаниях на разных рынках (от промышленного оборудования до страхования) добивались «звездных» успехов такие персонажи… Чучундра чучундрой, выглядит как-то странно, и слова лишнего не выдавишь. По тестам — полное безобразие: шизоид, интраверт. То есть человек, у которого с общением заведомо сложно. А выясняется, что по результатам намного превосходит тех, у которых все тесты на «пять с плюсом». Я думаю, каждый опытный кадровик со мной согласится.
Определившись, поищите на рынке тестовые методики, наиболее близкие к интересующим вам качествам. Предложений полно в Интернете, и сотрудники фирм-производителей вас охотно проконсультируют. Можете также походить на семинары, устраиваемые такими фирмами. Только не надо выбирать тесты по принципу «чем сложнее, тем лучше». Часто бывает наоборот.
Приличные фирмы — разработчики тестовых методик обычно бесплатно предоставляют демоверсии своих тестов, чтобы вы могли оценить их на практике. Обязательно воспользуйтесь этим. Сначала заполните тест сами и оцените, насколько результаты будут соответствовать вашему мнению о себе. Тест хорош, если он наряду с положительными характеристиками будет раскрывать также и слабые стороны. Если вы такие за собой знаете и тест «попал в точку», значит, методике можно доверять.
Проделайте то же самое с несколькими хорошими знакомыми, а потом обсудите с ними результаты.
Осваивая тест, старайтесь не пользоваться самым простым и очевидным путем: чтением интерпретаций. Обязательно выясните и запомните, что означают шкалы теста. Прежде чем читать интерпретацию, рассмотрите профиль: в действительности именно он имеет главное значение. Вообще приучайте себя к тому, что тестовая интерпретация — лишь вольное и не всегда удачное «переложение профиля на русский язык».
Наконец, вы приняли решение, получили нужные средства и приобрели тест или целую батарею тестов. Что дальше?
У вас, а возможно, и у руководства компании может возникнуть идея протестировать для начала весь действующий персонал. Это полезно для того, чтобы быстро убедиться в действенности теста, выявить его особенности и возможные слабые стороны (вспомним, что я рассказывал выше об опыте применения MBTI). Но может принести и неприятности…
Начнем с того, что сотрудники, естественно, отнесутся к тестированию с недоверием. Даже если вы проведете соответствующую агитацию (я в таких случаях объясняю, что хочу на их примере составить психологический портрет успешногосотрудника, чтобы знать, кого отбирать), большинство будет думать, что компания проверяет их «на вшивость» со всеми вытекающими. Отсюда — возможное ухудшение климата в коллективе, отношений сотрудников в компании.
Далее, если тест достаточно объемный (а заполнение серьезных тестов может потребовать один-два часа), то это приведет к потерям рабочего времени. Особенно — вашего собственного, если не удастся провести одновременное массовое тестирование.
Далее: показывать ли сотрудникам результаты? Они этого ждут. Не покажете — лишний всплеск подозрительности в отношении компании и вас лично. Покажете — мало ли кто что вычитает из собственной характеристики и подумает по этому поводу. А самое неприятное — если кому-то в руки попадут чужие интерпретации. Или кто-то «допущенный», например, ваши собственные помощники, не вовремя выскажется… Я знаю случай, когда по такому поводу в компании возник скандал с истериками и взаимными обвинениями, кончившийся увольнением одной из сотрудниц ПСЖ. А всего-то: инспектор отдела кадров кому-то якобы сказала в курилке, что у той результаты тестов — не того… Естественно, пошли слухи.
Само собой, руководство захочет ознакомиться с результатами. Это тоже палка о двух концах. Хорошо, если личное мнение начальника о сотрудниках будет совпадать с результатами тестирования. А если нет, то вы можете потерять солидный кусок репутации, да и идея тестирования будет дискредитирована. А самый страшный случай — если начальник захочет сам протестироваться, а результат будет не таким, как он ожидал… Все, тушите свет.
Когда все эти этапы пройдены, можно начинать потихонечку, аккуратно использовать тест в профотборе. Аккуратно — значит, пока не делая из его результатов слишком серьезных выводов. За исключением тех случаев, когда результаты теста уж совсем зашкаливают в «негатив» (а таких будет немного).
Желательно давать его всем кандидатам, приходящим на собеседование. В какой форме: компьютерной или «бумажной» (большинство методик допускает оба варианта)? Я лично предпочитаю вторую. Это экономнее по времени, потому что можно посадить человека за столик, пусть себе заполняет, а техника свободна для работы. Введение данных с бланка занимает минуты. Кроме того, некоторые тестовые программы сделаны так, что сразу «выплевывают» результат. А вам надо, чтобы кандидат увидел его раньше вас?
Дальше — накапливайте статистику. Сами учитесь сопоставлять результаты теста с данными других инструментов отбора, делайте выводы. Месяца через три тест станет для вас привычным и надежным инструментом [46].
А теперь, как было обещано, поучимся сами делать тесты. Конечно, не психологические: это слишком трудоемко, да и не нужно. Займемся тестированием знаний.
Для чего вам это может понадобиться? В двух случаях.
1. В профотборе: вы отбираете людей, которые должны обладать определенным уровнем знаний по своей будущей работе. Типичный случай — вам нужны достаточно грамотные пользователи Windows, приложений MS Office и Интернет.
2. В подготовке и повышении квалификации персонала. Вы проводите учебный курс и хотите выяснить, кто как усвоил материал.
В обоих случаях вам придется потратить некоторое время, но впоследствии оно окупится облегчением работы.
Есть два варианта, простой и сложный. Простой: имеется текст, в котором изложена необходимая информация (учебник), и вам достаточно проверить, насколько она хорошо усвоена. Достаточно распространенный пример — подготовка страховых агентов. Их задача — усвоить основные термины, правила, условия страхования данной компании. Они все есть на бумаге.
Сложный: нет единого текста (учебника), а знания приобретались где-нибудь и как-нибудь. Характерный пример — то же пользование современными программными средствами персонального компьютера.
Сейчас каждый пишет в резюме, что является грамотным пользователем. В действительности человек вроде бы и курсы закончил, а дашь ему простейшую задачку — гроб и свечи.
В первом случае вам предстоит составить простую контрольную работу в форме теста, то есть с готовыми ответами на вопросы, правильными и неправильными. Во втором — все, что полагается при изготовлении тестов, включая валидизацию. В практике тестирования такие методики называют тестами достижений.
Для начала возьмем более простой вариант.
В любом случае начинать придется с вопросника.
Я рекомендую делать его простейшим: на вопрос — три варианта ответов, из которых один правильный. Некоторые делают до пяти, но я не вижу в этом особого смысла: лишний труд, а не знающий провалится на третьем и пятом вариантах с одинаковым успехом.
Возьмем учебник или другую необходимую документацию, и поехали прямо по тексту.
Страховая премия — это [47]:
A. Сумма, выплачиваемая страхователем страховщику за обязательство возместить ущерб при наступлении страхового события.
Б. Сумма, выплачиваемая страховщиком страхователю, являющемуся постоянным клиентом данной страховой организации.
B. Сумма, выплачиваемая страховщиком третьим лицам (например, службе пожарной охраны) за предотвращение страхового события.
Маржа — это:
А. Синоним слова «прибыль».
Б. Стоимость товара вместе с упаковкой. В. Разница между продажной и покупной стоимостью товара.
Позиционирование товара на рынке— это:
A. Определение места и способа продажи товара.
Б. Определение потенциальных сегментов рынка с учетом качеств и свойств товара.
B. Размещение точек реализации данного товара в большом торговом комплексе.
Сегмент рынка— это:
A. Группа сходных товаров.
Б. Группа фирм, выпускающих сходную продукцию.
B. Социальная группа потребителей, сходно ведущих себя по отношению к данному товару.
И так далее.
Здесь есть несколько тонкостей, которые надо знать.
Во-первых, самое трудное — это придумывать неправильные ответы, особенно если вы сами хорошо разбираетесь в материале. На это есть следующий прием.
Один неправильный ответ делайте похожимна правильный, например, определение близкого термина или понятия (см. вопрос про маржу: первый вариант ответа близок к правильному, но неверный). Или просто поменяйте местами пару слов, чтобы смысл фразы изменился. Второй — какой угодно, для тех, кто совсем уж «не рубит».
Не думайте, что решить тест будет слишком просто: всегда найдутся те, кто даст «дурацкие» ответы (правда, в приведенном выше примере про страховую премию оба неверных ответа — именно такие).
Во-вторых, проследите за тем, чтобы не дать на какой-нибудь вопрос два правильных варианта ответов. Говорю не просто так: это случается.
В-третьих, расположение правильного варианта (А, Б, В) в разных вопросах необходимо чередовать, желательно в случайном порядке. Можно сделать это, вынимая на ощупь буквы на листочках из шапки. Можно и просто «на глаз»: А, А, В, Б, В, Б, А и так далее (только потом посчитайте, не выпадала ли одна из букв чаще остальных).
В-четвертых, скорее всего, вам придется сделать два варианта вопросника, чтобы не списывали при групповом тестировании. Для этого вовсе не обязательно делать два комплекта вопросов: это слишком трудоемко. Ограничьтесь перемешиванием; проще всего — сделайте второй вариант «задом наперед».
Сколько должно быть вопросов? Это зависит от объемности темы. Если документы (учебник) поделены на разделы, каждый из которых надо знать, достаточно по 2-3 вопроса на каждый раздел. Однако опыт показывает, что большинство людей либо знает материал, либо не знает. Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер— это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки.То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
Например, у вас было 60 человек. В итоге вы отобрали 30 «значимых» вопросов. Отсортируйте список по возрастанию числа правильных ответов на эти вопросы. А теперь посмотрите, как отличаются показатели 20 худших, 20 средних и 20 лучших. Вот вам и критерии оценки. Можете пользоваться своим тестом: вы его сделали!
Нет, и вот почему. Помимо валидности к тестам применяется еще одно требование — надежность. Оно означает, что тест должен одинаково правильно работать в разных странах, в разное время и на разных контингентах обследуемых лиц.
Здесь у меня есть любимый пример. Один из самых известных в мире тестов — Миннесотский многофакторный личностный опросник, MMPI [45]. В нашей стране используются обычно две разные версии: Ф.Б. Березина (известная под названием ММИЛ) и Л.Н. Собчик. Обе вполне уважаемы и уже в 80-х были «штатными» инструментами профотбора в органы государственной безопасности СССР.
Так вот, в MMPI есть утверждение (там не вопросы, а утверждения, с которыми надо соглашаться или нет): «Вы религиозны». Представьте себе реакции на него:
а) жителя США, где религиозность — признак добропорядочности;
б) советского человека начала 70-х, когда за религиозные убеждения изгоняли из комсомола со всеми вытекающими;
в) современного жителя России, где теперь даже «коммунисты — во Христе».
Не кажется ли вам, что ответ «нет» в этих трех случаях будет означать три разные вещи?
И таких примеров очень много. В личностных тестах важен не ответ на какой-то конкретный вопрос, а тенденцияотвечать на вопросы шкалы тем или иным образом. Зачастую человек даже не понимает, по какой шкале «проходит» тот или иной пункт. Самое главное — это тестовые нормы, определяемые при валидизации чисто статистически на большой выборке людей.А представьте, как эти нормы «плывут» от страны к стране, от одной социальной группы к другой (возрастной, профессиональной, этнической — какой угодно!), от десятилетия к десятилетию… Я видел ситуацию, когда у одной женщины профиль MMPI радикально изменился буквально за три месяца. В это время погиб ее ребенок.
В конце 80-х мы с коллегами разработали тест под названием «Кругозор», который должен был измерять уровень общей начитанности и эрудиции у выпускников технических вузов. Тогда это было нужно, уже не важно зачем. Тест валидизировался на нескольких сотнях человек и прекрасно работал. Недавно я в него заглянул — и понял, что годится он только для урнирования, то есть почетного размещения в урне для бумаг. Большинство использованных там понятий уже «ушли», а эрудицию ныне должно отражать знание совсем иных слов… А ведь это всего-навсего тест знаний! С личностью намного сложнее.
Если все так непросто, стоит ли вообще использовать тесты при профотборе? Я вижу следующие варианты, когда определенно стоит.
1. У вас шквальный поток кандидатов, с которым существующая система отбора просто не справляется. Может быть, компания интенсивно растет, а может — текучесть кадров бешеная (но в последнем случае дело, скорее всего, не в качестве отбора). Тогда простая батарея тестов (в психологии принято говорить именно «батарея», а не «набор» или «комплекс»), поставленная в качестве первого фильтра, поможет вам сразу отсечь заведомо непригодных. При условии, если это действительно фильтр (валидность!), а не игрушка. Кстати, наш упомянутый выше тест «Кругозор» работал именно так, освобождая трудовые ресурсы кадрового аппарата для более тонкого изучения кандидатов.
2. Все наоборот. У вас «штучный» отбор с очень высокой стоимостью риска ошибки. Например, финансовый директор компании.Если вы отберете неподходящего кандидата, фирма потеряет значительные средства не только на том, что будет платить высокую зарплату человеку, которого потом придется менять, но и на потенциальных потерях от всего, что он натворит. Я уж не говорю о бесценной информации, которую он унесет с собой и потом неизвестно как использует.
Вот это — очень сложный и достаточно редкий случай. Здесь вы должны быть полностью уверены как в валидности используемых тестовых методик, так и в собственной квалификации. Может, лучше нанять сторонних экспертов с хорошей репутацией? Сейчас эта услуга широко распространена среди рекрутерских и консалтинговых фирм. Посчитайте цену вопроса.
3. Наконец, вы просто полагаете, что внедрение тестов в практику профотбора вашей компании тестовых методик будет полезным. Это вполне естественное желание для активного и любознательного человека. Только вспомним, что мы живем уже не в той стране, где наука была средством «удовлетворения личного любопытства за государственный счет». Прикинем, во что ваши идеи встанут фирме. Окупится ли такая инициатива?
«Серьезные» тесты стоят на рынке 200-500 долларов. Есть и более дорогие, разработчики которых претендуют на универсальность, оригинальность, комплексность обследования и так далее. Когда вы придете к начальству с запросом на такую сумму, неизвестно, какова будет реакция. По моим наблюдениям, руководители, распоряжающиеся деньгами в компании, нередко занимают одну из противоположных позиций. Одни считают тесты «шаманством», и им вы просто ничего не докажете. Другие, наоборот, полагают, что тесты — вещь полезная. Таким и доказывать ничего не надо.
Вспомним, как мы вычисляли стоимость кадровой ошибки. Как минимум. Если подобранный кандидат не выдерживает испытательного срока, она составляет как минимум:
Стоимость поиска + Оплата его труда на испытательный срок + Стоимость подбора нового кандидата
Если наш незадачливый кандидат продержался, скажем, два месяца, то общая стоимость ошибки составит примерно его учетверенную зарплату. Пусть она составит 500 долларов, значит, в сумме фирма потеряла 2000 долларов. Смотрите: приобретение тестов окупит себя, даже если за счет них вы предотвратите единственную ошибку отбора!
Но ведь не каждый же раз вы ошибаетесь! Предположим, вам приходится заполнять две такие вакансии в месяц, то есть 24 вакансии в год. Посчитайте, каков реальный процент ошибок в вашей практике. Вряд ли он составит больше 25%: даже в таком случае вам придется серьезно подумать о качестве отбора. Значит, при 24 вакансиях в год вы ошиблись 6 раз. Общая сумма потерь фирмы:
2000 долл. х 6 = 12 000 долл.
Если приобретение тестов сократит число ошибок, скажем, на 1/3, то выигрыш компании за год составит 4000 долларов. Для компании с приличным оборотом сумма невеликая, но в бюджете управления трудовыми ресурсами она смотрится неплохо.
А теперь повторите расчеты, используя не придуманные мной для примера, а реальные показатели вашей работы.
Теперь поговорим о том, что надо сделать, чтобы ввести тестирование кандидатов в практику.
Для начала надо определиться, какие качества кандидатов вы намерены оценивать, а исходя из этого — какие тесты следует применять. Поэтому не поленитесь ознакомиться с литературой по использованию тестов в профотборе. Она сейчас вполне доступна.
Если ключевой вопрос отбора — это квалификация и знания кандидата, то в большинстве случаев тесты либо не нужны, либо вы их не достанете, так как пока на рынке они практически отсутствуют. Лучше всего положиться на экспертные заключения. Другой вариант — сделайте тест сами. Об этом будет рассказано ниже.
Если ключевыми характеристиками профессиональной пригодности являются психологические, деловые и личные качества, то надо понять, какие именно. Иначе вы начнете с помощью тестов отсеивать не тех, кого надо.
В теории для решения этого вопроса вам придется провести целое исследование: провести тестирование действующих сотрудников компании с помощью максимально универсальных тестовых методик, а потом определить, какими показателями более успешные сотрудники отличаются от менее успешных. Но тогда вы превратитесь из службы управления персонала в психодиагностическую лабораторию. Неизвестно, как на это посмотрит руководство.
Более простой путь — воспользоваться вашим личным опытом и здравым смыслом. Выпишите в столбик слева фамилии успешных сотрудников, а справа — неуспешных, в том числе отсеявшихся по результатам испытательного срока. Попробуйте без «высокой психологии», на простом бытовом языке объяснить, какие деловые и личные качества приводят к негативным результатам. Это гораздо проще сделать, чем кажется, а результат бывает ошеломляющим.
Вообще-то с теориями и здравым смыслом — вопрос сложный. Когда-то они работают, а когда-то нет. Например, в любой книжке вы прочтете, да и здравый смысл подсказывает, что торговец должен отличаться хорошей коммуникабельностью. Даже целая отрасль тренингов для этого существует. Однако лично знаю уже не менее десятка случаев, когда в самых разных компаниях на разных рынках (от промышленного оборудования до страхования) добивались «звездных» успехов такие персонажи… Чучундра чучундрой, выглядит как-то странно, и слова лишнего не выдавишь. По тестам — полное безобразие: шизоид, интраверт. То есть человек, у которого с общением заведомо сложно. А выясняется, что по результатам намного превосходит тех, у которых все тесты на «пять с плюсом». Я думаю, каждый опытный кадровик со мной согласится.
Определившись, поищите на рынке тестовые методики, наиболее близкие к интересующим вам качествам. Предложений полно в Интернете, и сотрудники фирм-производителей вас охотно проконсультируют. Можете также походить на семинары, устраиваемые такими фирмами. Только не надо выбирать тесты по принципу «чем сложнее, тем лучше». Часто бывает наоборот.
Приличные фирмы — разработчики тестовых методик обычно бесплатно предоставляют демоверсии своих тестов, чтобы вы могли оценить их на практике. Обязательно воспользуйтесь этим. Сначала заполните тест сами и оцените, насколько результаты будут соответствовать вашему мнению о себе. Тест хорош, если он наряду с положительными характеристиками будет раскрывать также и слабые стороны. Если вы такие за собой знаете и тест «попал в точку», значит, методике можно доверять.
Проделайте то же самое с несколькими хорошими знакомыми, а потом обсудите с ними результаты.
Осваивая тест, старайтесь не пользоваться самым простым и очевидным путем: чтением интерпретаций. Обязательно выясните и запомните, что означают шкалы теста. Прежде чем читать интерпретацию, рассмотрите профиль: в действительности именно он имеет главное значение. Вообще приучайте себя к тому, что тестовая интерпретация — лишь вольное и не всегда удачное «переложение профиля на русский язык».
Наконец, вы приняли решение, получили нужные средства и приобрели тест или целую батарею тестов. Что дальше?
У вас, а возможно, и у руководства компании может возникнуть идея протестировать для начала весь действующий персонал. Это полезно для того, чтобы быстро убедиться в действенности теста, выявить его особенности и возможные слабые стороны (вспомним, что я рассказывал выше об опыте применения MBTI). Но может принести и неприятности…
Начнем с того, что сотрудники, естественно, отнесутся к тестированию с недоверием. Даже если вы проведете соответствующую агитацию (я в таких случаях объясняю, что хочу на их примере составить психологический портрет успешногосотрудника, чтобы знать, кого отбирать), большинство будет думать, что компания проверяет их «на вшивость» со всеми вытекающими. Отсюда — возможное ухудшение климата в коллективе, отношений сотрудников в компании.
Далее, если тест достаточно объемный (а заполнение серьезных тестов может потребовать один-два часа), то это приведет к потерям рабочего времени. Особенно — вашего собственного, если не удастся провести одновременное массовое тестирование.
Далее: показывать ли сотрудникам результаты? Они этого ждут. Не покажете — лишний всплеск подозрительности в отношении компании и вас лично. Покажете — мало ли кто что вычитает из собственной характеристики и подумает по этому поводу. А самое неприятное — если кому-то в руки попадут чужие интерпретации. Или кто-то «допущенный», например, ваши собственные помощники, не вовремя выскажется… Я знаю случай, когда по такому поводу в компании возник скандал с истериками и взаимными обвинениями, кончившийся увольнением одной из сотрудниц ПСЖ. А всего-то: инспектор отдела кадров кому-то якобы сказала в курилке, что у той результаты тестов — не того… Естественно, пошли слухи.
Само собой, руководство захочет ознакомиться с результатами. Это тоже палка о двух концах. Хорошо, если личное мнение начальника о сотрудниках будет совпадать с результатами тестирования. А если нет, то вы можете потерять солидный кусок репутации, да и идея тестирования будет дискредитирована. А самый страшный случай — если начальник захочет сам протестироваться, а результат будет не таким, как он ожидал… Все, тушите свет.
Когда все эти этапы пройдены, можно начинать потихонечку, аккуратно использовать тест в профотборе. Аккуратно — значит, пока не делая из его результатов слишком серьезных выводов. За исключением тех случаев, когда результаты теста уж совсем зашкаливают в «негатив» (а таких будет немного).
Желательно давать его всем кандидатам, приходящим на собеседование. В какой форме: компьютерной или «бумажной» (большинство методик допускает оба варианта)? Я лично предпочитаю вторую. Это экономнее по времени, потому что можно посадить человека за столик, пусть себе заполняет, а техника свободна для работы. Введение данных с бланка занимает минуты. Кроме того, некоторые тестовые программы сделаны так, что сразу «выплевывают» результат. А вам надо, чтобы кандидат увидел его раньше вас?
Дальше — накапливайте статистику. Сами учитесь сопоставлять результаты теста с данными других инструментов отбора, делайте выводы. Месяца через три тест станет для вас привычным и надежным инструментом [46].
А теперь, как было обещано, поучимся сами делать тесты. Конечно, не психологические: это слишком трудоемко, да и не нужно. Займемся тестированием знаний.
Для чего вам это может понадобиться? В двух случаях.
1. В профотборе: вы отбираете людей, которые должны обладать определенным уровнем знаний по своей будущей работе. Типичный случай — вам нужны достаточно грамотные пользователи Windows, приложений MS Office и Интернет.
2. В подготовке и повышении квалификации персонала. Вы проводите учебный курс и хотите выяснить, кто как усвоил материал.
В обоих случаях вам придется потратить некоторое время, но впоследствии оно окупится облегчением работы.
Есть два варианта, простой и сложный. Простой: имеется текст, в котором изложена необходимая информация (учебник), и вам достаточно проверить, насколько она хорошо усвоена. Достаточно распространенный пример — подготовка страховых агентов. Их задача — усвоить основные термины, правила, условия страхования данной компании. Они все есть на бумаге.
Сложный: нет единого текста (учебника), а знания приобретались где-нибудь и как-нибудь. Характерный пример — то же пользование современными программными средствами персонального компьютера.
Сейчас каждый пишет в резюме, что является грамотным пользователем. В действительности человек вроде бы и курсы закончил, а дашь ему простейшую задачку — гроб и свечи.
В первом случае вам предстоит составить простую контрольную работу в форме теста, то есть с готовыми ответами на вопросы, правильными и неправильными. Во втором — все, что полагается при изготовлении тестов, включая валидизацию. В практике тестирования такие методики называют тестами достижений.
Для начала возьмем более простой вариант.
В любом случае начинать придется с вопросника.
Я рекомендую делать его простейшим: на вопрос — три варианта ответов, из которых один правильный. Некоторые делают до пяти, но я не вижу в этом особого смысла: лишний труд, а не знающий провалится на третьем и пятом вариантах с одинаковым успехом.
Возьмем учебник или другую необходимую документацию, и поехали прямо по тексту.
Страховая премия — это [47]:
A. Сумма, выплачиваемая страхователем страховщику за обязательство возместить ущерб при наступлении страхового события.
Б. Сумма, выплачиваемая страховщиком страхователю, являющемуся постоянным клиентом данной страховой организации.
B. Сумма, выплачиваемая страховщиком третьим лицам (например, службе пожарной охраны) за предотвращение страхового события.
Маржа — это:
А. Синоним слова «прибыль».
Б. Стоимость товара вместе с упаковкой. В. Разница между продажной и покупной стоимостью товара.
Позиционирование товара на рынке— это:
A. Определение места и способа продажи товара.
Б. Определение потенциальных сегментов рынка с учетом качеств и свойств товара.
B. Размещение точек реализации данного товара в большом торговом комплексе.
Сегмент рынка— это:
A. Группа сходных товаров.
Б. Группа фирм, выпускающих сходную продукцию.
B. Социальная группа потребителей, сходно ведущих себя по отношению к данному товару.
И так далее.
Здесь есть несколько тонкостей, которые надо знать.
Во-первых, самое трудное — это придумывать неправильные ответы, особенно если вы сами хорошо разбираетесь в материале. На это есть следующий прием.
Один неправильный ответ делайте похожимна правильный, например, определение близкого термина или понятия (см. вопрос про маржу: первый вариант ответа близок к правильному, но неверный). Или просто поменяйте местами пару слов, чтобы смысл фразы изменился. Второй — какой угодно, для тех, кто совсем уж «не рубит».
Не думайте, что решить тест будет слишком просто: всегда найдутся те, кто даст «дурацкие» ответы (правда, в приведенном выше примере про страховую премию оба неверных ответа — именно такие).
Во-вторых, проследите за тем, чтобы не дать на какой-нибудь вопрос два правильных варианта ответов. Говорю не просто так: это случается.
В-третьих, расположение правильного варианта (А, Б, В) в разных вопросах необходимо чередовать, желательно в случайном порядке. Можно сделать это, вынимая на ощупь буквы на листочках из шапки. Можно и просто «на глаз»: А, А, В, Б, В, Б, А и так далее (только потом посчитайте, не выпадала ли одна из букв чаще остальных).
В-четвертых, скорее всего, вам придется сделать два варианта вопросника, чтобы не списывали при групповом тестировании. Для этого вовсе не обязательно делать два комплекта вопросов: это слишком трудоемко. Ограничьтесь перемешиванием; проще всего — сделайте второй вариант «задом наперед».
Сколько должно быть вопросов? Это зависит от объемности темы. Если документы (учебник) поделены на разделы, каждый из которых надо знать, достаточно по 2-3 вопроса на каждый раздел. Однако опыт показывает, что большинство людей либо знает материал, либо не знает. Поэтому проверять все вовсе не обязательно. Когда вы сдаете экзамен, вы же отвечаете только на один билет, а оценку вам ставят за весь курс!
В принципе 20-30 вопросов бывает достаточно, чтобы оценить знания даже довольно обширного материала.
Как выставлять оценки? Это зависит от ваших представлений о том, насколько проверяемые знания необходимы для работы сотрудников. Пример: на теоретических экзаменах в ГИБДД вы получите «неуд», если ошибетесь всего 2 раза на 10 задач! А можете ввести балльные оценки: за половину правильных ответов — троечка, за 2/3 — четверка, за 3/4 —«отлично». Ваше дело.
Теперь займемся тестами достижений. Здесь все будет сложнее: и составление вопросника, и расставление оценок, и, главное, валидизация. В тесте типа «контрольная работа» она не нужна, потому что мы и так знаем, что хотим проверять: насколько хорошо человек изучил конкретный материал.
Допустим, к вам приходит поток кандидатов, которых вы хотите проверить на компьютерную грамотность. Если бы вы сами их готовили, все было бы проще — достаточно составить «контрольную» на прочитанный им курс и на предложенные учебники. А в нашем случае вам придется определяться, какой базовый уровень считать достаточным для работы, а какой нет; какой материал из обширнейшей компьютерной тематики необходим, а какой не обязателен!
Например, можно ли считать «компьютерно грамотным» человека, умеющего загружать Word и печатать в нем тексты? Или требуется что-то большее?
Для начала получим предварительный набор вопросов. Берем несколько специалистов, которые, по нашему мнению, знают, что есть компьютерная грамотность. То есть хороших пользователей. Только не приглашайте профессиональных айтишников: эти считают безграмотным любого, кто не умеет программировать на Ассемблере. Собираем их вместе (можно даже с пивом: это стимулирует процесс) и просим накидать вопросы. Желательно — не меньше 50-100 (все равно потом большая часть отпадет). Когда набор вопросов будет готов, попросите их же дать варианты ответов по принципу, описанному выше: правильный, похожий на правильный и явно «дурацкий».
Здесь есть одна тонкость.
Бывают вопросы, которые напрямую вроде и не отражают квалификацию человека, но, если он грамотен, ответы на них он просто не может не знать.
Пример: объем стандартной трехдюймовой дискеты. В процессе работы на компьютере мы обычно не помним, что он составляет 1,44 Мб (только если не выясняется, что ваши файлы не помещаются на дискету). В общем-то, этого и помнить не надо. Но любой, кто как следует повозился с персональным компьютером, ответит на этот вопрос даже среди ночи.
Итак, мы сформировали набор вопросов. Они будут выглядеть примерно так:
Картинка, которая появляется на экране после полной загрузки Windows, называется:
A. Рабочей папкой.
Б. Рабочим столом.
B. Рабочим полем.
Или:
Можно ли рисовать картинки в программе MS Excel?
А. Нельзя.
Б. Можно, но для этого нужна дополнительная программа рисования.
В. Можно.
Или:
Стандартная клавиша для получения справки:
A. F1.
Б. Знак вопроса (?).
В. F10.
Или:
Браузер— это:
A. Устройство для подключения компьютера к телефонной сети.
Б. Программа для просмотра страниц Интернета.
B. Программа для поиска и уничтожения компьютерных вирусов.
И так далее, в том же духе. Обратите внимание, что я постоянно меняю место правильного ответа!
Теперь нам предстоит выбрать «правильные» вопросы. «Правильные» — это те, которые позволяют отличить грамотного от дилетанта.
Вам придется «пропустить» через составленный вопросник человек минимум 50. При этом очень здорово, если вы заведомо знаете уровень их владения компьютером (в нашем случае). Если нет — тоже не страшно. Это могут быть, например, уже работающие сотрудники вашей фирмы. Заодно оцените их реальную компьютерную грамотность.
Важна опять же репрезентативность выборки.То есть группа, на которой вы проводите эту процедуру, должна быть такой же, что и ваши кандидаты на работу (напоминаю, что мы с вами делаем тест для профотбора). Попробуйте, например, дать этот вопросник сегодняшним студентам! Засмеют. Эти-то уже все «компьютерно грамотные». Зато, скажем, на каких-нибудь бухгалтерских курсах получите совсем иную картину.
Лучший вариант: если поток кандидатов достаточно велик, на них и экспериментируйте!
Итак, набрали результаты. Кстати, анализировать их лучше всего в том же Microsoft Excel. Ваша задача — для каждого вопроса определить частоту правильных ответов.
Все вопросы «развалятся» на три группы (если изначально они были подобраны правильно):
— вопросы, на которые отвечают практически все (до 80%);
— вопросы, на которые отвечают «серединка на половинку» (40-60%);
— вопросы, на которые большинство не отвечает (правильные ответы даются в 10-20% случаев).
Какие нам нужны? Конечно, те, которые «серединка на половинку»! Именно они и имеют диагностическое значение. Потому что остальные — либо слишком простые, либо слишком сложные для нашего контингента испытуемых. Следовательно, нам они не нужны.
Оставим вопросов 20-30 из числа отобранных. Теперь нам надо определить нормативы. Кого считать «проходным»: ответившего правильно на все вопросы или только на половину?
Для этого есть два способа. Самый лучший — если у вас есть возможность делить испытуемых на «грамотных» и «неграмотных» по какому-то иному критерию. Например, после заполнения теста сажаете кандидата за компьютер, даете несколько заданий (например, «найдите мне в Интернете все упоминания о нашей фирме») и субъективно выставляете оценку.
Кстати, вспомним, для чего мы делаем тест. Именно для того, чтобы заменить этим «измерительным прибором» трудоемкую процедуру проверки на практических заданиях!
Второй способ: из уже полученной вами выборки оставьте для каждого испытуемого ответы только на отобранные вами «диагностически значимые» вопросы. Потом для каждого испытуемого подсчитайте количество правильных ответов. Почти наверняка вы получите диапазон от двух-трех до всех правильных. А теперь подсчитайте «порог» количества правильных ответов для «нижней», «средней» и «верхней» третей этого диапазона.
Например, у вас было 60 человек. В итоге вы отобрали 30 «значимых» вопросов. Отсортируйте список по возрастанию числа правильных ответов на эти вопросы. А теперь посмотрите, как отличаются показатели 20 худших, 20 средних и 20 лучших. Вот вам и критерии оценки. Можете пользоваться своим тестом: вы его сделали!