Страница:
Вернемся к табл.1. Неопределенность не только в том, будет дождь или нет. Неопределенности - во всех числах таблицы. Сведения о погоде, пусть даже рассчитанные за 100 лет, содержат погрешности, которые можно оценить с помощью методов метрологии и математической статистики. Например, вместо 60 % должно стоять (60+3) % . Тем более содержат неточности данные о предполагаемой прибыли. Ведь для того, чтобы ее рассчитать, необходимо:
- оценить затраты на подготовку к празднику (это можно сделать достаточно точно, особенно при отсутствии инфляции);
- оценить число участников празднества (а это уже труднее - таких праздников раньше не было), например, поручив социологам опросить горожан;
- оценить затраты среднего участника праздника (а это зависит, в частности, от общего экономического положения Загорья к моменту праздника, которое тем самым тоже необходимо спрогнозировать).
В результате вместо 1000 в таблице должно стоять 1000+200. Следовательно, рассуждения четырех думцев, опирающихся на числа из табл.1, строго говоря, некорректны. Реальные числа - иные, хотя и довольно близкие. Необходимо изучить устойчивость выводов по отношению к допустимым отклонениям исходных данных, а также по отношению к малым изменениям предпосылок используемой математической модели. Как это делать - описано в монографии [2].
Речь идет об общеинженерной идее - любое измерение проводится с некоторой погрешностью, и эту погрешность необходимо указывать.
2.4. Критерии оценки решения
Вспомните дискуссию в Думе Загорья - каждый из выступавших использовал свой критерий для выбора наилучшего варианта критерия.
Воробьев предлагал анализировать наихудший для думцев случай дождя. Фактически он рассматривал погоду как врага, который всячески будет мешать проведению празднества, будет стараться уменьшить доход города. И в условиях жесткого противодействия со стороны погоды он предлагал выбрать наиболее выгодный вариант решения - проведение праздника в театре. Подход Воробьева хорошо при рассмотрении бескомпромиссного противостояния двух противников, имеющих противоположные интересы, например, двух армий воюющих между собой государств. Существует математизированная наука - т.н. теория игр (см., например, монографии [3,4]), - в которой рассматриваются методы оптимального поведения в условиях конфликта. В дискуссии о выборе места праздника позиция Воробьева - это позиция крайнего пессимиста, поскольку нет оснований считать погоду активным сознательным противником для руководства города. Отметим также, что наиболее плохой случай, на который ориентируется теория игр, встречается сравнительно редко.
Подход оптимиста Лебедева прямо противоположен подходу Воробьева. Предлагается исходить из самого благоприятного стечения обстоятельств. Природа для Лебедева - друг, а не враг. И надо сказать, что для такой позиции есть основания - солнечная погода в полтора раза вероятнее дождливой. С точки зрения теории планирования в менеджменте (см. главу "Функции менеджмента") предложение Лебедева можно было бы взять за основу, добавив возможности коррекции плана в случае неблагоприятных обстоятельств, а именно, дождливой погоды. И тут мы наталкиваемся на неполноту дискуссии в Думе Загорья - никто не рассмотрел возможность подготовки праздничных мероприятий "двойного назначения" - при солнечной погоде все происходит на открытом воздухе, а при дожде концерты, буфеты и другие развлечения переносятся в здание театра.
С чисто логической точки зрения оптимизм Лебедева не менее и не более оправдан, чем пессимизм Воробьева. Люди вообще и менеджеры в частности делятся на два класса - оптимистов и пессимистов. Особенно четко различие проявляется при вложении капитала, поскольку, как правило, увеличение прибыли связано с увеличением риска.
Одни люди предпочтут твердый доход (да еще и застрахуются), отказавшись от соблазнительных, но рискованных предложений. Деньги они предпочтут держать не в коммерческих банках, а в жестяных и стеклянных, спрятанных в своей квартире. Лишаясь при этом банковских процентов, взамен они уверены, что в любой момент смогут воспользоваться своими сбережениями. К сожалению в российской экономической истории последних лет много примеров, когда банки отказывались выплачивать вклады. Иногда это делается не в прямую: выделяется один оператор-кассир на 100000 вкладчиков, за день обслуживающий 80 человек. Для обслуживания всех понадобится 1250 рабочих дней, т.е. около 5 лет.
Другой тип людей - оптимисты и авантюристы, они уверены, что им повезет. Такие люди надеются разбогатеть, играя в лотерею. Хотя их ожидания часто не оправдываются, из любого положения они умудряются вывернуться и затеять новое дело. В результате им удается достаточно долго продержаться "на плаву", там, глядишь, действительно повезет...
Надо иметь в виду, что на человека выигрыш или проигрыш одной и той же суммы могут оказать совсем разное влияние. Выигрыш приносит радость (но не счастье), в то время как проигрыш может означать разорение, т.е. несчастье. Недаром в теории полезности [7-8] рассматривают парадоксальное понятие полезность денег - приходят к выводу, что полезность равна логарифму имеющейся суммы.
Совсем с других позиций подошел к делу думец Чибисов. Его подход фактически предполагает, что придется проводить не один праздник, а много. Вот он и рассчитывает средний доход, исходя из того, что 60 % праздников придутся на солнечную погоду, а 40 % - на дождливую. Такой подход вполне обоснован, когда праздничные мероприятия проводятся каждую неделю или каждый день. Например, к нему мог бы прибегнуть менеджер, проектирующий свой ресторан ориентироваться ли на открытые столики с видом на живописные окрестности или замкнуться в четырех стенах, отгородившись от дождя. Если события происходят много раз, то для принятия решений естественно использовать методы современной прикладной статистики (см. обзор [5]), например, как это принято при статистическом контроле качества продукции и сертификации [6]. Тогда оценка математического ожидания дохода, проведенная Чибисовым, вполне корректна.
Однако Дума решает вопрос об одном-единственном празднике. Поэтому 60% и 40% - это не вероятности как пределы частот, что обычно предполагается при применении теории вероятностей, это шансы солнца и дождя (иногда употребляют термин "субъективные вероятности"). Используются эти шансы для того, чтобы в одном критерии свести вместе пессимистический и оптимистический подходы.
Думец Куликов вводит в обсуждение новое понятие - "упущенная выгода". Обратите внимание - средний доход, рассчитанный Чибисовым, больше при проведении праздника на открытом воздухе, а упущенная выгода, наоборот, меньше при организации торжеств в театре. Эти два критерия противоречат друг другу. Каждому менеджеру приходится решать, что для него полезнее увеличение дохода или уменьшение упущенной выгоды. И в этом ему поможет теория полезности, хорошо разработанная в экономике ("маржинальная полезность" в теории поведения потребителя и др. [7]) и имеющая развитый математический аппарат [8].
Помните, чем кончилось заседание в Думе? Критерии противоречили друг другу, два из них приводили к выводу о выгодности проведения праздника на открытом воздухе, а две - в театре. И Дума решила вопрос голосованием. При этом каждый из голосовавших интуитивно оценивал достоинства и недостатки вариантов. Т.е. выступал как эксперт, а вся Дума в целом - как экспертная комиссия. Рассмотрим методы принятия решения с помощью экспертов. По-английски expert - это специалист, в русском языке эти два слова имеют несколько различающийся смысл: под экспертом понимают опытного высококвалифицированного специалиста, умеющего использовать всю интуицию для принятия решений.
3. Методы экспертных оценок
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).
Не меньше существует и методов обработки ответов экспертов, в том числе весьма математизированных и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики [5]. Обзор современного состояния в области экспертных оценок дан в обзоре [9].
3.1. Основные проблемы теории и практики экспертных оценок
Что должна представить экспертная комиссия в результате своей работы информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы комиссии.
3.1.1. Цель - сбор информации для ЛПР
Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит свои соображения по рассматриваемому вопросу; составленный им материал передается второму эксперту, который добавляет свои аргументы; накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается , когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.
3.1.2. Цель - подготовка проекта решения для ЛПР
Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
ДОГМА СОГЛАСОВАННОСТИ Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [10] приведен пример деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики) Академии наук СССР).).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение статистической гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас в 80-х годах к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [5].
МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
3.2. Догма одномерности
Распространен довольно примитивный подход т. н. "квалиметрии", согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа ее "рыночной стоимости".
Каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
расход бензина на 100 км пути (в среднем);
надежность (средняя стоимость ремонта за год);
быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
длительность сохранения в салоне положительной температуры при низкой наружной температуре ( - 50 градусов по Цельсию) и выключенном двигателе;
вес, и т.д.
Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (см., например, [11]).
В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению. Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
3.3. Основные стадии экспертного опроса
Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии экспертного опроса:
1) формулировка ЛПР цели экспертного опроса;
2) подбор ЛПР основного состава Рабочей группы (обычно - руководителя и секретаря);
3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).
3.4. Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны процедур подбора экспертов.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" [10], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
4. Элементы теории принятия решений
4.1. Системный подход при принятии решений
При обсуждении проблем принятия решений часто говорят о системном подходе, системе, системном анализе. Речь идет о том, что надо рассматривать проблему в целом, а не "выдергивать" для обсуждения какую-нибудь одну черту, хотя и важную. Так, при массовом жилищном строительстве можно "выдернуть" черту - стоимость квадратного метра в доме. Тогда наиболее дешевые дома - пятиэтажки. Если же взглянуть системно, учесть стоимость транспортных и инженерных коммуникаций (подводящих электроэнергию, воду, тепло и др.), то оптимальное решение уже другие - девятиэтажки.
Так, например, менеджер банка, отвечающий за распространение пластиковых карт, может сосредоточиться на рекламе. Между тем ему от системы "банк владельцы карт" лучше перейти к системе "банк - руководители организаций владельцы карт". Договоренность с руководителем учреждения, давшим в итоге приказ выплачивать заработную плату с помощью пластиковых карт, даст нашему менеджеру гораздо больший прирост численности владельцев карт, чем постоянная дорогая реклама. Его ошибка состояла в неправильном выделении системы, с которой он должен работать.
Менеджер банка будет не прав, оценивая работу подразделений банка в текущих рублях. Обязательно надо учитывать инфляцию. Иначе мы сталкиваемся с парадоксальными явлениями, когда реальная ставка платы за кредит отрицательна; или же - рублевый оборот растет, банк якобы процветает, а после перехода к сопоставимым ценам путем деления на индекс инфляции становится ясно, что дела банка плохи.
- оценить затраты на подготовку к празднику (это можно сделать достаточно точно, особенно при отсутствии инфляции);
- оценить число участников празднества (а это уже труднее - таких праздников раньше не было), например, поручив социологам опросить горожан;
- оценить затраты среднего участника праздника (а это зависит, в частности, от общего экономического положения Загорья к моменту праздника, которое тем самым тоже необходимо спрогнозировать).
В результате вместо 1000 в таблице должно стоять 1000+200. Следовательно, рассуждения четырех думцев, опирающихся на числа из табл.1, строго говоря, некорректны. Реальные числа - иные, хотя и довольно близкие. Необходимо изучить устойчивость выводов по отношению к допустимым отклонениям исходных данных, а также по отношению к малым изменениям предпосылок используемой математической модели. Как это делать - описано в монографии [2].
Речь идет об общеинженерной идее - любое измерение проводится с некоторой погрешностью, и эту погрешность необходимо указывать.
2.4. Критерии оценки решения
Вспомните дискуссию в Думе Загорья - каждый из выступавших использовал свой критерий для выбора наилучшего варианта критерия.
Воробьев предлагал анализировать наихудший для думцев случай дождя. Фактически он рассматривал погоду как врага, который всячески будет мешать проведению празднества, будет стараться уменьшить доход города. И в условиях жесткого противодействия со стороны погоды он предлагал выбрать наиболее выгодный вариант решения - проведение праздника в театре. Подход Воробьева хорошо при рассмотрении бескомпромиссного противостояния двух противников, имеющих противоположные интересы, например, двух армий воюющих между собой государств. Существует математизированная наука - т.н. теория игр (см., например, монографии [3,4]), - в которой рассматриваются методы оптимального поведения в условиях конфликта. В дискуссии о выборе места праздника позиция Воробьева - это позиция крайнего пессимиста, поскольку нет оснований считать погоду активным сознательным противником для руководства города. Отметим также, что наиболее плохой случай, на который ориентируется теория игр, встречается сравнительно редко.
Подход оптимиста Лебедева прямо противоположен подходу Воробьева. Предлагается исходить из самого благоприятного стечения обстоятельств. Природа для Лебедева - друг, а не враг. И надо сказать, что для такой позиции есть основания - солнечная погода в полтора раза вероятнее дождливой. С точки зрения теории планирования в менеджменте (см. главу "Функции менеджмента") предложение Лебедева можно было бы взять за основу, добавив возможности коррекции плана в случае неблагоприятных обстоятельств, а именно, дождливой погоды. И тут мы наталкиваемся на неполноту дискуссии в Думе Загорья - никто не рассмотрел возможность подготовки праздничных мероприятий "двойного назначения" - при солнечной погоде все происходит на открытом воздухе, а при дожде концерты, буфеты и другие развлечения переносятся в здание театра.
С чисто логической точки зрения оптимизм Лебедева не менее и не более оправдан, чем пессимизм Воробьева. Люди вообще и менеджеры в частности делятся на два класса - оптимистов и пессимистов. Особенно четко различие проявляется при вложении капитала, поскольку, как правило, увеличение прибыли связано с увеличением риска.
Одни люди предпочтут твердый доход (да еще и застрахуются), отказавшись от соблазнительных, но рискованных предложений. Деньги они предпочтут держать не в коммерческих банках, а в жестяных и стеклянных, спрятанных в своей квартире. Лишаясь при этом банковских процентов, взамен они уверены, что в любой момент смогут воспользоваться своими сбережениями. К сожалению в российской экономической истории последних лет много примеров, когда банки отказывались выплачивать вклады. Иногда это делается не в прямую: выделяется один оператор-кассир на 100000 вкладчиков, за день обслуживающий 80 человек. Для обслуживания всех понадобится 1250 рабочих дней, т.е. около 5 лет.
Другой тип людей - оптимисты и авантюристы, они уверены, что им повезет. Такие люди надеются разбогатеть, играя в лотерею. Хотя их ожидания часто не оправдываются, из любого положения они умудряются вывернуться и затеять новое дело. В результате им удается достаточно долго продержаться "на плаву", там, глядишь, действительно повезет...
Надо иметь в виду, что на человека выигрыш или проигрыш одной и той же суммы могут оказать совсем разное влияние. Выигрыш приносит радость (но не счастье), в то время как проигрыш может означать разорение, т.е. несчастье. Недаром в теории полезности [7-8] рассматривают парадоксальное понятие полезность денег - приходят к выводу, что полезность равна логарифму имеющейся суммы.
Совсем с других позиций подошел к делу думец Чибисов. Его подход фактически предполагает, что придется проводить не один праздник, а много. Вот он и рассчитывает средний доход, исходя из того, что 60 % праздников придутся на солнечную погоду, а 40 % - на дождливую. Такой подход вполне обоснован, когда праздничные мероприятия проводятся каждую неделю или каждый день. Например, к нему мог бы прибегнуть менеджер, проектирующий свой ресторан ориентироваться ли на открытые столики с видом на живописные окрестности или замкнуться в четырех стенах, отгородившись от дождя. Если события происходят много раз, то для принятия решений естественно использовать методы современной прикладной статистики (см. обзор [5]), например, как это принято при статистическом контроле качества продукции и сертификации [6]. Тогда оценка математического ожидания дохода, проведенная Чибисовым, вполне корректна.
Однако Дума решает вопрос об одном-единственном празднике. Поэтому 60% и 40% - это не вероятности как пределы частот, что обычно предполагается при применении теории вероятностей, это шансы солнца и дождя (иногда употребляют термин "субъективные вероятности"). Используются эти шансы для того, чтобы в одном критерии свести вместе пессимистический и оптимистический подходы.
Думец Куликов вводит в обсуждение новое понятие - "упущенная выгода". Обратите внимание - средний доход, рассчитанный Чибисовым, больше при проведении праздника на открытом воздухе, а упущенная выгода, наоборот, меньше при организации торжеств в театре. Эти два критерия противоречат друг другу. Каждому менеджеру приходится решать, что для него полезнее увеличение дохода или уменьшение упущенной выгоды. И в этом ему поможет теория полезности, хорошо разработанная в экономике ("маржинальная полезность" в теории поведения потребителя и др. [7]) и имеющая развитый математический аппарат [8].
Помните, чем кончилось заседание в Думе? Критерии противоречили друг другу, два из них приводили к выводу о выгодности проведения праздника на открытом воздухе, а две - в театре. И Дума решила вопрос голосованием. При этом каждый из голосовавших интуитивно оценивал достоинства и недостатки вариантов. Т.е. выступал как эксперт, а вся Дума в целом - как экспертная комиссия. Рассмотрим методы принятия решения с помощью экспертов. По-английски expert - это специалист, в русском языке эти два слова имеют несколько различающийся смысл: под экспертом понимают опытного высококвалифицированного специалиста, умеющего использовать всю интуицию для принятия решений.
3. Методы экспертных оценок
Бесспорно совершенно, что для принятия обоснованных решений необходимо опираться на опыт, знания и интуицию специалистов. После второй мировой войны в рамках теории управления (менеджмента) стала развиваться самостоятельная дисциплина - экспертные оценки.
Методы экспертных оценок - это методы организации работы со специалистами-экспертами и обработки мнений экспертов, выраженных в количественной и/или качественной форме с целью подготовки информации для принятия решений ЛПР. Для проведения работы по методу экспертных оценок создают Рабочую группу (сокращенно РГ), которая и организует по поручению ЛПР деятельность экспертов, объединенных (формально или по существу) в экспертную комиссию (ЭК).
Существует масса методов получения экспертных оценок. В одних с каждым экспертом работают отдельно, он даже не знает, кто еще является экспертом, а потому высказывает свое мнение независимо от авторитетов. В других экспертов собирают вместе для подготовки материалов для ЛПР, при этом эксперты обсуждают проблему друг с другом, учатся друг у друга, и неверные мнения отбрасываются. В одних методах число экспертов фиксировано и таково, чтобы статистические методы проверки согласованности мнений и затем их усреднения позволяли принимать обоснованные решения. В других - число экспертов растет в процессе проведения экспертизы, например, при использовании метода "снежного кома" (о нем - дальше).
Не меньше существует и методов обработки ответов экспертов, в том числе весьма математизированных и компьютеризированных. Многие из них основаны на достижениях статистики объектов нечисловой природы и других современных методах прикладной статистики [5]. Обзор современного состояния в области экспертных оценок дан в обзоре [9].
3.1. Основные проблемы теории и практики экспертных оценок
Что должна представить экспертная комиссия в результате своей работы информацию для принятия решения ЛПР или проект самого решения? От ответа на этот методологический вопрос зависит организация работы комиссии.
3.1.1. Цель - сбор информации для ЛПР
Тогда Рабочая группа должна собрать возможно больше относящейся к делу информации, аргументов "за" и "против" определенных вариантов решений. Полезен метод постепенного увеличения числа экспертов: сначала первый эксперт приводит свои соображения по рассматриваемому вопросу; составленный им материал передается второму эксперту, который добавляет свои аргументы; накопленный материал поступает к следующему - третьему - эксперту... Процедура заканчивается , когда иссякает поток новых соображений.
Отметим, что эксперты в рассматриваемом методе только поставляют информацию, аргументы "за" и "против", но не вырабатывают согласованного проекта решения. Нет никакой необходимости стремиться к тому, чтобы экспертные мнения были согласованы между собой. Более того, наибольшую пользу приносят эксперты с мышлением, отклоняющимся от массового, поскольку именно от них следует ожидать наиболее оригинальных аргументов.
3.1.2. Цель - подготовка проекта решения для ЛПР
Математические методы в экспертных оценках применяются обычно именно для решения задач подготовки проекта решения. При этом зачастую некритически принимают догмы согласованности и одномерности. Эти догмы "кочуют" из одной публикации в другую, поэтому целесообразно их обсудить.
ДОГМА СОГЛАСОВАННОСТИ Считается, что решение может быть принято лишь на основе согласованных мнений экспертов. Поэтому исключают из экспертной группы тех, чье мнение отличается от мнения большинства. При этом отсеиваются как неквалифицированные лица, попавшие в состав экспертной комиссии по недоразумению или по соображениям, не имеющим отношения к их профессиональному уровню, так и наиболее оригинальные мыслители, глубже проникшие в проблему, чем большинство. Следовало бы выяснить их аргументы, предоставить им возможность для обоснования их точек зрения. Вместо этого их мнением пренебрегают.
Бывает и так, что эксперты делятся на две или более групп, имеющих единые групповые точки зрения. Так, в [10] приведен пример деления специалистов при оценке результатов научно-исследовательских работ (НИР) на две группы: "теоретиков", явно предпочитающих НИР, в которых получены теоретические результаты, и "практиков", выбирающих те НИР, которые позволяют получать непосредственные прикладные результаты (речь идет о конкурсе НИР в Институте проблем управления (автоматики и телемеханики) Академии наук СССР).).
Иногда заявляют, что в случае обнаружения двух или нескольких групп экспертов (вместо одной согласованной во мнениях) опрос не достиг цели. Это не так! Цель достигнута - установлено, что единого мнения нет. И ЛПР должен это учитывать. Стремление обеспечить согласованность мнений экспертов любой целой может приводить к сознательному одностороннему подбору экспертов, игнорированию всех точек зрения, кроме одной, наиболее полюбившейся Рабочей группе ( или даже "подсказанной" ЛПР).
Поскольку число экспертов обычно не превышает 20-30, то формальная статистическая согласованность мнений экспертов (установленная с помощью тех или иных критериев проверки статистических гипотез) может сочетаться с реально имеющимся разделением на группы, что делает дальнейшие расчеты не имеющими отношения к действительности. Если же обратиться к конкретным методам расчетов, например, с помощью коэффициентов конкордации на основе коэффициентов ранговой корреляции Кендалла или Спирмена, то необходимо помнить, что на самом деле положительный результат проверки согласованности таким способом означает ни больше, ни меньше, как отклонение статистической гипотезы о независимости и равномерной распределенности мнений экспертов на множестве всех ранжировок. Другими словами, мы падаем жертвой заблуждений, вытекающих из своеобразного толкования слов: проверка согласованности в указанном статистическом смысле вовсе не является проверкой согласованности в смысле практики экспертных оценок. Именно ущербность рассматриваемых математико-статистических методов анализа ранжировок привела нас в 80-х годах к разработке нового математического аппарата для проверки согласованности - непараметрических методов, основанных на люсианах [5].
МНЕНИЯ ДИССИДЕНТОВ. С целью искусственно добиться согласованности стараются уменьшить влияние мнений экспертов-диссидентов. Жесткий способ борьбы с диссидентами состоит в их исключении из состава экспертной комиссии. Отбраковка экспертов, как и отбраковка резко выделяющихся результатов наблюдений, приводит к процедурам, имеющим плохие или неизвестные статистические свойства.
Мягкий способ борьбы с диссидентами состоит в применении робастных (устойчивых) статистических процедур. Простейший пример: если ответ эксперта - действительное число, то резко выделяющееся мнение диссидента сильно влияет на среднее арифметическое ответов экспертов и не влияет на их медиану. Поэтому разумно в качестве согласованного мнения рассматривать медиану. Однако при этом игнорируются (не достигают ЛПР) аргументы диссидентов.
В любом из двух способов борьбы с диссидентами ЛПР лишается информации, идущей от диссидентов, а потому может принять необоснованное решение, которое приведет к отрицательным последствиям. С другой стороны, представление ЛПР всего набора мнений снимает часть ответственности и труда по подготовке окончательного решения с комиссии экспертов и рабочей группы по проведению экспертного опроса и перекладывает ее на плечи ЛПР.
3.2. Догма одномерности
Распространен довольно примитивный подход т. н. "квалиметрии", согласно которому объект всегда можно оценить одним числом. Оценивать человека одним числом приходило в голову лишь на невольничьих рынках. Вряд ли даже самые рьяные квалиметристы рассматривают книгу или картину как эквивалент числа ее "рыночной стоимости".
Каждый объект можно оценивать по многим показателям качества. Например, легковой автомобиль можно оценивать по таким показателям:
расход бензина на 100 км пути (в среднем);
надежность (средняя стоимость ремонта за год);
быстрота набора скорости 100 км/час после начала движения; максимальная достигаемая скорость;
длительность сохранения в салоне положительной температуры при низкой наружной температуре ( - 50 градусов по Цельсию) и выключенном двигателе;
вес, и т.д.
Можно ли свести оценки по этим показателям вместе? Определяющей является конкретная ситуация, для которой выбирается автомашина. Максимально достигаемая скорость важна для гонщика, но, как нам представляется, не имеет большого практического значения для водителя рядовой частной машины. Для такого водителя важнее расход бензина и надежность. Для машин различных служб государственного управления надежность важнее, чем для частника, а расход бензина - наоборот. Для районов Крайнего Севера важна теплоизоляция салона, а для южных районов - нет.
Таким образом, важна конкретная (узкая) постановка задачи перед экспертами. Но такой постановки зачастую нет. А тогда "игры" по разработке обобщенного показателя качества - например, в виде линейной функции от перечисленных переменных - не могут дать объективных выводов. Альтернативой единственному обобщенному показателю является математический аппарат типа многокритериальной оптимизации - множества Парето и т.д. (см., например, [11]).
В некоторых случаях все-таки можно глобально сравнить объекты - например, с помощью тех же экспертов получить упорядочение рассматриваемых объектов изделий или проектов. Тогда можно ПОДОБРАТЬ коэффициенты при отдельных показателях так, чтобы упорядочение с помощью линейной функции возможно точнее соответствовало глобальному упорядочению. Наоборот, в подобных случаях НЕ СЛЕДУЕТ оценивать указанные коэффициенты с помощью экспертов. Эта простая идея до сих пор не стала очевидной для отдельных составителей методик по проведению экспертных опросов и анализу их результатов. Они упорно стараются заставить экспертов делать то, что они выполнить не в состоянии - указывать веса, с которыми отдельные показатели качества должны входить в итоговый обобщенный показатель. Эксперты обычно могут сравнить объекты или проекты в целом, но не могут вычленить вклад отдельных факторов. Раз организаторы опроса спрашивают, эксперты отвечают, но эти ответы не несут в себе надежной информации о реальности...
3.3. Основные стадии экспертного опроса
Как показывает опыт проведения экспертных исследований, целесообразно выделять следующие стадии экспертного опроса:
1) формулировка ЛПР цели экспертного опроса;
2) подбор ЛПР основного состава Рабочей группы (обычно - руководителя и секретаря);
3) разработка РГ и утверждение у ЛПР технического задания на проведение экспертного опроса;
4) разработка РГ подробного сценария проведения сбора и анализа экспертных мнений (оценок), включая как конкретный вид экспертной информации (слова, условные градации, числа, ранжировки, разбиения или иные виды объектов нечисловой природы) и конкретные методы анализа этой информации (вычисление медианы Кемени, статистический анализ люсианов и иные методы статистики объектов нечисловой природы и других разделов прикладной статистики);
5) подбор экспертов в соответствии с их компетентностью;
6) формирование экспертной комиссии (целесообразно заключение договоров с экспертами об условиях их работы и ее оплаты, утверждение ЛПР состава экспертной комиссии);
7) проведение сбора экспертной информации;
8) анализ экспертной информации;
9) при применении процедуры из нескольких туров - повторение двух предыдущих этапов;
10) интерпретация полученных результатов и подготовка заключения для ЛПР;
11) официальное окончание деятельности РГ (в том числе подготовка и утверждение научного и финансового отчетов о проведении экспертного исследования, оплата труда экспертов и сотрудников РГ).
3.4. Подбор экспертов
Проблема подбора экспертов является одной из наиболее сложных. Очевидно, в качестве экспертов необходимо использовать тех людей, чьи суждения наиболее помогут принятию адекватного решения. Но как выделить, найти, подобрать таких людей? Надо прямо сказать, что нет методов подбора экспертов, наверняка обеспечивающих успех экспертизы. Сейчас мы не будем возвращаться к обсуждению проблемы существования различных "партий" среди экспертов (см. выше) и обратим внимание на различные иные стороны процедур подбора экспертов.
Часто предлагают использовать методы взаимооценки и самооценки компетентности экспертов. С одной стороны, кто лучше может знать возможности эксперта, чем он сам? С другой стороны, при самооценке компетентности скорее оценивается степень самоуверенности эксперта, чем его реальная компетентность. Тем более, что само понятие "компетентность" строго не определено. Можно его уточнять, выделяя составляющие, но при этом усложняется предварительная часть деятельности экспертной комиссии.
При использовании метода взаимооценки, помимо возможности проявления личностных и групповых симпатий и антипатий, играет роль неосведомленность экспертов о возможностях друг друга. В современных условиях достаточно хорошее знакомство с работами и возможностями друг друга может быть лишь у специалистов, много лет работающих совместно. Однако привлечение таких пар специалистов не очень-то целесообразно, поскольку они слишком похожи друг на друга.
Использование формальных показателей (должность, ученые степень и звание, стаж, число публикаций...), очевидно, может носить вспомогательный характер. Успешность участия в предыдущих экспертизах - хороший критерий для деятельности дегустатора, врача, судьи в спортивных соревнованиях, т.е. таких экспертов, которые участвуют в длинных сериях однотипных экспертиз. Однако, увы, наиболее интересны и важны уникальные экспертизы больших проектов, не имеющих аналогов.
В случае, если процедура экспертного опроса предполагает совместную работу экспертов, большое значение имеют их личностные качества. Один "говорун" может парализовать деятельность всей комиссии. В подобных случаях важно соблюдение регламента работы, разработанного РГ.
Есть полезный метод "снежного кома" [10], при котором от каждого специалиста, привлекаемого в качестве эксперта, получают несколько фамилий тех, кто может быть экспертом по рассматриваемой тематике. Очевидно, некоторые из этих фамилий встречались ранее в деятельности РГ, а некоторые - новые. Процесс расширения списка останавливается, когда новые фамилии перестают встречаться. В результате получается достаточно обширный список возможных экспертов. Ясно, что если на первом этапе все эксперты были из одного "клана", то и метод "снежного кома" даст, скорее всего, лиц из этого "клана", мнения и аргументы других "кланов" будут упущены.
Необходимо подчеркнуть, что подбор экспертов в конечном счете - функция Рабочей группы, и никакие методики подбора не снимают с нее ответственности. Другими словами, именно на Рабочей группе лежит ответственность за компетентность экспертов, за их принципиальную способность решить поставленную задачу. Важным является требование к ЛПР об утверждении списка экспертов.
Существует ряд нормативных документов, регулирующих деятельность экспертных комиссий в тех или иных областях. Примером является Закон Российской Федерации "Об экологической экспертизе" от 23 ноября 1995 г. , в котором регламентируется процедура экспертизы "намечаемой хозяйственной или иной деятельности" с целью выявления возможного вреда, который может нанести рассматриваемая деятельность окружающей природной среде.
4. Элементы теории принятия решений
4.1. Системный подход при принятии решений
При обсуждении проблем принятия решений часто говорят о системном подходе, системе, системном анализе. Речь идет о том, что надо рассматривать проблему в целом, а не "выдергивать" для обсуждения какую-нибудь одну черту, хотя и важную. Так, при массовом жилищном строительстве можно "выдернуть" черту - стоимость квадратного метра в доме. Тогда наиболее дешевые дома - пятиэтажки. Если же взглянуть системно, учесть стоимость транспортных и инженерных коммуникаций (подводящих электроэнергию, воду, тепло и др.), то оптимальное решение уже другие - девятиэтажки.
Так, например, менеджер банка, отвечающий за распространение пластиковых карт, может сосредоточиться на рекламе. Между тем ему от системы "банк владельцы карт" лучше перейти к системе "банк - руководители организаций владельцы карт". Договоренность с руководителем учреждения, давшим в итоге приказ выплачивать заработную плату с помощью пластиковых карт, даст нашему менеджеру гораздо больший прирост численности владельцев карт, чем постоянная дорогая реклама. Его ошибка состояла в неправильном выделении системы, с которой он должен работать.
Менеджер банка будет не прав, оценивая работу подразделений банка в текущих рублях. Обязательно надо учитывать инфляцию. Иначе мы сталкиваемся с парадоксальными явлениями, когда реальная ставка платы за кредит отрицательна; или же - рублевый оборот растет, банк якобы процветает, а после перехода к сопоставимым ценам путем деления на индекс инфляции становится ясно, что дела банка плохи.