Страница:
В данном случае мы будем говорить о качестве банкнот как совокупности их характеристик, таких, как износостойкость, сминаемость, устойчивость к загрязнению, излому, разрыву и надрыву, художественные достоинства и цветовая гамма, удобство пересчета и распознавания, набор защитных элементов, количество применяемых видов печати, устойчивость к подделыванию и др. Разумеется, с учетом себестоимости производства.
Оцениванию уровня качества продукции должен предшествовать выбор показателей качества, по которым осуществляется оценивание. Некоторые из них поддаются измерению, однако значительную часть характеристик банкноты очень сложно определить количественно и соответственно сложно оценить их качество.
Как уже упоминалось, банкнота является сложным произведением искусства в промышленном исполнении. Из этого вытекает, что измерительные и расчетные методы для оценки качества применимы весьма ограниченно – для определения измеряемых показателей. Однако как определить, какая банкнота и насколько лучше?
Например, при демонстрации в российских банках образцов банкнот ведущих производителей («Банкноты 2000» HIGH-SEC производства Giesecke & Devrient, «Le Mont 2000» производства De La Rue Giori и др.) и банкнот, находящихся в обращении, кассиры говорили, что, конечно, эти банкноты лучше, чем 50-рублевая российская банкнота, но насколько качественнее и лучше?
Пожалуй, наиболее подходящим и, возможно, единственным способом получить количественную оценку качественных показателей является метод экспертных оценок. Такое его название обусловлено тем, что оценка качества проводится на основе сведений и мнений экспертов. Рассмотрим методику проведения испытаний методом экспертных оценок.
Общие принципы применения метода экспертных оценок. Метод экспертных оценок обычно применяется как самостоятельно, так и совместно с методами, основанными на измерениях или расчетах, для решения следующих задач:
• определения перечня показателей качества;
• определения коэффициентов весомости показателей;
• оценивания показателей с помощью органов чувств (органолептически);
• выбора базовых образцов для оценки уровня качества.
Рассмотрим некоторые общие понятия и определения.
Как уже отмечалось, в основу метода положено изучение мнений экспертов – квалифицированных специалистов, отвечающих таким требованиям, как профессиональная компетентность, заинтересованность в участии в работе экспертной комиссии, деловитость и объективность. В ходе работы они высказывают свои суждения (экспертные оценки) по указанным выше вопросам, выражая их в количественной или качественной форме.
Экспертное оценивание в целом осуществляют экспертные комиссии, включающие в себя рабочие группы. Экспертная комиссия по оцениванию качества продукции представляет собой совокупность специалистов, организованных для экспертного оценивания качества продукции. Рабочая группа – это часть экспертной комиссии, которая состоит из специалистов, организующих деятельность экспертной группы и обрабатывающих суждения экспертов о качестве продукции.
Экспертное оценивание качества продукции осуществляется в четыре этапа.
Этап I. Это подготовительный этап, в ходе которого осуществляется формулирование целей оценки и формирование рабочей и одной или нескольких экспертных групп.
Цель оценивания качества продукции формулируется лицом, принимающим решение (ЛПР), до начала формирования экспертной группы. ЛПР – это руководитель работ, эффективность которых зависит от результата оценивания качества. Таким лицом может быть, например, директор или главный инженер предприятия, директор по продажам, кредитор разработки или промышленного освоения продукции. Цель оценивания качества может быть как постоянной на весь период работы рабочей группы, так и корректируемой в ходе ее работы в зависимости от промежуточных результатов.
Рабочая группа организует подготовку, проведение экспертного оценивания и анализ получаемых результатов. В ее состав обычно входят руководитель, консультант по оцениваемой продукции, технические работники. Формирование экспертной группы заключается в определении ее профессионального состава, структуры (например, может быть предусмотрено несколько подгрупп, специализирующихся на оценивании различных групп показателей), количества экспертов и подборе экспертов.
Профессиональный состав специалистов, входящих в экспертную группу, должен обеспечивать всесторонний анализ решаемой задачи. Они должны одинаково понимать цели и задачи оценивания качества продукции, удовлетворять требованиям по компетентности, заинтересованности в участии в работе экспертной комиссии, деловитости и объективности. Компетентность эксперта включает в себя как знания и опыт в области применения (исследования, производства) оцениваемой продукции (профессиональную компетентность), так и знание методологии оценивания качества (квалиметрическую компетентность). Заинтересованность эксперта в участии в работе экспертной комиссии зависит от его индивидуальных особенностей, возможностей использования результатов в своей практической деятельности и загруженности основной работой. Деловитость эксперта представляет собой его собранность, умение четко спланировать работу, оперативность и обоснованность суждений. Объективность эксперта предполагает вынесение им непредвзятых суждений (в свою очередь необъективность эксперта – завышение или занижение значений показателей свойств продукции по причинам, не имеющим отношения к ее качеству).
Помимо этих к эксперту могут предъявляться и специфические требования, определяемые целями оценивания качества и особенностями оцениваемой продукции, например в парфюмерной промышленности – определенный уровень психофизиологических возможностей и хорошее состояние здоровья.
Этап II. На этом этапе рабочей группой осуществляется выбор методов, способов и процедур оценивания. Она учитывает установленные сроки выполнения работы, ее трудоемкость, особенности оцениваемой продукции, области возможного использования полученных результатов. Исходя из целей оценивания, имеющейся информации, выбранных методов, способов и процедур, сроков и условий выполнения оценивания, рабочая группа определяет перечень операций, которые должны быть выполнены экспертами.
Для получения суждений экспертов используются методы опроса. Под опросом эксперта по качеству продукции понимается процесс получения экспертных суждений по качеству продукции. Методы опроса экспертов делятся на групповой и индивидуальный. При групповом методе совместно опрашивается вся группа или ее часть, при индивидуальном – опрос каждого эксперта выполняется отдельно. Процедуры опроса экспертов включают интервьюирование, анкетирование и смешанное анкетирование. При интервьюировании суждение эксперта выявляется в процессе беседы согласно определенному плану. Интервьюирование обычно применяется при опросах, когда порядок вопросов и их содержание зависят от характера ответов на предыдущие вопросы. При анкетировании эксперт заполняет карту опроса, отвечая на вопросы, содержащиеся в ней. Анкетирование применяется, как правило, при заочном способе индивидуального опроса. При смешанном анкетировании эксперт заполняет карту опроса, получая все необходимые разъяснения от лица, проводящего опрос.
В случае проведения опроса методом анкетирования или смешанного анкетирования рабочая группа составляет анкету. Анкета состоит из пояснительной записки и карты опроса. В пояснительной записке излагаются цель и процедура анкетирования, на конкретном примере показывается, как следует заполнять графы карты опроса, при необходимости описываются требования потребителей и классификационные группы продукции, приводится другая необходимая информация. Карта опроса содержит определенным образом организованный набор вопросов, для каждого из которых предусматривается определенный характер ответа.
Этап III. На этом этапе члены экспертной группы (групп) выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами. Как правило, оценка осуществляется на основании заданной шкалы порядка: ранжированной (рейтинговой), в которой определяется место данного свойства (или оцениваемого образца среди других), или балльной.
Основными характеристиками балльной шкалы являются ее диапазон и количество градаций, которое включает шкала. Градации задаются исходя из требуемой точности результата, характера решаемой задачи, возможностей качественного описания количественных градаций с учетом опыта по оценке качества аналогичной продукции.
Для экспертного оценивания качества продукции, как правило, используются шкалы с нечетным числом градаций, в которых имеется средний уровень. Шкала может быть центрированной или смещенной. Наиболее предпочтительными являются шкалы с пятью и семью градациями качества по оцениваемому свойству, причем количество градаций может совпадать или не совпадать с количеством баллов (например, одной градации будут соответствовать 20 баллов).
Этап IV. На этом заключительном этапе работы экспертной комиссии осуществляется обработка экспертных суждений и оформляется экспертное заключение. Это наименее трудоемкий этап, но очень важный. В ходе обработки экспертных суждений обычно применяется аппарат математической статистики. Одним из наиболее часто применяемых способов обработки является вычисление среднего балла или средневзвешенного показателя. Средний балл определяется по формуле:
где n – количество экспертов;
bi – балл, выставленный i-м экспертом.
Определение средневзвешенного показателя предполагает дополнительное определение и учет коэффициентов весомости данного свойства. В этом случае эксперты должны определить важность («вес») этого признака, степень желательности его учета при оценке качества продукции. Это может быть выполнено как через ранжирование (при небольшом числе признаков), так и в виде балльной оценки. В обоих случаях результаты приводятся к весовым коэффициентам, сумма которых по всем показателям должна быть равна I.
В целом для обработки результатов и оценки уровня качества продукции могут использоваться различные методы, однако в основном применяют дифференциальный и комплексный методы.
Дифференциальный метод оценки заключается в том, что значения показателей оцениваемой продукции сравниваются с базовыми. Для общего сопоставления вычисляются относительные показатели качества продукции как результат деления оцениваемого показателя на базовый (или наоборот).
Комплексный метод имеет несколько разновидностей: метод главного показателя (при обработке определяется главный показатель, который в дальнейшем и считается определяющим качество продукции в целом), метод средневзвешенного показателя (см. выше) и метод интегрального показателя. В последнем случае используется интегральный (чаще всего – технико-экономический) показатель качества, базирующийся на сравнении суммарного полезного эффекта от применения продукции с суммарными затратами на разработку и эксплуатацию (или обеспечение потребления) продукции.
В итоге работы экспертная комиссия формирует экспертное заключение – оценку уровня качества продукции в целом или в отдельных аспектах. Она представляется в количественной или качественной форме. В количественной форме оценка выражается одним числом, которое рассматривается как значение комплексного показателя качества продукции. В качественной форме она излагается в виде утверждения о том, соответствует ли в целом продукция по рассматриваемой совокупности свойств уровню требований определенного рынка, превосходит или уступает им. Кроме того, формулируются рекомендации по основным направлениям повышения качества данного вида продукции.
Результаты оценки уровня качества, а также конкурентоспособности объектов оценивания (технологических систем, продукции, услуг, интеллектуальных продуктов) используются для решения задач управления качеством (quality management) в целях, например:
• маркетинга, изучения рынков сбыта продукции;
• формирования предложений по экспорту и импорту продукции;
• выбора поставщиков сырья, материалов и комплектующих изделий;
• обоснования требований, закладываемых в техническое задание (ТЗ) на разработку продукции и нормативную документацию;
• выбора варианта при разработке новой или модернизируемой продукции;
• принятия решения о постановке продукции на производство;
• обоснования целесообразности замены или снятия продукции с производства;
• обоснования целесообразности добровольной сертификации продукции и др.
Вернемся, однако, к методу экспертных оценок с точки зрения оценивания качества банкнот и рассмотрим, как он применяется на практике.
Практический подход к оцениванию качества банкнот. Экспертное оценивание качества банкнотной продукции осуществляется согласно методике в четыре этапа.
Этап I. Заказчик (международная конференция, государственный орган, банк или печатный двор) формулирует цели оценки (например, создание международной системы стандартизированных показателей, оценка уже существующих банкнот или разработка новой серии, выход на новые рынки и т. д.) и создает экспертную комиссию.
Представляется, что в состав экспертной комиссии должны войти различные экспертные группы: банковские эксперты/кассиры, печатники и эксперты-криминалисты. Возможно также привлечение и других целевых групп (кассиры магазинов, розничные торговцы, пожилые люди и т. д.).
Этап II. Рабочая группа осуществляет выбор методов, способов и процедур оценивания. Учитываются особенности оцениваемой продукции (бумага, краски, OVD, защитная нить, способы печати и т. д.), установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов, а также определяется перечень операций, которые должны быть выполнены экспертами. Для проведения опроса экспертов рабочая группа составляет анкету, состоящую из пояснительной записки и карты опроса.
Этап III. Члены экспертной группы выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами, исходя из основной задачи опроса.
Этап IV. Осуществляется обработка экспертных суждений и оформляется экспертное заключение.
В результате работы на этапе II комиссия получает набор показателей, характеризующих сложно формализуемые свойства банкнот (например, применяемые при изготовлении виды водяных знаков, тип защитной нити, краски и др.). Каждый показатель может, в свою очередь, разбиваться на составляющие.
Оценка каждой составляющей выполняется экспертами на этапе III, например по пятибалльной шкале с точностью до десятых долей (высшая оценка – 5,0). Кроме того, эксперты определяют условный коэффициент (важность или «вес») каждой составляющей в сотых долях (сумма должна равняться 1), поскольку наиболее часто применяемым при экспертных оценках является метод средневзвешенного показателя.
По итогам третьего этапа рабочая группа получает заполненные анкеты, в которых выставлены баллы по каждому показателю и определены коэффициенты важности («веса») этого показателя.
На этапе IV рабочая группа обрабатывает результаты опроса экспертов, определяя средневзвешенный показатель качества банкнот Q j для каждого j-го эксперта:
где mnj – коэффициент веса n-го показателя, причем 
;
qnj – балл j-го эксперта по данному n-му показателю;
N – количество оцениваемых показателей.
Далее определяется общий средневзвешенный показатель качества Q как среднее арифметическое оценок экспертов:
где J – количество экспертов.
В случае не одной, а нескольких (L) экспертных групп формула незначительно усложняется. Впрочем, в этом случае целесообразно использовать коэффициенты веса с учетом мнения каждой группы. Тогда:
с учетом предыдущей формулы:
Этот показатель и будет характеризовать качество банкноты с учетом мнений экспертов и экспертных групп.
Для получения финансово-экономической оценки качества данной серии банкнот можно применять различные комплексные стоимостные показатели, простейшими из которых являются приведенная стоимость производства банкноты СПр (отношение стоимости производства к средневзвешенному показателю качества) и удельный коэффициент качества банкноты Qyffl (отношение средневзвешенного показателя качества к номиналу банкноты в долларах США).
Подобный подход уже применялся автором в банковской практике – при проведении испытаний счетчиков банкнот в Тверском банке Сберегательного банка России летом 1997 г. 10 кассиров Сберегательного банка давали экспертную оценку качеству работы 7 различных счетчиков банкнот. По итогам испытаний и экспертной оценки были определены не только рейтинговые показатели счетчиков банкнот, но и характеристики, наиболее существенные с точки зрения большинства кассиров.
Кроме того, метод экспертных оценок в упрощенном виде применялся и в середине 1998 г. в ходе проведения анкетирования 240 кассиров из 25 различных организаций и целевых групп по результатам деноминации российского рубля в интересах НИИ Гознака.
Подход к оцениванию качественных показателей банкнот автору удалось апробировать на практике благодаря всесторонней поддержке и помощи ведущих специалистов ряда российских коммерческих банков (Автобанк, Тверьуниверсалбанк, Торжокуниверсалбанк, Промсвязьбанк, тверские филиалы банков «МЕНАТЕП СПб» и Традо-банк), а также ГУ ЦБ РФ по Тверской области, ЭКЦ МВД, других экспертов-криминалистов.
Так, в январе – феврале и в июле 2003 г. была проведена экспертная оценка качества трех образцов банкнот («2000 HIGH-SEC» производства Giesecke & Devrient, «Le Mont 2000» производства De La Rue Giori и «Тургенев 2000» производства Гознака, рис. 1.1.18, слева) и четырех банкнот, реально находящихся в денежном обращении (5 долларов США, 5 евро, 100 российских рублей и 100 словацких крон, рис. 1.1.18, справа).
Рис. 1.1.18. Оценивавшиеся образцы и банкноты
Номиналы банкнот были выбраны исходя из соображений хотя бы приблизительного соответствия нарицательной стоимости в российских рублях по курсу.
В работе приняли участие 15 ведущих экспертов-специалистов (ГУ ЭКЦ МВД – 3 человека, ГУ ЦБ РФ по Тверской области – 4 человека, Авто-банк, Тверьуниверсалбанк, Торжокуниверсалбанк – по 2 человека, тверские филиалы банков «МЕНАТЕП СПб» и Традо-банк – по одному). Таким образом, эксперты представляли 3 различные целевые группы, отличающиеся как подходами к оценке и служебному опыту и задачам, так и уровнем технической оснащенности: эксперты-криминалисты, эксперты ЦБ РФ и кассовые работники коммерческих банков. Для проведения испытаний в основном использовалось оборудование производства НПП «Вилдис» (рис. 1.1.19).
Рис. 1.1.19. Комплект применяемых приборов
В роли председателя экспертной комиссии и одновременно всей рабочей группы выступал автор этой книги, которым и была разработана методика оценки качества банкнот. За основу был принят индивидуальный метод опроса путем смешанного анкетирования.
В ходе работы и заполнения карты опроса эксперты оценивали банкноты и образцы по 30 выбранным показателям, характеризующим качество бумаги, примененные краски и виды печати, различные защитные элементы. Кроме того, определялись и две интегральные оценки – удобство обработки и трудность подделки. Для выставления оценок была применена 5-балльная шкала оценки важности показателей и качества банкнот со следующими градациями:
Результаты экспертных оценок обрабатывались автором. В соответствии с комплексным методом оценки рассчитывался средневзвешенный показатель качества банкнот Qj для каждого j-го эксперта, на основании которого определялся рейтинг (место) для каждой исследуемой категории (образцы/банкноты). Затем был определен общий средний балл оценок и рейтингов по данным всех двенадцати экспертов в целом (табл. 1.1.5) и для каждой экспертной группы.
Примечание. Описание показателей качества, связанных с защитными признаками, будет приведено в следующем параграфе книги.
Полученные результаты представляют интерес прежде всего с той точки зрения, что в ходе опроса предлагаемая методика была проверена и отработана на практике, выяснен целый ряд нюансов, возникавших в ходе исследования.
Благодаря большой помощи специалистов (исследование банкнот и заполнение карты опроса занимает более 2 часов) появилась возможность не только сравнить различные банкноты (что, собственно говоря, и не являлось основной задачей), но, самое главное, оценить важность и качество реализации различных защитных признаков с точки зрения каждой из экспертных групп и в целом. Эти данные представляют интерес как для производителей банкнот, так и для центральных и национальных банков.
В книге не ставится задача подробного анализа полученных результатов, отметим только некоторые из них. По оценкам экспертов в среднем, наиболее качественными были признаны образцы банкнот «2000 Hi Sec» производства Giesecke и Devrient (Германия) и банкнота 5 евро (5 долл. США – наименее качественная).
Рассмотрим и некоторые экономические показатели. Например, оценим, хотя бы приблизительно, удельный коэффициент качества банкнот, взяв для удобства нарицательную стоимость каждой банкноты в рублях с умножением результата на 100. В этом случае приоритеты изменятся (рис. 1.1.20).
Рис. 1.1.20. Cоотношение удельных коэффициентов качества банкнот
Причины перераспределения достаточно очевидны – низкая нарицательная стоимость банкнот при высоком качестве производства и защищенности. Отметим признаки качества банкноты, определенные как наиболее важные разными экспертными группами:
• эксперты-криминалисты – металлографская печать, OVI, микроперфорация, кипп-эффект, водяные знаки;
• эксперты ЦБ РФ – металлографская печать, качество бумаги, орловская печать, УФ-изображение, микропечать;
• кассиры коммерческих банков – УФ-изображение, качество бумаги, кине– и голограммы, водяные знаки, микропечать, защитная нить.
Как видим, отношение к определению наиболее важных признаков качества банкноты в экспертных группах различается.
Необходимо отметить, что изложенный подход предполагает различные варианты формирования как экспертной, так и рабочей группы, более или менее детальную и глубокую разработку системы показателей для оценки. Все это, разумеется, будет зависеть от заказчика – центрального или национального банка страны.
Безусловно, описанный экспертный опрос являлся в значительной степени экспериментальным, поскольку проводился на добровольных началах исключительно благодаря серьезному отношению специалистов к своей профессии и уважению к ней. Не всегда удавалось не отвлекаться на исполнение текущих обязанностей, не всегда хватало времени на разъяснение методики выполнения оценки и особенностей образцов. Вместе с тем по отзывам экспертов, принимавших участие в работе, она была и для них полезной.
Рассмотренная методика и полученные в ходе ее апробации результаты были одобрены ведущими специалистами ряда международных организаций (включая Европейский центральный банк, Международную конфедерацию «Интерграф» и др.). Это дало возможность применить методику и в новых условиях – для оценивания банкнот более высокого номинала и с другими защитными признаками, такими, например, как MVC (радужный изменяющийся эффект) и спецэлемент «М», применяемые в российских рублях. Разумеется, были учтены замечания и предложения экспертов по предыдущим испытаниям.
Поэтому в сентябре – октябре 2004 г. мы провели следующий раунд оценивания качества банкнот. Стиль и детали проведения оценки были модернизированы, исходя из предыдущего опыта и новых задач. В этом случае эксперты оценивали 3 образца («BN2005» Giesecke и Devrient, «Le Mont 2000» De La Rue Giori, «Лев Толстой» производства Гознака, рис. 1.1.21) и 5 банкнот, находящихся в реальном обращении (20 долларов США NexGen, 10 евро, 200 словацких крон, 500 и 1000 российских рублей модификации 2004 г., рис. 1.1.21). Таким образом, мы перешли к более высоким номиналам и соответственно уровню исполнения и защиты. Предварительно была запланирована оценка 4 банкнот приблизительно одной нарицательной стоимости. Банкнота более высокого номинала, 1000 российских рублей, была добавлена согласно пожеланиям Банка России, чтобы оценить эффективность некоторых изменений, и при расчете экономических показателей не учитывалась.
Рис. 1.1.21. Образцы банкнотного производства и оценивавшиеся банкноты
Оцениванию уровня качества продукции должен предшествовать выбор показателей качества, по которым осуществляется оценивание. Некоторые из них поддаются измерению, однако значительную часть характеристик банкноты очень сложно определить количественно и соответственно сложно оценить их качество.
Как уже упоминалось, банкнота является сложным произведением искусства в промышленном исполнении. Из этого вытекает, что измерительные и расчетные методы для оценки качества применимы весьма ограниченно – для определения измеряемых показателей. Однако как определить, какая банкнота и насколько лучше?
Например, при демонстрации в российских банках образцов банкнот ведущих производителей («Банкноты 2000» HIGH-SEC производства Giesecke & Devrient, «Le Mont 2000» производства De La Rue Giori и др.) и банкнот, находящихся в обращении, кассиры говорили, что, конечно, эти банкноты лучше, чем 50-рублевая российская банкнота, но насколько качественнее и лучше?
Пожалуй, наиболее подходящим и, возможно, единственным способом получить количественную оценку качественных показателей является метод экспертных оценок. Такое его название обусловлено тем, что оценка качества проводится на основе сведений и мнений экспертов. Рассмотрим методику проведения испытаний методом экспертных оценок.
Общие принципы применения метода экспертных оценок. Метод экспертных оценок обычно применяется как самостоятельно, так и совместно с методами, основанными на измерениях или расчетах, для решения следующих задач:
• определения перечня показателей качества;
• определения коэффициентов весомости показателей;
• оценивания показателей с помощью органов чувств (органолептически);
• выбора базовых образцов для оценки уровня качества.
Рассмотрим некоторые общие понятия и определения.
Как уже отмечалось, в основу метода положено изучение мнений экспертов – квалифицированных специалистов, отвечающих таким требованиям, как профессиональная компетентность, заинтересованность в участии в работе экспертной комиссии, деловитость и объективность. В ходе работы они высказывают свои суждения (экспертные оценки) по указанным выше вопросам, выражая их в количественной или качественной форме.
Экспертное оценивание в целом осуществляют экспертные комиссии, включающие в себя рабочие группы. Экспертная комиссия по оцениванию качества продукции представляет собой совокупность специалистов, организованных для экспертного оценивания качества продукции. Рабочая группа – это часть экспертной комиссии, которая состоит из специалистов, организующих деятельность экспертной группы и обрабатывающих суждения экспертов о качестве продукции.
Экспертное оценивание качества продукции осуществляется в четыре этапа.
Этап I. Это подготовительный этап, в ходе которого осуществляется формулирование целей оценки и формирование рабочей и одной или нескольких экспертных групп.
Цель оценивания качества продукции формулируется лицом, принимающим решение (ЛПР), до начала формирования экспертной группы. ЛПР – это руководитель работ, эффективность которых зависит от результата оценивания качества. Таким лицом может быть, например, директор или главный инженер предприятия, директор по продажам, кредитор разработки или промышленного освоения продукции. Цель оценивания качества может быть как постоянной на весь период работы рабочей группы, так и корректируемой в ходе ее работы в зависимости от промежуточных результатов.
Рабочая группа организует подготовку, проведение экспертного оценивания и анализ получаемых результатов. В ее состав обычно входят руководитель, консультант по оцениваемой продукции, технические работники. Формирование экспертной группы заключается в определении ее профессионального состава, структуры (например, может быть предусмотрено несколько подгрупп, специализирующихся на оценивании различных групп показателей), количества экспертов и подборе экспертов.
Профессиональный состав специалистов, входящих в экспертную группу, должен обеспечивать всесторонний анализ решаемой задачи. Они должны одинаково понимать цели и задачи оценивания качества продукции, удовлетворять требованиям по компетентности, заинтересованности в участии в работе экспертной комиссии, деловитости и объективности. Компетентность эксперта включает в себя как знания и опыт в области применения (исследования, производства) оцениваемой продукции (профессиональную компетентность), так и знание методологии оценивания качества (квалиметрическую компетентность). Заинтересованность эксперта в участии в работе экспертной комиссии зависит от его индивидуальных особенностей, возможностей использования результатов в своей практической деятельности и загруженности основной работой. Деловитость эксперта представляет собой его собранность, умение четко спланировать работу, оперативность и обоснованность суждений. Объективность эксперта предполагает вынесение им непредвзятых суждений (в свою очередь необъективность эксперта – завышение или занижение значений показателей свойств продукции по причинам, не имеющим отношения к ее качеству).
Помимо этих к эксперту могут предъявляться и специфические требования, определяемые целями оценивания качества и особенностями оцениваемой продукции, например в парфюмерной промышленности – определенный уровень психофизиологических возможностей и хорошее состояние здоровья.
Этап II. На этом этапе рабочей группой осуществляется выбор методов, способов и процедур оценивания. Она учитывает установленные сроки выполнения работы, ее трудоемкость, особенности оцениваемой продукции, области возможного использования полученных результатов. Исходя из целей оценивания, имеющейся информации, выбранных методов, способов и процедур, сроков и условий выполнения оценивания, рабочая группа определяет перечень операций, которые должны быть выполнены экспертами.
Для получения суждений экспертов используются методы опроса. Под опросом эксперта по качеству продукции понимается процесс получения экспертных суждений по качеству продукции. Методы опроса экспертов делятся на групповой и индивидуальный. При групповом методе совместно опрашивается вся группа или ее часть, при индивидуальном – опрос каждого эксперта выполняется отдельно. Процедуры опроса экспертов включают интервьюирование, анкетирование и смешанное анкетирование. При интервьюировании суждение эксперта выявляется в процессе беседы согласно определенному плану. Интервьюирование обычно применяется при опросах, когда порядок вопросов и их содержание зависят от характера ответов на предыдущие вопросы. При анкетировании эксперт заполняет карту опроса, отвечая на вопросы, содержащиеся в ней. Анкетирование применяется, как правило, при заочном способе индивидуального опроса. При смешанном анкетировании эксперт заполняет карту опроса, получая все необходимые разъяснения от лица, проводящего опрос.
В случае проведения опроса методом анкетирования или смешанного анкетирования рабочая группа составляет анкету. Анкета состоит из пояснительной записки и карты опроса. В пояснительной записке излагаются цель и процедура анкетирования, на конкретном примере показывается, как следует заполнять графы карты опроса, при необходимости описываются требования потребителей и классификационные группы продукции, приводится другая необходимая информация. Карта опроса содержит определенным образом организованный набор вопросов, для каждого из которых предусматривается определенный характер ответа.
Этап III. На этом этапе члены экспертной группы (групп) выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами. Как правило, оценка осуществляется на основании заданной шкалы порядка: ранжированной (рейтинговой), в которой определяется место данного свойства (или оцениваемого образца среди других), или балльной.
Основными характеристиками балльной шкалы являются ее диапазон и количество градаций, которое включает шкала. Градации задаются исходя из требуемой точности результата, характера решаемой задачи, возможностей качественного описания количественных градаций с учетом опыта по оценке качества аналогичной продукции.
Для экспертного оценивания качества продукции, как правило, используются шкалы с нечетным числом градаций, в которых имеется средний уровень. Шкала может быть центрированной или смещенной. Наиболее предпочтительными являются шкалы с пятью и семью градациями качества по оцениваемому свойству, причем количество градаций может совпадать или не совпадать с количеством баллов (например, одной градации будут соответствовать 20 баллов).
Этап IV. На этом заключительном этапе работы экспертной комиссии осуществляется обработка экспертных суждений и оформляется экспертное заключение. Это наименее трудоемкий этап, но очень важный. В ходе обработки экспертных суждений обычно применяется аппарат математической статистики. Одним из наиболее часто применяемых способов обработки является вычисление среднего балла или средневзвешенного показателя. Средний балл определяется по формуле:
bi – балл, выставленный i-м экспертом.
Определение средневзвешенного показателя предполагает дополнительное определение и учет коэффициентов весомости данного свойства. В этом случае эксперты должны определить важность («вес») этого признака, степень желательности его учета при оценке качества продукции. Это может быть выполнено как через ранжирование (при небольшом числе признаков), так и в виде балльной оценки. В обоих случаях результаты приводятся к весовым коэффициентам, сумма которых по всем показателям должна быть равна I.
В целом для обработки результатов и оценки уровня качества продукции могут использоваться различные методы, однако в основном применяют дифференциальный и комплексный методы.
Дифференциальный метод оценки заключается в том, что значения показателей оцениваемой продукции сравниваются с базовыми. Для общего сопоставления вычисляются относительные показатели качества продукции как результат деления оцениваемого показателя на базовый (или наоборот).
Комплексный метод имеет несколько разновидностей: метод главного показателя (при обработке определяется главный показатель, который в дальнейшем и считается определяющим качество продукции в целом), метод средневзвешенного показателя (см. выше) и метод интегрального показателя. В последнем случае используется интегральный (чаще всего – технико-экономический) показатель качества, базирующийся на сравнении суммарного полезного эффекта от применения продукции с суммарными затратами на разработку и эксплуатацию (или обеспечение потребления) продукции.
В итоге работы экспертная комиссия формирует экспертное заключение – оценку уровня качества продукции в целом или в отдельных аспектах. Она представляется в количественной или качественной форме. В количественной форме оценка выражается одним числом, которое рассматривается как значение комплексного показателя качества продукции. В качественной форме она излагается в виде утверждения о том, соответствует ли в целом продукция по рассматриваемой совокупности свойств уровню требований определенного рынка, превосходит или уступает им. Кроме того, формулируются рекомендации по основным направлениям повышения качества данного вида продукции.
Результаты оценки уровня качества, а также конкурентоспособности объектов оценивания (технологических систем, продукции, услуг, интеллектуальных продуктов) используются для решения задач управления качеством (quality management) в целях, например:
• маркетинга, изучения рынков сбыта продукции;
• формирования предложений по экспорту и импорту продукции;
• выбора поставщиков сырья, материалов и комплектующих изделий;
• обоснования требований, закладываемых в техническое задание (ТЗ) на разработку продукции и нормативную документацию;
• выбора варианта при разработке новой или модернизируемой продукции;
• принятия решения о постановке продукции на производство;
• обоснования целесообразности замены или снятия продукции с производства;
• обоснования целесообразности добровольной сертификации продукции и др.
Вернемся, однако, к методу экспертных оценок с точки зрения оценивания качества банкнот и рассмотрим, как он применяется на практике.
Практический подход к оцениванию качества банкнот. Экспертное оценивание качества банкнотной продукции осуществляется согласно методике в четыре этапа.
Этап I. Заказчик (международная конференция, государственный орган, банк или печатный двор) формулирует цели оценки (например, создание международной системы стандартизированных показателей, оценка уже существующих банкнот или разработка новой серии, выход на новые рынки и т. д.) и создает экспертную комиссию.
Представляется, что в состав экспертной комиссии должны войти различные экспертные группы: банковские эксперты/кассиры, печатники и эксперты-криминалисты. Возможно также привлечение и других целевых групп (кассиры магазинов, розничные торговцы, пожилые люди и т. д.).
Этап II. Рабочая группа осуществляет выбор методов, способов и процедур оценивания. Учитываются особенности оцениваемой продукции (бумага, краски, OVD, защитная нить, способы печати и т. д.), установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов, а также определяется перечень операций, которые должны быть выполнены экспертами. Для проведения опроса экспертов рабочая группа составляет анкету, состоящую из пояснительной записки и карты опроса.
Этап III. Члены экспертной группы выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами, исходя из основной задачи опроса.
Этап IV. Осуществляется обработка экспертных суждений и оформляется экспертное заключение.
В результате работы на этапе II комиссия получает набор показателей, характеризующих сложно формализуемые свойства банкнот (например, применяемые при изготовлении виды водяных знаков, тип защитной нити, краски и др.). Каждый показатель может, в свою очередь, разбиваться на составляющие.
Оценка каждой составляющей выполняется экспертами на этапе III, например по пятибалльной шкале с точностью до десятых долей (высшая оценка – 5,0). Кроме того, эксперты определяют условный коэффициент (важность или «вес») каждой составляющей в сотых долях (сумма должна равняться 1), поскольку наиболее часто применяемым при экспертных оценках является метод средневзвешенного показателя.
По итогам третьего этапа рабочая группа получает заполненные анкеты, в которых выставлены баллы по каждому показателю и определены коэффициенты важности («веса») этого показателя.
На этапе IV рабочая группа обрабатывает результаты опроса экспертов, определяя средневзвешенный показатель качества банкнот Q j для каждого j-го эксперта:
;qnj – балл j-го эксперта по данному n-му показателю;
N – количество оцениваемых показателей.
Далее определяется общий средневзвешенный показатель качества Q как среднее арифметическое оценок экспертов:
В случае не одной, а нескольких (L) экспертных групп формула незначительно усложняется. Впрочем, в этом случае целесообразно использовать коэффициенты веса с учетом мнения каждой группы. Тогда:
Для получения финансово-экономической оценки качества данной серии банкнот можно применять различные комплексные стоимостные показатели, простейшими из которых являются приведенная стоимость производства банкноты СПр (отношение стоимости производства к средневзвешенному показателю качества) и удельный коэффициент качества банкноты Qyffl (отношение средневзвешенного показателя качества к номиналу банкноты в долларах США).
Подобный подход уже применялся автором в банковской практике – при проведении испытаний счетчиков банкнот в Тверском банке Сберегательного банка России летом 1997 г. 10 кассиров Сберегательного банка давали экспертную оценку качеству работы 7 различных счетчиков банкнот. По итогам испытаний и экспертной оценки были определены не только рейтинговые показатели счетчиков банкнот, но и характеристики, наиболее существенные с точки зрения большинства кассиров.
Кроме того, метод экспертных оценок в упрощенном виде применялся и в середине 1998 г. в ходе проведения анкетирования 240 кассиров из 25 различных организаций и целевых групп по результатам деноминации российского рубля в интересах НИИ Гознака.
Подход к оцениванию качественных показателей банкнот автору удалось апробировать на практике благодаря всесторонней поддержке и помощи ведущих специалистов ряда российских коммерческих банков (Автобанк, Тверьуниверсалбанк, Торжокуниверсалбанк, Промсвязьбанк, тверские филиалы банков «МЕНАТЕП СПб» и Традо-банк), а также ГУ ЦБ РФ по Тверской области, ЭКЦ МВД, других экспертов-криминалистов.
Так, в январе – феврале и в июле 2003 г. была проведена экспертная оценка качества трех образцов банкнот («2000 HIGH-SEC» производства Giesecke & Devrient, «Le Mont 2000» производства De La Rue Giori и «Тургенев 2000» производства Гознака, рис. 1.1.18, слева) и четырех банкнот, реально находящихся в денежном обращении (5 долларов США, 5 евро, 100 российских рублей и 100 словацких крон, рис. 1.1.18, справа).
Номиналы банкнот были выбраны исходя из соображений хотя бы приблизительного соответствия нарицательной стоимости в российских рублях по курсу.
В работе приняли участие 15 ведущих экспертов-специалистов (ГУ ЭКЦ МВД – 3 человека, ГУ ЦБ РФ по Тверской области – 4 человека, Авто-банк, Тверьуниверсалбанк, Торжокуниверсалбанк – по 2 человека, тверские филиалы банков «МЕНАТЕП СПб» и Традо-банк – по одному). Таким образом, эксперты представляли 3 различные целевые группы, отличающиеся как подходами к оценке и служебному опыту и задачам, так и уровнем технической оснащенности: эксперты-криминалисты, эксперты ЦБ РФ и кассовые работники коммерческих банков. Для проведения испытаний в основном использовалось оборудование производства НПП «Вилдис» (рис. 1.1.19).
В роли председателя экспертной комиссии и одновременно всей рабочей группы выступал автор этой книги, которым и была разработана методика оценки качества банкнот. За основу был принят индивидуальный метод опроса путем смешанного анкетирования.
В ходе работы и заполнения карты опроса эксперты оценивали банкноты и образцы по 30 выбранным показателям, характеризующим качество бумаги, примененные краски и виды печати, различные защитные элементы. Кроме того, определялись и две интегральные оценки – удобство обработки и трудность подделки. Для выставления оценок была применена 5-балльная шкала оценки важности показателей и качества банкнот со следующими градациями:
Таблица 1.1.5. Результаты оценивания
Полученные результаты представляют интерес прежде всего с той точки зрения, что в ходе опроса предлагаемая методика была проверена и отработана на практике, выяснен целый ряд нюансов, возникавших в ходе исследования.
Благодаря большой помощи специалистов (исследование банкнот и заполнение карты опроса занимает более 2 часов) появилась возможность не только сравнить различные банкноты (что, собственно говоря, и не являлось основной задачей), но, самое главное, оценить важность и качество реализации различных защитных признаков с точки зрения каждой из экспертных групп и в целом. Эти данные представляют интерес как для производителей банкнот, так и для центральных и национальных банков.
В книге не ставится задача подробного анализа полученных результатов, отметим только некоторые из них. По оценкам экспертов в среднем, наиболее качественными были признаны образцы банкнот «2000 Hi Sec» производства Giesecke и Devrient (Германия) и банкнота 5 евро (5 долл. США – наименее качественная).
Рассмотрим и некоторые экономические показатели. Например, оценим, хотя бы приблизительно, удельный коэффициент качества банкнот, взяв для удобства нарицательную стоимость каждой банкноты в рублях с умножением результата на 100. В этом случае приоритеты изменятся (рис. 1.1.20).
Причины перераспределения достаточно очевидны – низкая нарицательная стоимость банкнот при высоком качестве производства и защищенности. Отметим признаки качества банкноты, определенные как наиболее важные разными экспертными группами:
• эксперты-криминалисты – металлографская печать, OVI, микроперфорация, кипп-эффект, водяные знаки;
• эксперты ЦБ РФ – металлографская печать, качество бумаги, орловская печать, УФ-изображение, микропечать;
• кассиры коммерческих банков – УФ-изображение, качество бумаги, кине– и голограммы, водяные знаки, микропечать, защитная нить.
Как видим, отношение к определению наиболее важных признаков качества банкноты в экспертных группах различается.
Необходимо отметить, что изложенный подход предполагает различные варианты формирования как экспертной, так и рабочей группы, более или менее детальную и глубокую разработку системы показателей для оценки. Все это, разумеется, будет зависеть от заказчика – центрального или национального банка страны.
Безусловно, описанный экспертный опрос являлся в значительной степени экспериментальным, поскольку проводился на добровольных началах исключительно благодаря серьезному отношению специалистов к своей профессии и уважению к ней. Не всегда удавалось не отвлекаться на исполнение текущих обязанностей, не всегда хватало времени на разъяснение методики выполнения оценки и особенностей образцов. Вместе с тем по отзывам экспертов, принимавших участие в работе, она была и для них полезной.
Рассмотренная методика и полученные в ходе ее апробации результаты были одобрены ведущими специалистами ряда международных организаций (включая Европейский центральный банк, Международную конфедерацию «Интерграф» и др.). Это дало возможность применить методику и в новых условиях – для оценивания банкнот более высокого номинала и с другими защитными признаками, такими, например, как MVC (радужный изменяющийся эффект) и спецэлемент «М», применяемые в российских рублях. Разумеется, были учтены замечания и предложения экспертов по предыдущим испытаниям.
Поэтому в сентябре – октябре 2004 г. мы провели следующий раунд оценивания качества банкнот. Стиль и детали проведения оценки были модернизированы, исходя из предыдущего опыта и новых задач. В этом случае эксперты оценивали 3 образца («BN2005» Giesecke и Devrient, «Le Mont 2000» De La Rue Giori, «Лев Толстой» производства Гознака, рис. 1.1.21) и 5 банкнот, находящихся в реальном обращении (20 долларов США NexGen, 10 евро, 200 словацких крон, 500 и 1000 российских рублей модификации 2004 г., рис. 1.1.21). Таким образом, мы перешли к более высоким номиналам и соответственно уровню исполнения и защиты. Предварительно была запланирована оценка 4 банкнот приблизительно одной нарицательной стоимости. Банкнота более высокого номинала, 1000 российских рублей, была добавлена согласно пожеланиям Банка России, чтобы оценить эффективность некоторых изменений, и при расчете экономических показателей не учитывалась.