КВАЛИМЕТРИЯ 2
В наиболее ответственных задачах следует принимать значение α кр = 1.0, в менее ответственных – α кр = [0.8 0.66], но не ниже 0.5. Затем, рассчитывая значения уровня согласованности для каждого показателя, включенного хотя бы одним экспертом в группу S , находят те Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»
| 16 | Теоретические основы квалиметрии |
показатели, для которых α(q ) >α кр . Эти показатели и составляют согласованную группу S 0 . Далее проверяют, насколько индивидуальная группировка каждого эксперта совпадает с полученной обобщенной группой S 0 . Мерой согласованности индивидуальной группировки i -го эксперта с группой S 0 служит число β , указывающее долю включенных этим экспертом показателей из согласованной группы S 0 от всех показателей индивидуальной группировки, предложенной этим экспертом:
| k i ( S 0 ) | , | (2) |
| k i | ||
где k i (S 0 ) – число показателей качества, включенных в индивидуальную группировку эксперта и входящих в обобщенную группу S 0 ; k i – общее число показателей в индивидуальной группировке i-го эксперта. Индивидуальная экспертная группировка считается выпадающей , если β < 0.8 или, в менее ответственных задачах, β < 0.5. Получив достаточный набор сгруппированных показателей, определяют коэффициенты их весомости. После нормирования оценок из каждой группы исключают показатели, у которых значения нормированных коэффициентов весомости не превышает 0.1. Число частных показателей в группе, как правило, не превышает 5. Следует отметить, что максимальное количество показателей на каждом уровне, в каждой группе и внутри группы не следует выбирать больше 9, чтобы исключить визуальную и семантическую перегрузку построенной иерархической структуры. Если сформировать обобщенные группы показателей не удается, следует поступить следующим образом: 1). Провести собрание экспертной группы, на котором обсудить причины расхождений и, устранив их, повторить группировки. Например, если причина расхождений заключаются в неодинаковом содержании, вкладываемом экспертами в название того или иного свойства, то следует уточнить это содержание и предложить всем экспертам придерживаться единой трактовки названия свойства. 2). Если согласованности добиться не удалось, то следует разделить всю совокупность экспертных группировок на внутренне согласованные группы и проводить дальнейшую разработку МОК в нескольких вариантах – по числу согласованных групп. 3). Если предыдущий вариант неприменим – следует распустить экспертную группу, изменить принципы отбора экспертов и сформировать группу заново. Эта последовательность действий характерна не только для выполнения экспертных группировок, но и для всех видов экспертных оценок при обнаружении их несогласованности. Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ
| Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ | 17 | |
По отношению к выпадающим – «еретическим» – оценкам отдельных экспертов нельзя поступать так, как по отношению к выпадающим результатам инструментальных измерений, т.е. отбрасывать их, как заведомо ошибочные. Причиной расхождения индивидуальных оценок может являться различие информации, которой располагают эксперты, или же различие логики их мышления. Весьма часто бывает, что один эксперт, предложивший «еретическую» оценку, оказывается прав, тогда как остальные ошибаются. При обсуждении «еретику» не всегда (но часто) удается убедить коллег в правильности своей оценки, как и наоборот большинству не удается убедить «еретика» и поэтому отсутствие согласованности оценок после обсуждения также не является основанием для отбрасывания выпадающей оценки. Тем более это относится к ситуации, когда индивидуальные оценки образуют несколько (обычно не более двух) согласованных групп и добиться согласованности не удается. В этом случае разрабатывают МОК в двух вариантах. Пример выполнения группировок при выполнении процедуры генерации показателей качества приведен в главе «Практическая квалиметрия». 1.1.5. Определение коэффициентов весомости Каждый частный показатель имеет относительную значимость – весомость – для комплексного показателя. Существует большое количество методов назначения или расчета коэффициентов весомости, однако в квалиметрии используют лишь наиболее часто используемые – рис.1.4.
| Метод | ||||
| вспомога- | ||||
| тельной | ||||
| Метод | процентной | Метод | ||
| шкалы | ||||
| равнозначимых | парных | |||
| коэффициентов | сравнений | |||
| Метод средних | Стоимостной | ||||
| взвешенных | Методы | ||||
| метод | |||||
| коэффициентов | |||||
| определения | |||||
| коэффициентов | |||||
| весомости | |||||
| Смешанный | Метод | ||||
| стоимостных | |||||
| метод | регрессионных | ||||
| зависимостей | |||||
| Метод | Метод | ||||
| предельных и | |||||
| эквивалентных | |||||
| номинальных | |||||
| соотношений | |||||
| значений | |||||
Рис.1.4. Сферы практического приложения квалиметрии Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»
18 Теоретические основы квалиметрии Эти методы различаются исходной информацией, но при правильном их применении они должны приводить приблизительно к одинаковым результатам. В квалиметрии к балльным оценкам предъявляют целый ряд согласованных требований. 1). Балльные оценки должны быть определены в шкале интервалов . Это означает, что операция назначения баллов в какой-то мере должна обеспечивать равенство психофизиологически определяемых «расстояний» между ними. Это связано с тем, что алгоритм расчета показателя качества объекта IQ , определяемый деревом свойств, использует аддитивные операции (операции сложения):
| IQ m 1 , u m 2 , v . m k 1 , j m k , i M i , | (3) | |||
| u | v | j | i | |
где m k,i – балльная оценка весомости i-го показателя качества, находящегося в группе k-го уровня; M i –балльная оценка проявления i-го показателя в оцениваемом объекте. 2). Индивидуальная воспроизводимость. Метод назначения баллов, которым пользуется каждый эксперт, должен быть таким, чтобы можно было проверить, что эксперт действительно уверен в своей оценке. Для этого при опросе эксперта применяют «контрольную операцию», которая позволяет эксперту с других позиций взглянуть на сравниваемые объекты и вновь количественно выразить свои ощущения. 3). Межэкспертная воспроизводимость. Метод назначения баллов должен быть таким, чтобы при его повторении другим экспертом были получены те же или достаточно близкие оценки. Следует отметить, что любой из рассматриваемых методов определения коэффициентов требует проведения большого количества однородных операций, которые, для избежания появления ошибок и увеличения скорости обработки данных, можно автоматизировать с помощью таких широко распространенных программ как Excel и MathCAD и др. Рассмотрим кратко указанные выше методы назначения коэффициентов весомости частных показателей качества. Метод вспомогательной процентной шкалы Вспомогательная шкала, предназначенная для назначения коэффициентов весомости частных показателей, представляет собой совокупность качественных (словесных) описаний, которые в обобщенной форме характеризуют значимость показателя с точки зрения его влияния на качество оцениваемого объекта. Вспомогательную шкалу, в этом варианте ее применения, строят обычно в несимметричной форме, и значимость показателей выражают в %, принимая за 100% важность всех показателей оцениваемой группы вместе. Метод удобно применять, начиная с первых уровней дерева. Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ
| Часть 2. ОСНОВЫ КВАЛИМЕТРИИ И КВАЛИТОЛОГИИ | 19 | |
В качестве примера рассмотрим дерево основных показателей для оценки качества некоторой широко распространенной услуги, например, доставки почты – рис.1.5. Надежность, 40% Гарантии, 60% Безопасность, 35% Ощутимость, 25% Доставка почты, 100% Доступность, 40% Сервисное Отзывчивость, 30% обслуживание, 40% Вежливость, 30% Рис.1.5. Дерево показателей почтовых услуг Контрольная операция организовывается следующим образом: назначенные экспертом коэффициенты весомости показателей двух соседних уровней перемножаются с тем, чтобы получить их сопоставимые оценки – табл.1.1. Затем эксперту предлагается сопоставить в процентах значимость каждой пары показателей, взятых из разных групп. Для этого назначаются контрольные оценки q к (X)% и q к (Y)%. Если соотношение основных оценок отличается от соотношения контрольных не более чем на 0.1, то их считают согласованными , иначе пересматривают исходные оценки – табл.1.2.
| Таблица 1.1 | ||||||||||||||||||||||
| Гарантии | Сервисное обслуживание | |||||||||||||||||||||
| X 1 | Надежность | 60 40 = 2400 % | Y 1 | Доступность | 40 40 = 1600 % | |||||||||||||||||
| X 2 | Безопасность | 60 35 = 2100 % | Y 2 | Отзывчивость | 40 30 = 1200 % | |||||||||||||||||
| X 3 | Ощутимость | 60 25 = 1500 % | Y 3 | Вежливость | 40 30 = 1200 % | |||||||||||||||||
| Таблица 1.2 | ||||||||||||||||||||||
| Сопоставляемые | Соотношение весомостей | Расхождение | Решение | |||||||||||||||||||
| показатели | по основным | по контрольным | ||||||||||||||||||||
| оценкам | оценкам | |||||||||||||||||||||
| X 1 Y 1 | 2400 | 1.5 | 60 | 1.50 | 1.5 1.5 | 0 | согласовано | |||||||||||||||
| 1600 | 40 | |||||||||||||||||||||
| X 1 Y 2 | 2400 | 2.0 | 66 | 1.94 | 2.0 1.94 | 0.06 | согласовано | |||||||||||||||
| 1200 | 34 | |||||||||||||||||||||
| X 3 Y 3 | 1500 | 1.25 | 55 | 1.20 | 1.25 1.20 | 0.05 | согласовано | |||||||||||||||
| 1200 | 45 | |||||||||||||||||||||
Учебное пособие по дисциплине «Метрология, стандартизация и сертификация»
| 20 | Теоретические основы квалиметрии |
После того, как все оценки оказываются согласованными, переходят к проверке межэкспертной согласованности. Также как и ранее анализ начинают с первых уровней дерева, проводя сравнение по каждому показателю (каждой ветви дерева) отдельно. Предварительно выбирают требуемый уровень согласованности задачи:5% для более ответственных задач, и 10% – для менее ответственных. Если оценки укладываются в соответствующий интервал, то их считают согласованными и вычисляют окончательные средние значения. В противном случае проводят процедуры согласования, рассмотренные выше. Метод парных сравнений В этом случае используют показатели одной группы, подлежащие оцениванию, и строят таблицу (матрицу) размерностью n n , где n – число показателей в группе. По левой и верхней сторонам таблицы заносят названия (или просто номера) показателей. Показатели располагают по убыванию значимости, для облегчения проверки внутренней непротиворечивости индивидуальных оценок, т.к. числа в каждой строке должны монотонно убывать слева направо. Если они возрастают, то оценки экспертов внутренне противоречивы. Наиболее значимому показателю назначают максимальную оценку по выбранной квалиметрической шкале. Как правило, используется наиболее оптимальная по своему внутреннему строению 10-ти балльная шкала. Затем этот показатель сравнивают со вторым показателем, которому проставляют в первой строке оценку в баллах, соответствующую его значимости, например, 6 баллов. После этого первый показатель сравнивают с третьим и т.д. Закончив заполнение первой строки, таким же методом заполняют вторую, принимая на этот раз уже весомость второго показателя в 10 баллов и т.д. Пример заполненной экспертом таблицы для группы частных показателей качества микроклимата на рабочем месте учащегося средний школы приведен в табл.1.3.
| Таблица 1.3 | ||||||
| Заполненная матрица парных сравнений | ||||||
| № | Показатель качества | 1 | 2 | 3 | 4 | 5 |
| п/п | ||||||
| 1 | Температура воздуха | 10.0 | 8.0 | 6.5 | 4.5 | 2.0 |
| 2 | Освещенность | 10.0 | 8.0 | 6.0 | 2.5 | |
| 3 | Подвижность воздуха | 10.0 | 7.5 | 3.5 | ||
| 4 | Уровень вибрации | 10.0 | 3.5 | |||
| 5 | Уровень шума | |||||
Для исключения субъективных ошибок заполнение таблицы выполняют не менее 3-х экспертов. Контрольная операция состоит в том, что при сопоставлении значимости каждого объекта с каждым другим появляется возможность несколькими путями рассчитать оценки значимости показателей и затем сопоставить полученные оценки между собой. Специальность 340100 УПРАВЛЕНИЕ КАЧЕСТВОМ
Источник