Tishanskiysdk.ru

Про кризис и деньги
1 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Этапы экспертного анализа

Этапы экспертного анализа

Цель экспертного анализа заключается в предварительном тестировании объекта исследования, направленном на выявление в нем внутренних свойств и связей, скрытых от исследователя. Благодаря методам экспертного анализа собирается необходимый для вынесения экспертной оценки материал, обеспечивается его соответствие принятым стандартам.

Технология проведения экспертного анализа предполагает прохождение ряда этапов:

На первом подготовительном этапе осуществляется формирование экспертных групп

на выбранных уровнях управления и подготавливается вся документация, необходимая для проведения экспертизы целей.

Выбор группы экспертов производится с учетом их компетенции отдельно для каждого уровня. Именно в таком случае можно говорить и о достоверности экспертизы, и о минимальных затратах на ее проведение. Для подбора экспертов применяются следующие характеристики: компетентность, креативность, отношение к экспертизе, конформизм, аналитичность и широта мышления, самокритичность.

Компетентность эксперта — это степень его квалификации в определенной области знаний. Компетентность может быть определена на основе опыта эксперта в данной области его квалификации, степенью знакомства с научными достижениями в исследуемой области и т.д. Одна из наиболее важных указанных характеристик, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

Креативность эксперта-способность решать творческие задачи.

Отношение к экспертизе является важной характеристикой эксперта, определяющей его желание (активность или пассивность) участия в экспертизе.

Конформизм — подверженность влиянию авторитетов. Эта характеристика необходима для выбора способа проведения экспертизы.

Самокритичность эксперта — самооценка своей компетентности.

Аналитичность, широта мышления, конструктивность мышления — свойство коллективизма — также важные характеристики эксперта.

Даже неполные определения характеристик экспертов, приведенные выше, показывают, что численные оценки этих характеристик значительно затруднены и в ряде случаев совсем невозможны.

Наиболее важной из указанных характеристик является характеристика компетентности экспертов, поскольку именно она в значительной степени определяет достоверность экспертных оценок. Поэтому проблеме определения компетентности экспертов следует уделять особое внимание.

На втором организационном этапе осуществляется отработка результатов экспертизы.

На этом этапе выполняются все необходимые расчеты для сопоставления качественных целей на каждом уровне управления с целями, выбранными, по мнению экспертов, с точки зрения их количества и важности (приоритетности).

Процесс обсуждения выбранных целей происходит до тех пор, пока не совпадут мнения большинства экспертов.

Сформулируем требования, которым должна удовлетворять методика оценки целей функционирования с помощью экспертов:

· Оценка целей функционирования должна проводиться в благоприятной психологической обстановке.

· Трудоемкость опроса должна быть в допустимых пределах.

· Экспертная документация не должна допускать двоякого понимания вопросов.

· Экспертная документация должна быть, по возможности, однородной и полной.

· Выбранная система шкал экспертной оценки должна быть обоснована и доведена до сведения эксперта.

· Цели проведения экспертизы должны быть известны всем экспертам. Наиболее приемлемым с практической точки зрения является анкетирование.

Этапы экспертного анализа

Раскроем содержательно основные этапы процесса экспертного оценивания.

· формирование цели и задач экспертного оценивания;

· формирование группы управления и оформление решения на проведение экспертного оценивания;

· выбор метода получения экспертной информации и способов ее обработки;

· подбор экспертной группы и формирование, при необходимости, анкет опроса;

· опрос экспертов (экспертиза);

· обработка и анализ результатов экспертизы;

· интерпретация полученных результатов;

Задачу на проведение экспертного оценивания ставит ЛПР (заказчик). Этап формирования цели и задач экспертного оценивания является основным. От него зависит надежность получаемого результата и его прагматическая ценность. Здесь должны быть учтены следующие факторы: надежность и полнота имеющейся исходной информации, требуемая форма представления результата (качественная или количественная), возможные области использования полученной информации, сроки ее представления, имеющиеся в распоряжении руководства ресур­сы, возможность привлечения специалистов других областей знаний и многое другое. Задача оформляется в виде руководящего документа (например, решения на проведение экспертного оценивания).

Для подготовки решения и руководства всей дальнейшей ра­ботой назначается руководитель экспертизы. Он определяет сос­тав группы управления.

На группу управления (рис.4.4) возлагается не только вся организационно-плановая работа по обеспечению благоприятных условий для эффективной творческой деятельности экспертов, но и аналитическая работа по подбору экспертной группы, определению методов получения и обработки информации, составлению анкет — опросников, содержательной интерпретации получаемых результатов.

Этот большой и сложный круг решаемых задач требует включения в состав группы управления высококвалифицированных специалистов, как в области рассматриваемой проблемы, так и в других областях — психологии, математики, медицины, социологии.

Читать еще:  Теория анализа хозяйственной деятельности осмоловский

Подбор экспертной группы обычно производится в несколько этапов. Вначале устанавливают отрасли знаний так или иначе связанные с рассматриваемой проблемой. Затем намечается список «потенциальных» экспертов, которые по своим профессиональным качествам являются специалистами в этих областях знаний. Такой предварительный отбор может быть легко произведен на основе доступной информации о профессиональной подготовке кандидата: должность, ученое звание и степень, стаж практической деятельности, количество публикаций, участие в других экспертизах.

При этом желательно, чтобы кандидат в экспертную группу имел широкий кругозор и эрудицию. Сама же группа не должна, по возможности, состоять из представителей одной отрасли или специальности, чтобы исключить влияние ведомственных интересов и не сделать получаемые результаты тенденциозными.

Рисунок 4.4. Схема основных этапов экспертного оценивания

При формировании экспертной группы необходимо решать задачи по качественному и количественному отбору экспертов. При отборе экспертов по качественному признаку учитываются такие требования к ним, как: компетентность в исследуемой области; эрудированность в смежных областях; объективность; заинтересованность; деловитость; способность к выделению главного; способность творчески решать задачи, метод решения которых неизвестен; способность противопоставить массовому мнению свое мнение; способность видеть проблему с различных точек зрения.

В ходе определения количества экспертов необходимо учитывать, что при малом их числе появляется излишнее влияние оценки каждого эксперта, а при большом числе трудно вырабатывать единое мнение и снижается роль крайнего мнения, которое не всегда может быть ошибочным.

Количество экспертов может быть определено по формуле

N = 0,5 • (3 / b + 5), человек,

где b – допустимая вероятность ошибки экспертизы в процентах, деленная на 100, т.е. 1 ≥ b ≥ 0.

Первоначально намеченный список кандидатов подвергается дальнейшему анализу для решения вопроса о численном составе экспертной группы, который зависит от ограничений финансового, временного и организационного характера. В окончательный спи­сок включается те кандидата, которые являются наиболее компетентными. Компетентность эксперта есть степень его квалификации в определенной области знаний.

Значительная часть экспертной информа­ции носит количествен­ный характер или имеет форму элементарных суждений и обрабаты­вается с использованием различных статистических методов. При этом используются следующие формы получения количественных оценок и элементарных суждений:

количественные оценки в физических единицах измерения оцениваемых величин;

Количественная оценка в единицах измерения величины представляет собой суждение эксперта о предполагаемом абсолют­ном значении этой величины, например о стоимости системы, вре­мени решения задач управления, времени безотказной работы, га­баритах и т.п. В отдельных случаях используются различные от­носительные оценки: отношение реальной стоимости к максималь­ной, относительное изменение стоимости, времени решения задач и других прогнозируемых характеристик системы по сравнению с существующей и др. Подобные оценки имеют большой разброс и по­этому редко используются в процессе получения экспертной ин­формации.

Балльные оценки предполагают присвоение оцениваемым объ­ектам определенных баллов в соответствии с их предпочтением. Обычно баллы представляют конечный ряд чисел с постоянной раз­ностью между любыми соседними числами. Чаще всего берут нату­ральные числа: 1, 2. n. В баллах оценивают значимость по­казателей эффективности, уровень подготовки персонала организации, предпочтение того или иного варианта систе­мы и др.

Попарные сравнения осуществляются путем указания предпочтительного объекта в каждой паре объектов, при этом допускает­ся отмечать равноценность или несравнимость объектов. Резуль­таты попарных сравнений обычно представляют в виде квадратной матрицы, где наименования строк и столбцов соответствуют оце­ниваемым объектам. При этом на пересечении строки i и столбца j ставят 1, если объект i предпочтительнее объекта j; 0 — в противном случае; 0,5 — если объекты одинаковы по предпочти­тельности; прочерк (-), если объекты несравнимы. Попарное сравнение позволяет детально проанализировать предпочтения объектов, так как эксперт при каждом сравнении изучает только два объекта, выявляя все их слабые и сильные стороны.

Группировка (сортировка) заключается в том, что эксперт осуществляет своеобразную классификацию объектов в соответс­твии с установленными признаками, при этом каждому объекту присваивается номер (сорт) соответствующего класса. Подобная оценка может быть использована при определении эффективности (качества) систем по заранее выбранным признакам.

Ранжирование представляет собой расположение объектов в виде определенной последовательности в соответствии с убывани­ем их предпочтительности. Каждый объект в этом случае оценива­ется рангом (номером), который он занимает в данной последова­тельности. В том случае, если эксперт не различает объекты по предпочтению, он может присвоить им одинаковые ранги. Таким образом, ранжирование тоже представляет собой своеобразную оценку объектов по баллам, однако при небольшом числе объектов выполняется значительно проще и имеет меньший диапазон значе­ний рангов.

Читать еще:  Анализ состава и структуры пассива баланса

Выходные данные:

Григан А.М. Управленческая диагностика: теория и практика: Монография / А.М. Григан. Ростов н/Д: Изд-во РСЭИ, 2009. 316 с.

Основные этапы проведения экспертизы;

При проведении экспертного обследования конкретной системы управления важно не только привлечь квалифицированных экспертов, но и найти форму систематиза­ции, обработки и анализа экспертной информации. Основными задачами, возника­ющими в ходе подготовки и проведения экспертизы, являются:

· определение цели экспертизы (например, получение объективной информа­ции о ситуации);

· формирование группы экспертов (в зависимости от специфики оцениваемых событий определяется численность экспертной группы и ее состав);

· формирование правил проведения экспертного опроса (выбор метода прове­дения экспертизы, составление анкет, процедура обработки результатов).

· В общем случае проведение экспертизы включает следующие этапы:

· формирование рабочей группы;

· формирование экспертной группы;

· подготовка и проведение опроса экспертов;

· обработка и анализ результатов опроса экспертов.

Предварительный этап — одна из наиболее важных стадий проведения эксперти­зы. На данном этапе определяются:

· конкретные задачи (вопросы, по которым должна проводиться экспертиза);

· состав лиц, входящих в рабочую группу по подготовке и проведению экспертизы;

· программа проведения экспертизы, в которой определяются задачи рабочей группы, место и время проведения экспертизы, техника опроса экспертов, способ обработки и анализа результатов опроса, форма их представлена.

Конкретные задачи экспертизы определяются, исходя из информационных возможностей: как уже отмечалось, экспертиза применяется в случаях, когда отсутствует достоверная и полная информация для исследования системы управления другими методами, например статистическими или экономико-математическими. Круг исследуемых проблем не должен быть слишком широк. Чрезмерное расширение перечня вопросов затруднит работу как экспертов, так и рабочей группы при обработке результатов опроса. Кроме того, могут неоправданно затянуться срока проведения экспертизы. Экспертные опросы целесообразно проводить в сочетании с другими методами анализа и моделирования.

Формирование рабочей группы

Рабочая группа — это группа специалистов, осуществляющих организаторскую работу по проведению экспертизы. Члены рабочей группы должны быть не только компетентными в вопросах, по которым проводится экспертиза, но и обладать специальными знаниями по обработке и анализу информации. Количество членов рабочей группы зависит от задач экспертизы, сроков и способа их проведения, а также величины и состава экспертной группы. В задачи рабочей группы по организации проведения экспертизы входит:

· создание экспертных групп;

· определение состава предварительной информации для экспертов и ее получение;

· подготовка необходимого инструментария (анкет, аналитических таблиц, графиков и т.п.) для опроса экспертов;

· определение способа опроса: индивидуальный или групповой, устный или письменный;

· организация и проведение опроса;

· обработка и анализ результатов опроса экспертов;

· составление отчета о проведенной экспертизе.

Рабочая группа должна обеспечить соблюдение основных требований прове­дения экспертизы:

·независимость формирования экспертами собственных мнений об оценивае­мых событиях;

·удобство работы с экспертными листами — точность формулировок и еди­нообразное их понимания;

·соблюдение анонимности ответов для остальных экспертов;

·возможность проведения коллективных обсуждений оцениваемых событий;

·предоставление экспертам необходимой информации.

Выбор конкретного вида экспертизы определяется целями исследования, спе­цификой рассматриваемой проблемы, полнотой и достоверностью используемой информации, располагаемым временем и затратами на проведение опроса и т.д.

Формирование экспертной группы

важнейшими задачами данного этапа является выбор экспертов с точки зрения их Квалификации («качества» экспертов) и оптимального количества экспертов в группе. Рабочая группа осуществляет подбор экспертов, включающий выявление наи­более опытных и квалифицированных специалистов, по роду своей деятельности хорошо знающих проблему.

«Эксперт» в дословном переводе с латинского означает «опытный», поэтому разные качества участников экспертизы — профессиональный опыт и интуиция. Поскольку качество экспертного оценивания во многом определяется квалифика­цией привлеченных специалистов, при отборе экспертной группы используют спе­циальные методы оценки квалификации. Чаще всего — это методы «самооценки» или «взаимооценки», основанные на заполнении экспертами соответствующих анкет. позволяющих выявить их профессиональные и личностные характеристики. Кроме этого, к общим характеристикам экспертов относятся:

Читать еще:  Анализ технологического процесса производства

· компетентность — степень квалификации эксперта в определенной области знаний;

· креативность — способность решать творческие задачи;

· отношение к экспертизе. Негативное или пассивное отношение отрицатель­но влияет на качество оценок;

· конформизм — подверженность влиянию авторитетов, характеризующая не­
устойчивость собственного мнения. Если в состав экспертной комиссии входят явные лидеры, имеющие значительный авторитет и возможности, то высказы­ваемые ими суждения и оценки могут оказывать влияние на оценки и сужде­ния других экспертов. В такой ситуации может быть полезным использова­ние технологии анонимной экспертизы;

· конструктивность мышления — прагматический аспект мышления. Эксперт
должен предлагать решения, обладающие свойством практичности;

· аналитичность и широта мышления, высокий уровень эрудиции;

· коллективизм — способность работать в группе, самокритичность.

При определении состава и величины экспертной группы учитывается, что существует связь между достоверностью экспертной информации и количеством экспертов. Вообще говоря, с ростом численности экспертной группы достоверность получаемых оценок растет. Однако, начиная с некоторого момента, добавление новых экспертов в группу практически не оказывает влияния на экспертную оцен­ку. Следовательно, необходимо установить границы численности для экспертных групп. Для этого используются специальные способы расчета, позволяющие уста­навливать численность групп из предположения, что добавление к группе каждого нового эксперта меняет групповую оценку на 5-10%. В противном случае допол­нительное включение нецелесообразно.

Если величина допустимой ошибки результатов экспертизы b(0

Этапы проведения экспертного оценивания

Назначение и сущность экспертных методов

Экспертный метод предполагает использование мнений экспертов. Термин «эксперт» определяется в дословном переводе с латинского языка означает «опытный». Данный метод следует применять в тех случаях, когда невозможно использовать объективные методы исследований (например, метод эксперимента или тесно связанный с ним расчетный метод).

Экспертные методы применяются в случаях:

· невозможности использовать моделирование и описание исследуемых объектов формализованными математическими способами,

· отсутствии достаточной достоверной информации, информационной неопределенности исследуемых объектов,

· разработке средне- и долгосрочных прогнозов влияния новых законов и закономерностей на СУ, тенденций развития управления, рыночной среды,

· при наличии экстремальных ситуаций в управлении.

В таких случаях неоценимое значение приобретает использование профессионального опыта и сформированной на его основе интуиции специалистов-экспертов.

Сущность экспертных методов заключается в усреднении различными способами мнений (суждений) специалистов-экспертов по рассматриваемым вопросам. При этом усредненная оценка мнений экспертов К в общем виде определяется по формуле

Общее достоинство экспертных методов — быстрота получения результатов без наличия нормативной базы в СУ, возможность оценивания того или иного объекта при невозможности измерить его характеристики количественными объективными методами.

К недостаткам экспертных методов можно отнести их определенную субъективность и соответствующие этому возможные погрешности результатов экспертизы, существенные затраты на привлечение опытных экспертов для участия в экспертных работах, влияние авторитетных членов экспертной группы и корпоративных интересов на мнение отдельных экспертов.

Общность каждого из методов заключается в последовательности проведения следующих процедур:

1.организация экспертного оценивания;

2.проведение сбора мнений экспертов;

3.обработка результатов мнений экспертов.

Этапы проведения экспертного оценивания

  1. организация экспертного оценивания;

Для общего руководства экспертными работами следует назначать экспертную комиссию во главе с председателем. В составе комиссии организуют две группы: рабочую и экспертную (рис. 8.1)

Рабочую группу возглавляет руководитель (организатор). В его подчинение находятся технические работники, осуществляющие подготовку материалов для экспертов, отработку результатов работы экспертов и т.п.

Экспертную группу составляют эксперты — специалисты по решаемым проблемам, а формирует ее руководитель (организатор) рабочей группы. При этом ему следует выполнить ряд последовательных мероприятий:

1. постановку проблемы и определение области деятельности группы;

2. составление предварительного списка экспертов — специалистов в рассматриваемой области деятельности;

3. анализ качественного состава предварительного списка экспертов и уточнение списка;

4. получение согласия эксперта для участия в работе;

5. составление окончательного списка экспертной группы.

Число экспертов в экспертной группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, наличия возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых экспертов.

Минимальное число экспертов находят по формуле

где ж — возможная ошибка результатов экспертизы (0

Ссылка на основную публикацию
Adblock
detector