Метод организации сложных экспертиз при оценке нововведений, базирующийся на использовании информационного подхода

Использование информационных оценок (рассмотренных в гл. 3) в сочетании с методами структуризации (гл. 4), а иногда и с косвенными количественными оценками, позволяет, как будет по­казано ниже на примерах, повысить объективность экспертных оценок.

Структуризация целей, факторов, проблем помогает уточнить представление о них, распределить их по уровням иерархии и оценивать последовательно влияние составляющих нижележащих уровней на вышележащие, тго позволяет повысить объективность и достоверность анализа.

Информационные оценки обеспечивают более удобную обработку оценок, воз­можность сочетать вероятностные оценки с количественными детерминированными характеристиками, что также способствует повышению объективности и достовер­ности оценок, и, кроме того. позволяет на основе изменения измеряемых детермини­рованных параметров получать динамику изменения степени влияния подцелей. факторов, средств на реализацию целей предприятия (организации).

Первоначально метод организации сложных экспертиз, осно­ванный на использовании информационных оценок, был предло­жен и реализован в процессе проведения эксперимента по разработ­ке и внедрению нововведений (НВВ) в систему управления научно-исследовательской деятельностью в высшей школе." [6.1].

' Эксперимент проводился Хозрасчетным научным объединением (ХНО) Минву­за РСФСР под руководством д.т.н., профессора Э.К.Калннина в соответствии с Постановлением Центрального Комитета КПСС и Совета Министров СССР от 6 апреля 1978 года № 271.

352

В процессе проведения эксперимента были поставлены задачи исследования возможности и полезности внедрения в практюку управления научными исследованиями в высшей школе как форм, уже ранее используемых в промышленности (яапример, заказ-наряды, комплексные программы разного рода, ф>онды экономиче­ского стимулирования и т. п.), так и принципиально новых, специ­фичных только для высшей школы форм (территориальные межву­зовские центры обслуживания на основе межвузовской кооперации и специализации, территориальные центры, базирующиеся на коо­перации вузов и промышленных предприятий и т. п.), направлен­ных на внедрение программно-целевых принципов в планирование и управление, на улучшение использования результатов проводи­мых в высшей школе научных исследований в промышленно-сть, усиление влияния этих результатов на повышен” ^е качества подго­товки специалистов, на интеграцию высшей школ1Ы, науки и произ­водства.

По мере развития эксперимента необходимо? было оценивать

эффективность проверяемых организационных форм управления и разрабатывать рекомендации о целесообразности распространения их на другие вузы, не принимавшие участия в эксперименте. В соот­ветствии с этим была поставлена задача разработки методики сравнительной оценки влияния отдельных НВВ (в основном, орга­низационного типа) и их комплексов на реализацию целей, постав­ленных при проведении эксперимента.

Затем этот метод применялся для оценки влияния нововведений различного вида (в технике, технологии) на реализацию целей дей­ствующих промышленных предприятий и объединений, для оценки влияния организационно-технических мероприятий (ОТМ) по тех­ническому перевооружению производства, совершенствованию системы управления и т. п. на хозрасчетный дох-од предприятия, а разработанная на его основе методика и автоматизированная про­цедура ее реализации были включены в состав методического и программного обеспечения деятельности предприятия будущего при разработке проекта такого предприятия.'

Потребность в использовании метода обусловлена тем, ч“то деятельность, разви­вающегося предприятия (организации) связана с непрерывны”" совершенствовашием и обновлением действующего оборудования, технологически" процессов, применя­емых материалов, с совершенствованием сахого процесса о: рганизации труда. Это непрерывное совершенствование средств, предметов и прощ-кса трудовой деяггель-ности достигается путем разработки и внедрения меропри^ий, направленных на определение физического и морального старения и износу элементов производ­ственных фондов, на определение сроков их своевременной з; эчены, на анализ вари­антов и выбор наиболее прогрессивных технологий, автоматГ^ацию производствен-

' Разработка этого проекта проводилась межфакультстской • группой под руковод-етвом д.э.н., профессора СПбГТУ А.П.Градом.

ных процессов и процессов принятия управленческих решений, на совершенствова. ние планирования и внедрения других ОТМ. которые, к тому же. разрабатываются и внедряются не по очереди, а. как правило, одновременно.

При оценке эффективности НВВ (или ОТМ) необходимо учиты­вать не только их непосредственное влияние на совершенствование того или иного процесса, но и влияние других процессов и факто­ров на внедрение нововведения (ОТМ).

Например, при оценке эффективности нового, высокопроизводительного обору­дования, (станков с ЧПУ. ГТТС и т. п.) необходимо учитывать его загрузку в реаль­ных условиях производственного процесса; вопрос о целесообразности замены обо­рудования нужно решать с учетом объема выпускаемой продукции, ее технико-экономических параметров, перспективной специализации предприятия; эффектив­ность внедрения управленческих НВВ нужно оценивать с учетом наличия соответст­вующей нормативно-методической документации, обеспечивающей их реализацию.

Иными словами, при оценке эффективности НВВ нужно учи­тывать разнородные внешние и собственные факторы, в условиях которых функционирует и развивается конкретное производство. При этом очевидно, что социальный и даже экономический эффект не всегда могут быть выражены в денежном исчислении.

В частности, при оценке экономического эффекта от внедрения НВВ организа­ционного характера возникает ряд трудностей, связанных со сложностью измерения полезных результатов, получаемых при внедрении организационных мероприятий или управленческих решений, с характеристикой затрат на поддержание этих ре­зультатов. с разнообразием параметров, с помощью которых можно оценить резуль­таты, разными единицами их измерения и т. п.

В некоторых случаях используют косвенные показатели, под­дающиеся оценке и позволяющие их свести в обобщающий показа­тель. Обычно в качестве такого универсального измерителя косвен­ных количественных оценок применяют стоимостные единицы. Но такая подмена прямых показателей косвенными стоимостными не всегда возможна, особенно в системах непромышленного типа. По­этому была предпринята попытка вначале применить метод реша­ющих матриц, используя в качестве измерителя относительные еди­ницы или проценты. Однако особенности организационных НВВ привели к необходимости поиска другого подходов и, в частности, к исследованию возможностей информационных оценок.

Трудности оценки эффективности организационных НВВ (особенно в непро­мышленной сфере) связаны также с тем. что большинство из них не имеет аналогов и предыстории развития, а следовательно, для них характерно отсутствие статистиче­ских данных, необходимых для проведения традиционных расчетов экономической эффективности. Кроме того, актуальными являются оценки относительного пре­имущества НВВ, сложности их эксплуатации, а также социальные, эргономические, экологические характеристики.

К сказанному нужно еще добавить, что мероприятия научно-технического про­гресса. как правило, вступают в противоречие со стремлением получить как можно больший доход в возможно более короткие сроки. В этих условиях особое внимание нужно уделять обоснованию их влияния на реализацию перспективных целей пред­приятия, сравнительной оценке влияния на цели разных НВВ.

354

ведения, особенно организационного И, наконец, следует иметь в виду, что нововв^^^^     ^^ ^ ^

„да, - не одноразовые меропршггия, а носят д^ „ад времени, причем одновре-дроверки и внедрения нужен достаточно больше ^ у^, возникает необходимость менно могут внедряться несколько НВВ. В свя ^ ^ промежуточной оценкой и раз-управления ходом внедрения НВВ. что связано.^ ^ продолжения или пре-работкой на этой основе рекомендации о целе^ •;определении выделенных на их крашения их экспериментального внедрения^ п^ ^^ сопоставления разных реализацию финансовых ресурсов. Это требуе^ ^ „цд ^ ^ ^^ ^

пченок друг с другом, но и оценок одного и тог           „„„ ^оц-" "^у- —, ч w     оценками других НВВ, внедряемых

вития, а' их, в свою очередь,- с аналогичными одновременно.

Рассмотренные особенности НВВ' ^и трудности оценки их эф­фективности инициировали разработ^ ^^^вТна^и^ которого положена идея оценки стеш⁵"" ^{влияния нвв на} Реализа­цию целей предприятия (объединен,¹"¹- организации) в соответ­ствующий период его развития.

Эта идея осуществляется путем ^^{олъювшпя методов} ^РУ^У-оизации и информационного подхода ^{к aнaлиэ}У ^исгем-

Структуризация помогает распределил ^{нвв и их} "Рактеристи-ки по уровням иерархии и оценивать последовательно влияние со­ставляющих нижележащих уровней н-³ вышележащие, т. е. расчле­нить большую неопределенность на С⁰³¹⁶⁶ обозримые, ^чт0 ^особ-ствует повышению объективности и д.^оверности анализа.

В соответствии с теоретическими' основами информационного

подхода, рассмотренного в гл. 3. ввод”™⁰¹¹""" ^{сгепени} При­ветствия ^ (вероятности достижения^™) ^и значимости потенциа­ла Я, нововведения, вычисляемого в соответствии с (3.91) следую­щим образом:

H,=-q,\o^-P^        <⁶-¹)

гдер/ - вероятность достижения цел," "Р" использовании нововве­дения; здесь привычная шенноновсю" вероятность недостижения цели (характеризующая энтропию) р- заменяется на сопряженную (1 -р/); q, - вероятность использован"? конкретного НВВ при реа­лизации достижении соответствую!^¹¹ "оДЦели. В общем случае

^£ Покупное влияние нововведен!¹¹¹ определенной группы (на­пример, объединяемых общей подцел^¹⁰'

t/--^.og(l-A').        (6.2)

Используя характеристики р и Л- ^можн0 "случить сравнитель­ные оценки влияния НВВ и их компл.^^{08 на} Достижение подцелей, ^гих подцелей - на достижение поди^⁰" вышестоящего уровня и т.д. до глобальной цели, и подобш ^^У Р^ающих матриц за-355

менить крайне трудную экспертную оценку влияния НВВ на конеч­ную (глобальную) цель пошаговой оценкой более "мелких" неопре. деленностей.

Вычисление Н, на основе оценок р, обеспечивает предлагаемому подходу некоторые преимущества по сравнению с методом ре­шающих матриц и оценками методики ПАТТЕРН: упрощается по­лучение обобщенных оценок влияния комплексов НВВ или ком­плексов подцелей, так как Н„ измеряемые в битах, можно просто суммировать, а при обработке вероятностных оценок приходится применять более сложные процедуры.

Однако такой способ использования информационных оценок еще не решает всех проблем сравнительной оценки НВВ в процессе их внедрения, и, кроме того, остается необходимость получения экспертных оценок р, на текущий момент, что всегда вызывает за­труднения у экспертов, им легче давать прогнозные оценки степени влияния НВВ на некоторую перспективу.

Поэтому было предложено использовать два способа измерения h{ (табл. 3.1) - через вероятность ^,(6.1) и посредством характери­стик воспринимаемой информации:

- в статике в какой-то момент внедрения НВВ (принимая сред­неарифметическое усреднение, т.е. у=1):

H,=J/n,;                  (6.3)

- с учетом процесса внедрения НВВ и его динамики

Я, = J/n, + т, dJ,/dt + L, d^lJ^/dt^I,     (б.За)

где применительно к данному приложению при вычислении J=A/AA, А, может интерпретироваться как количество изделий или объем реализуемой продукции нового вида, число подразделений, внедряющих новую технику, технологию, число внедряемых единиц новой техники, число подразделений, внедряющих новые формы планирования и т. п.; Л4, характеризует, с какой степенью точ­ности нужно учитывать А, в конкретных условиях (например, с точ­ностью до единиц, десятков или сотен новых изделий, до тысяч или сотен тысяч рублей при оценке объема реализуемой продукции, до единиц или десятков подразделений, внедряющих НВВ и т. п.), т. е. с помощью АА, задаются единицы измерения, которые могут быть различными; и, - объем понятия о НВВ, необходимый для получе­ния потенциала Н, при выбранном ДЛ, (л, может интерпретировать­ся, например, как охват данным НВВ соответствующей подцели);

dJ/dt - скорость внедрения НВВ (т. е. количество НВВ данного вида, внедряемое в единицу времени); т, - минимальное время внед­рения НВВ (с учетом выбранного ЛЛ,.); d^J/dt² - ускорение, при­ращение скорости внедрения НВВ; L, - характеристика ригидности 356

темы, сопротивляемости внедрению НВВ (L, может быть посчи-^си ^ак величина, обратная отношению разности скоростей внед-^ния НВВ к промежутку времени между ними, т. е. она интересна в

^гп/чае процесса массового внедрения НВВ).

Использование двух способов определения Н, позволяет при известном (вычисленном через /?/) Н, и измеренном J, вычислять:

л,=У/Я,               (6.4)

Тогда, оценив прогнозную р^' на конец этапа внедрения НВВ, что специалисту сделать легче, чем давать оценки р„ на текущий момент при контроле хода внедрения НВВ, можно вычислить Н,^ и я а затем по оценкам значений критериев (прямых или косвенных характеристик состояния внедрения НВВ) определить J„ в различ­ные моменты времени и вычислить значения

H„=J,/n,                    (6.5)

для этих моментов времени по всем сопоставляемым НВВ, которые затем можно суммировать, получать обобщенные оценки комплек­сов НВВ, вычислять относительную значимость отдельных НВВ этих комплексов (для удобства ЛПР можно в процентах), т. е. опе­рировать Н, выраженными в универсальных относительных едини­цах или битах, как стоимостными оценками.

При этом, если удается ориентировочно оценить ожидаемую эффективность от внедрения НВВ в стоимостных единицах, (что неизбежно делается при выделении средств для их эксперимен­тального внедрения), то оценки Н„ помогают распределять средства на отдельные НВВ, принимать решения о перераспределении средств в процессе внедрения НВВ с учетом хода их внедрения.

Обратим внимание, что, давая прогнозную оценку pjk, эксперт не обязан объяс­нять, почему выбранных критериев недостаточно для того, чтобы считать подцель выполненной, и поэтому в вероятностной оценке р^ отражается только контроли­руемый эффект, который можно учесть с помощью критериев и которым можно управлять.

Укрупненные этапы методики, разработанной на основе рас­сматриваемого метода организации сложной экспертизы (без учета динамики становления НВВ), приведены на рис. 6.6.

На практике получаемые результаты оценки удобно представ­лять в виде таблиц. При оценке НВВ может быть использовано несколько критериев для каждого из них. В этом случае оценка Н^, полученная с помощью прогнозной оценки р,^, делится между эти­ми критериями пропорционально q,, которая в данном случае мо­жет характеризовать степень влияния соответствующего критерия (показателя), с помощью которого оценивается ход внедрения НВВ, а далее для каждого из критериев определяются п„ Н,„, Н„^,..., 357

Н„,,..., как это проиллюстрировано на рис. 6.7', на котором приве­ден пример оценки двух оргтехмероприятий из плана научно-технического прогресса. Для оценки второго из них принят один критерий, а для оценки первого - два критерия, в качестве весовых коэффициентов которых использован параметр q,: Н^ = 4iHk-

Из примера видно, что при учете изменения параметров J в процессе внедрения НВВ изменяются их пред­почтения: первоначально относитель­ная значимость первого НВВ была выше, чем второго, а после оценки J/y и вычисления //,„ более предпочти­тельным стало внедрение второго НВВ.

В реальных условиях часто доста­точно проводить оценки с использо­ванием соотношения (6.1), но в прин­ципе можно учесть и динамику внед­рения НВВ, используя соотношение (6.2). При этом следует иметь в виду, что периодически в процессе управле­ния экспериментом нужно пересмат­ривать/”,^,я„ ti,l,.

Для реализации рассмотренных процедур оценки необходимо разра­батывать автоматизированные проце­дуры, которые должны позволять в диалоговом режиме вводить исходные данные р^', п„ т,, L, и обеспечивать вывод результатов расчета на дисплей или принтер в удобной для пользователя (как правило, табличной) форме.

Результаты применения рассматриваемого подхода существенно зависят от то­го, насколько достоверно и полно сформирована структура целен, на реализацию которых ориентировано влияние НВВ. Поэтому для формирования структуры целей используются методики структуризации и автоматизированная диалоговая процеду­ра анализа целей и функций, рассмотренные в гл. 4.

Предлагаемый метод имеет ряд преимуществ по сравнению с методом решающих матриц:

облегчает вычисление обобщенной оценки (при преобразовании оценки р, в Н, она получается простым суммированием);

требует от эксперта дать оценку степени цеяесоответствия не на текущий момент, а прогнозную оценку р^ (что эксперт может сде­лать более объективно);

! Пример подготовлен студенткой Е.И.Черник 358

		m -^
		г4 11
		гч 11	э\	Sf				^°
	я
1Л (Ч r-i 11 <-4 И? ”• (~- 0 11 гч J4	к 11 ~ 0 ь к са со S С 0 ее Ё х ев <; ё'2 0 Pi	Я? н f4 Я?	2 25 “^ 3< •" (2^ ^2 5 5 u н ^ о И х” я s о " я v, “u я я ^ р. 5 e^ll3 ^ 't & r4	гч ^ 11 гч с	SO ь^ g 0 o4.i ЙЙ? са >•' 1. "^		^ в —“ S 11 ^ S^ >-> R W § 11 "t-m^	0 •n 11 “N S ^ т^ ^^ rs S
				•“si­ll S?
0,	С			ГЧ
		с-;
		11
		CM
			Ja r*	5	0		•^• t~
SO			5 c^		^-		•—'
		'гг	iS§^	“-? 11	0 11		?
ГЧ w гч 11 ^ \^/ во 0	01 0} S ft w, a §•§. ^ 2 В! О S 2	“•ч '/	5 •< 11^ eliS ' с р	f4 'в	^ 0 гч 0 11 гч ^		^i S3 w 0 11 гч ^	c; SO u <£ g "iT -?”?
				гч 11 гч ^		ГЧ W
11	n ^' S g		1——————————————1 —. rs| w "*' ff d S -
s?	м Б (В 03	\ Л" 11						-1 ® "T
Э; 00	0 У V 0 ев hi h о	\	0\ ^ £	g	so	^	^	и ^ ^•
0 jj л d	^ a >''' 3 a	\	""^oS д и! ва Д ев н й о 2 s \ S" я 5 " д х я co >"	^ в	“•'т? ^ 11 ва '• 0 "•с ЙЙ?		ll i£	£
		'с	о 5 s- v " s^^s §	L	S >->—		^
			S^S§	0	—11		•<- J.I
Н			>> ь S — a	jl	^		^
^			—	-•?
			1————————— ^ д g ё я §. | S. 1 5 S “ S
<K u. “"! ^ •Я SS Л S. 1 ^|ё &5 g-S
1 |iS| 1^ 1я- 1 §^ S я 5 S g | И S & Ish ё^о iSj S i<!sc§ Д д S wbs 35

 

позволяет поставить в соответствие оценке р. некоторые при­вычные для управленческих работников показатели (в форме Л) ц оценить с их помощью долю управляемого эффекта;

позволяет организовать управление экспериментальным внедре­нием одновременно нескольких нововведений, оценивая изменения их вклада в реализацию целей во времени и с учетом динамики внедрения НВВ.

Перспективным представляется описание исходной, а затем текущих ситуаций в виде соотношений типа (3.88), (3.89), (3.97), (3.98), и совместное исследование этих соотношений с целью управления их внедрением.