Предлагаемые критерии оценки эффективности

Важным аспектом при разработке сложных систем является критерий их оценки, согласно которому будут сделаны общие выводы о функционировании системы и необходимости её оптимизации.

 На данный момент системных проработок проблематики в данном направлении ещё не было произведено, по этой очевидной причине методики оценки критериев эффективности для подобных систем пока не существует.

Единственным выходом в данной ситуации является использование аналогии со схожими по прицепам функционирования системами, такими, как супермаркет или интернет-магазин\пиццерия. Однако стоит помнить о специфике структуры работы АСДП, включающей в себя более сложную модель доставки заказа и характерную склонность к итерации. Поскольку за основной режим функционирования АСДП будет принят предзаказ на месяц с регулярной доставкой по графику, следовательно, АСУ придётся планировать график для отдела доставки на потенциально более продолжительный промежуток времени, чем в существующих схожих системах. 

По этим причинам, необходимо сформулировать критерии оценки эффективности работы АСДП самостоятельно, исходя из методов, применяемых в схожих системах, но с учётом характерных особенностей АСДП и требуемого от системы результата.

Прежде, чем приступить к разработке критерия оценки эффективности АСДП, коротко остановимся на системном подходе к решению этой важной проблемы. Как и в других подобных системах массового обслуживания, имеет смысл путь выбора критериев, называемый стратифицированным критерием, связавшим различные уровни абстрагирования, а именно: функциональный и физический. Концептуальной основой выбора стратифицированного критерия является принципиальный отказ от привлечения каких-либо внешних средств решения этой проблемы.

Неполнота исходной постановки проблемы эффективности, которая может возникнуть вследствие недостаточного внимания или стремления к упрощению еще четко не сформулированной задачи и к использованию привычных описательных категорий может серьёзно сказаться на результатах исследований. Выбор стратифицированного критерия с использованием морфологического, функционального и информационного описания обусловлен тем, что, необходима реализация такой модели оценки эффективности, которая включала бы в себя как автоматизированную систему (собственно, АСДП), так и метасистему пользователей системы. Причем физический критерий необходимо выбрать так, чтобы он нес и функциональную нагрузку, т. е. учитывал вклад системы в деятельность метасистемы. В случае удачи коренное противоречие между функциональным и физическим критерием в таком стратифицированном критерии диалектически разрешается.

Очевидно, что успех при построении такого стратифицированного критерия зависит от степени привязки к реальным процессам, происходящим внутри АСДП. Поэтому параллельно с разработкой критериев различных уровней необходимо проводить выделение соответствующих взаимосвязанных процессов (подпроцессов) в едином процессе доставки населению продовольствия.

Причем для достижения диалектического единства функциональной направленности критерия (с точки зрения потребителя) и его физической интерпретации (с точки зрения реализуемости на существующей базе) предлагается встречное (челночное) движение: при разработке критерия «сверху-вниз», т. е. от потребителя к инструментальной среде заказа, а при выделении подпроцессов - «снизу-вверх», т. е. в обратном направлении. Таким образом, такой стратифицированный подход базируется на принципе системности и делает применимым к АСДП опыт предшествующих разработок различных систем массового обслуживания.

Таким образом, двигаясь «снизу-вверх» (от уровня 1 до уровня 4, т. е. в системе доставки АСДП), можно выделить процессы заказа, оплаты, генерации оптимального маршрута развозки, и процесса доставки. При этом процесс обработки заказа будет определён, как процесс доставки продовольствия до конечного потребителя, согласно заранее установленным условиям и особому методу согласования заказов между собой. Данный метод предполагает, что все заказы сперва интегрируются в единый и однородный Пуассонов поток заказов, потоко обрабатывается, и детерминируется последовательно по ходу выполнения процесса доставки сверху вниз, т.е. на пути от ЦС к адресату.

Ввиду этого и многих схожих факторов, необходимо уделить должное внимание качеству функционирования автоматизированной системы управления заказов (АСУ). АСУ должен выполнять обработку и согласование задач с достаточной скоростью и уровнем качества обработки заказов.

 Примем во внимание все эти факторы и будем считать их за основные. Теперь можно, следуя стратифицированному подходу, можно построить следующую цепочку критериев:  

1. Функция производительности и защищённости АСУ (для процесса обработки заказа). Включает в себя функцию защищённости личной информации пользователей, составляющих метасистему (для процессов заказа и оплаты).

2. Функция производительности системы доставки заказа (количество машин в автопарке, возможности ПС, возможности машин автопарка и пр.)

3. Вероятностно-временные характеристики (для процесса генерации оптимального маршрута доставки и непосредственно самого процесса доставки заказа клиенту). 

Попробуем выделить наиболее существенный показатель оценки эффективности АСДП. Основное назначение АСДП - обеспечение потребностей населения, составляющего метасистему АСДП в услугах по регулярной доставке продовольствия, в условленное время на дом.

Исходя из этой основной предпосылки, резонно предположить, что эффективность процесса доставки продовольствия, а так же эффективность организации этого процесса, предлагается оценивать непосредственно по результатам доставки заказанного продовольствия и продуктов питания до обслуживаемой метасистемы (множеству автономных и одноранговых клиентов АСДП). При этом, как и во многих одноранговых системах, с точки зрения каждого конкретного пользователя наиболее важным будет является качество обслуживания заказов именно этого пользователя. Кроме того, следует учесть специфику объекта доставки: для различных видов продуктов питания и продовольствия существуют различные граничные показатели качества. Температурные или другие физические параметы, необходимые отдельным видам продукции для успешной доставки, различные максимально допустимые сроки для осуществления достаки. Заказы, содержащие в перечне продуктов рыбу, мороженое, скоропортящиеся продукты, необходимо развозить в более сжатые сроки, чем заказы, например, исключительно на картошку, фрукты или другие продукты, не нуждающиеся в особых условиях перевозки.

При заданной интенсивности входящего в АСДП потока заказов производительность сети по каждому виду продукции, передаваемой с определенным приоритетом в каждом реализованном режиме доставки, является функцией интенсивности этого входного потока R_N = f (J _Σ), где J _Σ - сумма элементов соответствующей матрицы тяготения. Поэтому в качестве меры производительности целесообразно использовать величину, равную относительному числу заказов, выполненных системой полностью и с заданным качеством за единичный интервал времени.

R_{N О} (J _Σ) = R_N (J _Σ)/ J _Σ.                           (4.47)

Если пренебречь повторными поступлениями заказов в АСДП вызванным, например, доставкой пользователю продовольственной продукции, с качеством, ниже заданного и нарушающими пуассоновский характер входного потока, то

                             R_N = J _Σ(1- Р _но(J _Σ)),                            (4.48)        

где Р _но – вероятность необслуживания заказа, под которой будем понимать вероятность недоставки (например, связанной с траспортными или организационными проблемами), неполной или доставки (например, в результате ошибки АСУ), либо доставки продовольственной продукции, с качеством ниже заданного (например, в случае с несвоевременной доставкой скоропорящейся продукции). Пренебрежение повторными поступлениями заказов допустимо, так как оно выполняется в тех случаях, когда Р _но << 1, а такой режим является основным режимом работы АСДП в отсутствие перегрузок.

 Обозначим: Р_бк – вероятность блокировки заказа, под которой будем понимать вероятность недоставки продовольствия заказчику, содержащегося в этом заказе; Р r - вероятность передачи заказа с нахождением i -го показателя качества в заданных пределах, где  и  - минимальное и максимальное допустимые значения для показателя . Если пренебречь зависимостью вероятности блокировки и вероятностей передачи с заданным качеством для всех показателей ,  и считать, что в АСДП достигается высокое качество обработки заказов, т. Е. Р r →1, то выражение (3.1) преобразуется к виду

R_N = J _Σ(1- Р _бк(J _Σ)).                                          (4.49)

 

Удобство перехода от величины Р _но к Р _бк заключается в том, что она может быть достаточно легко оценена как при аналитических расчетах в процессе проектирования АСДП, так и при реализации алгоритмов управления ПС. Кроме того, Р _бк в отличие от R_N относится не только к АСДП в целом, но и к каждому конкретному заказу. Следовательно, при минимизации Р _бк для каждого из заказов клиентов, будет достигаться максимальная производительность АСДП R_{N .}

Рассмотрим более подробно другие показатели качества обслуживания запросов пользователей, т. е. вероятностно-временных характеристик процессов в АСДП.

Под средним временем задержки процесса выполнение заказов в сети  будем понимать среднее по всему множеству событий время от момента приема заказа от пользователя в АСУ до передачи заказа из ПС-получателя пользователю. Показатель  необходимо рассматривать отдельно для каждого вида или класса предоставляемой продукции, каждого приоритета и каждого реализованного в АСДП режима доставки. Поскольку  имеет стохастический характер, могут быть рассмотрены также такие показатели, как вероятность превышения величиной  некоторого заданного значения , т. е. Р r , либо верхняя граница интервала, в котором находится доля задержек, например, 90 % всех заказов.

Кроме того, могут быть использованы такие оценки, как среднее по системе среднеквадратическое отклонение времени задержки передачи заказа определенного вида и приоритета на исполнение при заданном способе получения заказа σ_с или средняя дисперсия времени задержки . Величина σ_с или  - важный показатель качества обслуживания для некоторых видов заказов, главным образом для скоропортящейся продукции.

Под средним временем задержки выполнения заказа в АСДП , будем понимать среднее по всем заказам время от момента передачи заказа АСУ до момента его успешного приема ПС-получателем. С точки зрения реализации в схожих, по концепции поставленных задач, алгоритмах управления маршрутизацией и ограничением потоков данных внутри вычислительных сетей, этот показатель оказывается в некоторых случаях более удобным для использования, чем , так как имеет четкую связь с длинами очередей заказов по исходящим направлениям в ПС и достаточно легко физически оценивается.

Под средним временем установления доставки заказа  (режимы доставка по адресу и самовывоз с выбранного клиентом ПС) будем понимать среднее по всем доставленным заказам время от момента поступления заказа клиента в АСУ, до получения подтверждения о том, что заказ был доставлен получателю.

В ряде случаев может быть использована такая оценка, как верность передачи заказа, в качестве меры которой может быть принято среднее число ошибок в доставке заказа или средняя вероятность того, что одна из позиций заказа будет не надлежащего качества . Допустимые значения  могут находиться в весьма широких пределах для различных видов продукции (от 10^-12 – 10^-10 и менее для комбинированных (включающих в себя продукцию разного типа) заказаов и до 10^-2 - 10^-1 для заказов, состоящих из скоропортящейся продукции).

С точки зрения администрации АСДП, наиболее важным представляется показатель производительности системы, так как в конечном счете он определяет ее экономическую эффективность.

Чтобы проводить выбор оптимальных методов и алгоритмов адаптивного управления обработкой заказов в АСДП, необходимо иметь соответствующий критерий, позволяющий отличать различные варианты, т. е. чувствительный к вариациям методов и алгоритмов. Для того чтобы в такой сложной системе, как АСДП, уметь отличать влияние одних методов и алгоритмов от других, необходимо иметь некоторый опорный (базовый) вариант сети N _э, который назовем эталонной сиситемой.

Предлагается внести на рассмотрение два показателя оценки эффективности методов и алгоритмов адаптивного управления обработки заказа в АСУ: относительное превышение среднего времени задержки выполнения заказа в реальной АСДП N, функционирующей при конкретном алгоритме адаптивного управления в реальных условиях, по сравнению с таким же показателем для N _э, которое обозначим как Δ Т и относительное количество продуктов, содержащейся в необслуженных заказах за определенный интервал времени Δ I. Величины Δ Т и Δ I вычисляем по формулам:

; ,         (4.50)

где  - среднее время задержки выполнения заказа в эталонной системе N _э; I _вх - количество позиций продукции, содержащихся к АСДП, входящих в заказы, которые были или должны быть введены в заказ за определенный интервал времени; I ₀ - количество позиций продукции, содержащихся в тех заказах, которые были обслужены за тот же интервал времени. При этом необходимо отметить, что показатель Δ I для эталонной сети веегда равен 0.

Очевидно, что использование адаптивного управления процессом обработки заказа в АСДП целесообразно при нарушении условий, в которых условно функционирует эталонная (статическая) система N _э, т.е. в реальных условиях. Показатель Δ Т определяет, насколько успешно данный алгоритм адаптивного управления «противодействует» возможному ухудшению реальных условий функционирования АСДП по сравнению с эталонными. Показатель Δ I определяет, какими «средствами» данный алгоритм адаптивного управления обеспечивает функционирование реальной системы N с показателем , близким к . Например, если при некотором алгоритме адаптивного управления игонорируются все заказы, на допустимые объёмы которых отличается реальный заказ N от заказа в эталонной системе N _э, то при сохранении надежности элементов АСДП, Δ Т → ε _N, где 0 < ε _N << 1. Знаменатели в выражении (4.48) использованы для нормировки соответствующих показателей оценки эффективности.

Следовательно, с одной стороны» показатели Δ Т и Δ I характеризуют ранее введенные показатели  и R_N соответственно, а с другой - они в достаточной степени отражают подход к решению задачи выбора методов и алгоритмов адаптивного управления в АСДП с заданной структурой. Поэтому критерий оценки эффективности методов и алгоритмов адаптивного управления должен содержать в себе эти два показателя.

Необходимо подчеркнуть следующую особенность подобного критерия, а следовательно, и подхода к решению задачи управления в АСДП.

Показатель Δ Т является глобальной характеристикой алгоритма адаптивного управления, поскольку он дает оценку качества процесса доставки заказа внутри реальной системы N в целом, при использовании данного алгоритма управления.

Показатель Δ I характеризует способность системы доставки, при управлении по некоторому алгоритму, принять определенную нагрузку. Эта способность зависит от специфики алгоритма управления, который реализуется в АСУ, т, е. показатель Δ I является локальной характеристикой алгоритма адаптивного управления. Следовательно, наличие одновременно показателей Δ Т и Δ I в критерии оценки эффективности алгоритмов адаптивного управления отражает то требование к этим алгоритмам, что в процессе управления доставкой заказов в АСДП стохастические изменения условий функционирования реальной системы доставки N, по сравнению с такими же условиями эталонной сети N _э должны компенсироваться двумя способами, а именно глобально (на основе Δ Т) и локально (на основе Δ I).

Теперь необходимо выбрать конкретную фоорму критерия для оценки эффективности АСДП. Основная сложность решения задачи адаптивного управления в АСДП состоит в том, что, во-первых, критерий оценки эффективности алгоритмов адаптивного управления должен включать в себя два показателя, а именно Δ Т и Δ I, а во-вторых, в зависимости от вида заказываемой продукции в системе (скоропортящаяся продукция, требующая аккуратности в процессе перевозки продукция и пр.) можно определить степень важности каждого из этих двух показателей. В этих условиях можно применять комбинированный подход к решению задачи оптимизации, который состоит в следующем.

При условии, что заказы в системе требуют максимальной оперативности при доставке (скоропортящиеся продукты) критерием оценки эффективности алгоритмов адаптивного управления является правило: минимизировать Δ Т при ограничении на Δ I. Если в системе обрабатываются в основном объёмные заказы, по причине габаритов или большого количество позиций в заказе, то основным критерием является правило: минимизировать Δ I при ограничении на Δ Т. Кроме того, в обоих случаях ставятся ограничения на управляемые параметры. В случае, когда АСДП предназначена для обработки заказов произвольного содержаня, эффективность алгоритмов адаптивного управления оценивается по интегральному критерию вида

Cr = f (Δ Т, Δ I).                                     (4.51)

При этом компромиссный вариант алгоритма адаптивного управления можно выбрать, используя схему справедливого компромисса [23]. Для построения интегрального критерия целесообразно использовать принцип относительной уступки, потому что этот принцип весьма чувствителен к величине отдельных показателей. Важным преимуществом принципа относительной уступки является то, что он инвариантен к масштабу измерения отдельных показателей. В работе [23] показано, что реализация этого принципа приводит к построению мультипликативного интегрального критерия. Учитывая это обстоятельство, а также формулу (4.51), выражение (4.49) можно записать в следующем виде:

,                         (4.52)

где q ₁ и q ₂ - весовые коэффициенты, определяющие приоритет (важность) отдельных показателей.

Задача векторной оптимизации при первых двух постановках, т. е. в случаях со скоропортящейся продукцией, допускает приточные методы решения. При этом появляется необходимость определения подмножества алгоритмов управления, близких к оптимальному, среди которых отыскивается оптимальный алгоритм. Выбор подобных алгоритмов можно проводить с использованием предложенного интегрального критерия оценки эффективности.

Проанализируем выражение (4.52). Учитывая его реальный смысл, интегральный критерий можно назвать степенью ухудшения качества процесса доставки заказов в АСДП, функционирующей в реальных условиях при данном алгоритме адаптивного управления, по сравнению с качеством такого же процесса в эталонной системе доставки N _э. Поэтому в дальнейшем выбор алгоритма адаптивного управления по такому критерию должен производиться при условии Cr → min.

С учетом обоснованности подхода к разработке алгоритмов адаптивного управления можно утверждать, что всегда Δ Т ≥ 0 и Δ I ≥ 0, т. е. Cr ≥ 0. Использование алгоритмов адаптивного управления целесообразно в условиях, которые приводят к Δ Т > 0 и Δ I > 0, однако при этом специфика некоторых алгоритмов такова, что Δ Т → 0 при Δ I > 0. В подобном случае Cr → 0, т. е. критерий становится нечувствительным к применению такого рода алгоритмов. Эту ситуацию можно избежать наложением определенных условий на выбор показателей степени q ₁ и q ₂. Необходимым условием определения q ₁ и _{q 2} согласно работе [6] является равенство

q ₁ + q ₂ = 1.                                 (4.53)

К настоящему времени еще неразработаны формальные методы определения значений q ₁ и q ₂. Поэтому предлагается строить семейства кривых Cr = f (Δ Т, Δ I, q ₁, q ₂) для различных значений q ₁ и q ₂ при соблюдении условия (3.5), а также при условии, что

q ₁ = 0, если Δ Т = 0; q ₂ = 0, если Δ I = 0.

Конкретные значения показателей степени q ₁ и q ₂ зависят от значимости Δ Т и Δ I соответственно, т. е. чем важнее Δ Т или Δ I, тем больше должно быть значение q ₁ или q ₂ и наоборот.

Таким образом, на основе применения стратифицированного подхода получим иерархию критериев оценки эффективности реализации в работе АСДП различных процессов. Кроме того, для оценки и сравнения эффективности алгоритмов управления разработан интегральный критерий. Эти критерии как рабочие оценки вероятностно-временных характеристик будут использованы в дальнейшем.