Оценка качественных показателей программного средства

ПРАКТИЧЕСКАЯ РАБОТА №2

«ОЦЕНКА КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЕЙ ПРОГРАММНОГО СРЕДСТВА»

Цель работы:

Освоение студентами навыков оценки качественных показателей программного средства (ПС). Результатом выполнения практических работ должно быть готовое ПС, реализованное в любой среде по выбору студента.

 

Задание для выполнения практических работ:

Студентам предлагается оценить качественные показатели ПС, количественные показатели надежности ПС, а также технико-экономические показатели разработки ПС.

 

Методические рекомендации по тестированию программного средства

Тестирование является одним из этапов жизненного цикла ПС, направленным на повышение качественных характеристик.

Программы, как объекты тестирования, имеют ряд особенностей, которые отличают процесс их тестирования от общепринятого, применяемого при разработке аппаратуры и других технических изделий.

 

Методические рекомендации по оценке программного средства

Во второй части  работы оцениваются качественные показатели ПС, показатели надежности ПС, технико-экономические показатели ПС.

 

Оценка качественных показателей программного средства

 

Методика оценки качественных показателей ПС основана на составлении метрики ПС.

При этом необходимо выполнить следующее:

1. Выбрать показатели качества (не менее 10) и сформулировать их сущность. Каждый показатель должен быть существенным, т. е. должны быть ясны потенциальные выгоды его использования. Показатели представить в виде таблицы (таблица 1).

 

Таблица 1 - Показатели качества программного средства

 

Показатель качества

Сущность показателя

Экспертная оценка (вес)

Оценка, установленная экспериментом

 

2. Установить веса показателей  (∑ =1).

3. Для каждого показателя установить конкретную численную оценку   от 1 до 10, исходя из следующего:

Свойство в ПС присутствует, но качество его неприемлемо;

Свойство в ПС присутствует и обладает приемлемым качеством;

Свойство в ПС присутствует и обладает очень высоким качеством.

Возможно присвоение промежуточных значений в соответствии с мнением оценивающего лица относительно полезности того или иного свойства ПС.

4. Определить качество ПС как иерархическую взвешенную сумму весов отдельных показателей. Качество показателя = * .

5. Определить среднее значение оценки качества ПС:

 

 

 

6. Представить выходные данные:

 

- перечень всех показателей с оценкой 1 с указанием причин такой оценки;

- гистограмму, показывающую распределение показателей по интервалам оценок;

- какие дефекты ПС обнаружены в результате анализа показателей качества.

 

 

Составить и заполнить таблицу 2 -

Модель Коркорэна

 

Применение модели предполагает знание следующих ее показателей:

-  модель содержит изменяющуюся вероятность отказов для различных источников ошибок и соответственно разную вероятность их исправления;

- в модели используются такие параметры, как результат только N испытаний, в которых наблюдается Ni ошибок i-го типа;

- выявление в ходе N испытаний ошибки i-го типа появляется с вероятностью аi.

 

Показатель уровня надежности R вычисляют по следующей формуле:

 

где N0 - число безотказных (или безуспешных) испытаний, выполненных в серии из N испытаний,

k - известное число типов ошибок,

Yi - вероятность появления ошибок,

при Ni > 0, Yi = ai,

при Ni = 0, Yi = 0.

 

 

  Модель Шумана

Модель Шумана относится к динамическим моделям дискретного времени, данные для которой собираются в процессе тестирования программного обеспечения в течение фиксированных или случайных интервалов времени. Модель Шумана предполагает, что тестирование проводится в несколько этапов. Каждый этап представляет собой выполнение программы на полном комплексе разработанных тестовых данных. Выявленные ошибки регистрируются, но не исправляются. В конце этапа рассчитываются количественные показатели надежности, исправляются найденные ошибки, корректируются тестовые наборы и проводится следующий этап тестирования. В модели Шумана предполагается, что число ошибок в программе постоянно и в процессе корректировки новые ошибки не вносятся. Скорость обнаружения ошибок пропорциональна числу оставшихся ошибок.

Предполагается, что до начала тестирования имеется Et ошибок. В течение времени тестирования τ обнаруживается εc ошибок в расчете на одну команду в машинном языке.

Таким образом, удельное число ошибок на одну машинную команду, оставшихся в системе после τ времени тестирования, равно:

 

ε r (τ) = Et / It * ε c (τ),

 

где It - общее число машинных команд, которое предполагается постоянным в рамках этапа тестирования.

Предполагается, что значение функции частоты отказов Z(t) пропорционально числу ошибок, оставшихся в программе после израсходованного на тестирование времени τ:

 

Z (t) = C * εr (τ),

 

где С - некоторая постоянная

  t - время работы программы без отказов.

Тогда, если время работы программы без отказа t отсчитывается от точки t = 0, а τ остается фиксированным, функция надежности, или вероятность безотказной работы на интервале от 0 до t, равна:

 

R (t, τ) = exp {-C * [Et / It - ε c (τ)] * t}                   

       

t ср = 1 / {C * [Et / It - ε c (τ)]}.

 

Нам необходимо найти начальное значение ошибок Et и коэффициент пропорциональности - С. В процессе тестирования собирается информация о времени и количестве ошибок на каждом прогоне, т.е. общее время тестирования τ складывается из времени каждого прогона

 

τ = τ1 + τ2 + τ3 + … + τn.

 

Предполагая, что интенсивность появления ошибок постоянна и равна λ, можно вычислить ее как число ошибок в единицу времени, где Ai - количество ошибок на i - ом прогоне:

 

 

 

 

Имея данные для двух различных моментов тестирования τa и τb, которые выбираются произвольно с учетом требования, чтобы εc(τb) > εc(τa), можно сопоставить уравнения, приведенные выше  при τa и τb:

 

Неизвестный параметр С получается путем подстановки Et в выражение (1.13).Вычисляя соотношения (1.13). Вычисляя соотношения (1.13) и (1.14) получим:

 

Получив неизвестные Et и C, можно рассчитать надежность

программы по формуле (1.9).

Проведем расчеты применительно к учебной программе.

Например, в программе имеется It = 4381 оператор.

 

 

 В процессе последовательных тестовых прогонов были получены следующие данные:

 

N прогона	1	2 А	3	4	5	6	7	8В	9	10
Кол-во ошибок	1	2	1	1	1	1	1	2	1	1
Время (м)	5	8	2	1	5	1	1	2	5	5

 

 Выберем две точки, исходя из требования, чтобы число ошибок, найденных на интервале А - В, и было больше, чем на интервале 0 - А. За точку А возьмем 2 прогон, а за точку В – 8 прогон. Тогда ошибки, найденные на этапах тестирования на интервалах 0 -А и А - В, будут равны соответственно:

εс(τА) = 3 ⁄ 4381= 0.0007

εс(τВ) = 7 ⁄ 4381= 0.0015.

Время тестирования на интервалах равно:

τА = 13

τВ = 12.

Рассчитаем интенсивности появления ошибок на двух интервалах:

λА = 3 ⁄ 13 = 0.23

λВ = 7 ⁄ 12 = 0.58.

Тогда число имеющихся до начала тестирования ошибок равно:

 

 

Рассчитаем вероятность безотказной работы в течение времени t при τ =

 

35 мин.

 

Возьмем t=60 мин.

 

 

Таким образом, надежность безотказной работы достаточно велика и вероятность сбоев и возникновения ошибок небольшая.

 

 

Модель La Padula

Смотри методическое руководство по дипломному проектированию (Л.Е. Куницына), страницы 27-29.

 

 

А) идентификация пользователей и определение их полномочий;

Б) идентификация терминалов;

В) обеспечение защиты файлов;

Г) защита операционных систем и проблемных программ;

Д) вспомогательные программы защиты.

При выполнении данной практической работы предлагается реализовать алгоритм установления подлинности пользователя, обеспечивающий законность обращения пользователя к разработанному ПС (рисунок 1)  или любой иной вариант по выбору студента.

 

Рисунок 1 – Схема алгоритма установления подлинности пользователя

 

Методические указания по оформлению отчета

 

Разработанное программное обеспечение должно быть оформлено стандартным образом, и содержать разделы в соответствии с приведенным ниже перечнем:

 

Содержание

Задание на выполнение  работы

Приложения

Приложение А  Основные экранные формы программного средства

Приложение Б  Исходный текст программы

Приложение В   Результаты выполнения программы

Приложение Г   Результаты тестирования программы

Приложение Д   Заставка к программному средству

ПРАКТИЧЕСКАЯ РАБОТА №2

«ОЦЕНКА КАЧЕСТВЕННЫХ ПОКАЗАТЕЛЕЙ ПРОГРАММНОГО СРЕДСТВА»

Цель работы:

Освоение студентами навыков оценки качественных показателей программного средства (ПС). Результатом выполнения практических работ должно быть готовое ПС, реализованное в любой среде по выбору студента.

 

Задание для выполнения практических работ:

Студентам предлагается оценить качественные показатели ПС, количественные показатели надежности ПС, а также технико-экономические показатели разработки ПС.

 

Методические рекомендации по тестированию программного средства

Тестирование является одним из этапов жизненного цикла ПС, направленным на повышение качественных характеристик.

Программы, как объекты тестирования, имеют ряд особенностей, которые отличают процесс их тестирования от общепринятого, применяемого при разработке аппаратуры и других технических изделий.

 

Методические рекомендации по оценке программного средства

Во второй части  работы оцениваются качественные показатели ПС, показатели надежности ПС, технико-экономические показатели ПС.

 

Оценка качественных показателей программного средства

 

Методика оценки качественных показателей ПС основана на составлении метрики ПС.

При этом необходимо выполнить следующее:

1. Выбрать показатели качества (не менее 10) и сформулировать их сущность. Каждый показатель должен быть существенным, т. е. должны быть ясны потенциальные выгоды его использования. Показатели представить в виде таблицы (таблица 1).

 

Таблица 1 - Показатели качества программного средства

 

Показатель качества

Сущность показателя

Экспертная оценка (вес)

Оценка, установленная экспериментом

 

2. Установить веса показателей  (∑ =1).

3. Для каждого показателя установить конкретную численную оценку   от 1 до 10, исходя из следующего: