Цели проведения нагрузочного тестирования

Определение максимальной производительности Системы.

По результатам тестирования определяется максимальная интенсивность операций, при которой объект тестирования удовлетворяет требованиям по временам отклика по следующим параметрам:

1) Число операций/час

2) Число одновременно работающих пользователей

Проверка надежности.

По результатам тестирования определяется возможность системы работать длительное время под нагрузкой.

По результатам проведенных тестов будет определена максимальная интенсивность операций, при которой объект тестирования удовлетворяет требованиям по временам отклика или обработки и возможность системы работать длительное время под нагрузкой.

Проверка исправления дефектов производительности.

По результатам тестирования будут определены статусы заведенных ранее дефектов производительности. Список проверяемых дефектов указан в таблице 4.1.

 

Таблица 4.1 Список исследуемых дефектов

№	Название дефекта	Условия воспроизведения	ID дефекта в HP QC	Комментарий
	Утечка памяти на серверах приложений	При проведении теста надежности (24 часа), на уровне нагрузки 16800 оп/час, была выявлена утечка памяти на серверах приложений (k9rko-spectrum02, k9rko-spectrum03, k9rko-spectrum04). Тест проводился с 12:00 17.12.2013 по 12:00 18.12.2013.
	Зависание серверов приложений	В процесс входа пользователей в систему ИС Спектрум, при зависании серверов приложений, отображается предупреждение: "ThreadPool has stuck threads".
	K10 SPECTRUM FULL SCAN	При запросе 3ucd6rjpbjx12 выполняется FULL SCAN таблиц, что приводит к недоступности системы в связи с деградацией системы.
	K10 SPECTRUM FULL SCAN	При запросе 85nqxx8kuwz9a выполняется FULL SCAN таблиц, что приводит к недоступности системы в связи с деградацией системы.
	K10 spectrum db	При запросе dcdsm0vffjy5s наблюдается аномально большая утилизация CPU сервера баз данных.
	K10 spectrum db	При запросе 016xmnqnzux4x наблюдается аномально большая утилизация CPU сервера баз данных.
	При выполнении операций РКО на шаге "Ожидание_обработки" времена отклика более 30 секунд.	При выполнении операций РКО на шаге "Ожидание_обработки" времена отклика более 30 секунд. Кейс с описанием шагов и AWR в аттаче.
	K10 spectrum db	Превышение времен отклика операций ДБО на уровне нагрузки, составляющем 55% от целевого уровня нагрузки при тестировании по профилю "День".
	k10 spectrum application cpu util	Неравномерная нагрузка на сервера приложений системы Спектрум
	K10 Spectrum DB	При запросе 8t49a57a00qbh наблюдается аномально большое количество ожиданий User IO

 

Влияние открытия ОД в ТП на производительность Системы.

По результатам тестирования определяются показатели производительности Системы при одновременном открытии ОД ТП.

Влияние закрытия ОД в ТП на производительность Системы.

По результатам тестирования определяются показатели производительности Системы при одновременном закрытии ОД ТП.

 

Ограничения тестирования

1) Проект по нагрузочному тестированию не предполагает функционального тестирования функционала «Транзакционный сервис» ИС «Спектрум» и не описывает методы и способы выявления функциональных дефектов, но все обнаруженные в ходе проведения тестирования дефекты будут зарегистрированы в отчете и переданы специалистам Разработчика системы.

2) Системы Бисквит; SC "Наличность"; ЦОП; Way4; Delta BranchCash; «ДБО «Telebank»; УСБС; Profile на тестовом стенде будут заменены эмуляторами. Времена отклика эмуляторов основываются на информации, полученной от специалистов Заказчика (требования к временам отклика операций со смежными системами). Если в промышленной эксплуатации времена отклика при обращении к смежным системам будут отличаться от времен отклика установленных в эмуляторе, то точность тестирования может не прогнозируемо изменяться.

3) Интеграция с системой ЕФР будет реализована через скрипты HP Load Runner, при этом обращение будет происходить исключительно в web-интерфейс Spectrum. Согласно информации от Заказчика, данные операции могут выполняться в обход Siebel’я или эмулятора его компонент путем загрузки соответствующих XML с контекстом операции через интерфейс Spectrum - вместо получения XML со стороны веб-сервиса Siebel.

4) В промышленной среде ИС «Спектрум» взаимодействует со смежными системами через набор брокеров, в тестовой среде используется один брокер. В случае, если пропускная способность брокера окажется «узким местом», то точность нагрузочного тестирования может не прогнозируемо изменяться.

5) В случае выявления в процессе тестирования «узких мест» в работе Системы, и невозможности продолжения тестов до момента их исправления, ППО должно быть доработано силами специалистов Разработчика Системы.

6) Если сроки доработки ППО приводят к тому, что проект не может быть завершен вовремя, то стороны согласовывают изменение объема работ по тестированию без изменения общей трудоемкости работ проекта и (или) сроков его завершения, либо стороны согласовывают перечень и объем работ по тестированию после доработки ППО, вынесенных за рамки данного проекта в отдельный проект.

7) На тестовом стенде не предполагается эмуляция систем «Ирбис» и PS-POS терминалов, поскольку данные системы не оказывают существенного влияния на тестируемую систему или не взаимодействуют с ней напрямую.

8) При эмуляции нагрузки будут задействованы не все возможные пользовательские операции, а только операции, критичные для бизнеса, а также операции с высокой интенсивностью и оказывающие наибольшее влияние на нагрузку системы.

9) Расчет прогноза роста БД был построен на данных в период тиражирования системы. Наполнение БД исходя из темпов тиража соответствует наполнению БД к 2021г.

 

Таблица 5.1 Негативные риски проекта

№	Описание риска	Влияние на	Вероятность возникновения	Действия по предотвращению
	Задержка выпуска ПО.	Сроки проекта	Низкая	Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о невозможности проведения работ по разработке скриптов и проведения тестирования. Инициация запроса на изменение сроков проекта
	Неготовность\не предоставление тестового стенда для написания скриптов	Сроки проекта	Низкая	Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проведения тестирования. Эскалация с целью предоставления стенда. Инициация запроса на изменение сроков проекта
3.	Сотрудникам Исполнителя не переданы необходимые данные для написания тестовых примеров и эмуляторов смежных систем или переданные файлы некорректны.	Сроки проекта	Средняя	Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проведения тестирования. Эскалация с целью увеличения активности по подготовке файлов. Инициация запроса на изменение сроков проекта
3.	Непредоставление доступа к тестовой БД	Сроки проекта	Средняя	Мониторинг контрольных точек проекта. Информирование заинтересованных лиц о несоблюдении сроков проекта. Эскалация с целью предоставления доступа к БД. Инициация запроса на изменение сроков проекта
	Значительное изменение требований в ходе проекта	Сроки и\или стоимость	Средняя	Информирование и согласование с Исполнителем потенциально возможных изменений требований. Инициация запроса на изменение сроков и\или стоимости проекта
	КТС для проведения тестирования значительно отличается от продуктивной среды	Точность результатов	Низкая	Информирование и согласование между Исполнителем и Заказчиком изменения нагрузочного профиля тестирования и утверждение коэффициента экстраполяции полученных результатов.
	АРМ на территории Заказчика для сотрудников Исполнителя не подготовлены в срок	Сроки проекта	Средняя	Мониторинг контрольных точек проекта. Информирование Заказчика о несоблюдении сроков проведения тестирования. Инициация запроса на изменение сроков проекта
7.	Недооценка Исполнителем работ по проекту	Сроки и\или стоимость проекта	Низкая	Проведение повторной оценки работ проекта. Инициация запроса на изменение сроков и\или стоимости проекта.
	Не утверждена Заказчиком в установленные сроки разработанная документация по проекту	Сроки проекта	Средняя	Сокращение числа лиц согласующих документацию до минимально необходимого числа. Участие сотрудников Заказчика в разработке документации. Инициация запроса на изменение проекта в случае срыва плановых сроков согласования.

 

Объект тестирования

Общие сведения

Объектом тестирования является система «Спектрум» с функционалом транзакционного сервиса.

Система ИС «Спектрум» позволяет осуществлять полноформатную кассовую работу как по расчетно-кассовому обслуживанию клиентов Банка, так и по операциям движения наличных денежных средств и ценностей внутри подразделений Банка. Представляет собой универсальное рабочее место сотрудника Банка с WEB интерфейсом. Настройка доступных функций системы производится в зависимости от решаемых им задач.

Тестирование будет проводится с учетом операций ЕФР (РКО), представленных в профиле нагрузки (п.9.4 Описание операций). Все операции будут эмулированы с помощью HP Perfomance Сentre v. 12 и через работу отдельно разработанных эмуляторов внешних систем.

Транзакционный сервис осуществляет выполнение клиентских операций, обеспечивая целостность распределённых транзакций (свойства ACID). Под распределённой транзакцией понимается выполнение такой операции, которая затрагивает более одной учётной системы.

Кроме того, Транзакционный сервис минимизирует риск изменения существенных параметров финансовой операции (например, размер комиссии) в процессе обслуживания клиента.

Выполнение финансовых операций включает в себя два действия:

1) подготовка операции, включающая в себя обогащение операции расчётными данными;

2) выполнение операции, включающее в себя проведение проверок и отражение на счетах в учётных и продуктовых системах. Поддержка целостности распределённых транзакций реализуется за счёт технологии двухфазного завершения операции.

Транзакционный сервис принимает запросы на исполнение операций от фронтальных систем. Для выполнения транзакций он обращается к системам исполнения, вызывая бизнес-сервисы УСБС-Front.

Системы исполнения (продуктовые, учётные и мидл-офисные системы), участвующие в проведении операции, определяются Транзакционным сервисом, исходя из входных параметров операции.

Последовательность вызовов сервисов определяется типом и подтипом операции и промежуточными результатами исполнения операции.

 

Архитектура системы

На рис. 6.2.1 приведена общая схема развертывания комплекса объекта тестирования

Рисунок 6.2.1 Общая схема комплекса тестирования

Таблица 6.1 Состав комплекса ИС «Спектрум»

Компонент	Назначение
Тонкий клиент	Браузер, через который пользователь получает доступ к системе
Сервер приложений Spectrum	ПО Spectrum. Сервера приложений Spectrum отвечающие за исполнение бизнес логики системы
Oracle RDBMS	Реляционная СУБД под управлением Oracle RDBMS
Oracle BI Publisher	Сервер отчетности и печатных форм. Используется ПО Oracle BI Publisher
HTTP Load Balancing для серверов приложений Spectrum	Балансировщик нагрузки между серверами приложений Spectrum
HTTP Load Balancing для серверов Oracle BI Publisher	Балансировщик нагрузки между серверами Oracle BI Publisher

 

 

На рис 6.2.2 приведена схема интеграционного взаимодействия ИС «Спектрум».

 

Рисунок 6.2.2 приведена схема интеграционного взаимодействия ИС «Спектрум»

Работоспособность функционала «Транзакционный сервис» зависит так же от работы смежных систем. Состав и описание смежных систем приведен в таблице 6.2

 

Таблица 6.2 Смежные системы транзакционного сервиса

#№	Наименование системы	Краткое описание	Протокол	Тип связи[1]	Наличие на стенде
21.	УФО «Spectrum»	Кассовые операции	прямые вызовы соответствующих java-классов ТС	двунаправленный	да
32.	Телебанк	сервис дистанционного обслуживания	SOAP over HTTP	двунаправленный	Эмулятор
43.	Account Engine – Агрегатор		файл	двунаправленный	Эмулятор
44.	УСБС-Front	интеграционный слой, изолирующий потребителей сервисов от особенностей их технической реализации. Шина, с помощью которой осуществляется взаимодействия системы с IT-ландшафтом банка в рамках того или иного бизнес-процесса.	SOAP over HTTP	двунаправленный	Эмулятор
65.	Delta BranchCash	управление устройствами электронных кассиров.	SOAP over HTTP	двунаправленная	Эмулятор

Фронтальные системы, за исключением УФО «Спектрум», используют сервисы ТС(initoperation,execoperation) для выполения финансовых операций. С системами исполнения (продуктовые, учётные и мидл-офисные системы) ТС взаимодействует путем вызова соответствующих сервисов УСБС, которые описываются в сценариях выполнения операций. В связи с тем, что ТС и УФО «Спектрум» реализованы на едином инстансе, при выполнении операций сервисы УСБС вызываются напрямую, без использования сервисов ТС.

Системы исполнения (продуктовые, учётные и мидлофисные системы), участвующие в проведении операции, определяются Транзакционным сервисом, исходя из входных параметров операции.

Последовательность вызовов сервисов УСБС определяется типом и подтипом операции и промежуточными результатами исполнения операции.

Ниже, в таблице 6.3 приведен список смежных систем относительно ИС Спектрум.

Таблица 6.3 Смежные системы ИС Спектрум

#№	Наименование системы	Краткое описание	Протокол	Тип связи	Наличие на тестовом стенде
11.	CIF	мастер-система клиентских данных, используемая для хранения клиентских данных и идентификации клиента.	FTP	двунаправленная	да
2.	АБС Бисквит в части:
3.	Модуль «Главная книга»	отражение проводок по документам клиентов	Sonic/JMS	двунаправленная	эмулятор
4.	Модули «Кредиты», «Вклады», «РКО»	инициация операций по продуктам клиентов физических и юридических лиц, выполняемых с участием операциониста и контроллера подразделения Банка.	Sonic/JMS	двунаправленная	эмулятор
55.	SC-Наличность	подкрепление касс в ДО, заказ наличности и ценностей в кассах подразделений Банка.	Sonic/JMS	двунаправленная	эмулятор
7.	PS-POS терминалы	устройства проведения операций по банковской карте клиента других банков эмитентов.	THEM-on-US	однонаправленная	нет
	Way4	процессинг карточных операций.	HTTP(S)	однонаправленная	эмулятор
	ЦОП	обработка платежей и расчет комиссий по платежам в пользу контрагентов по договорам с Банком.	Sonic/JMS	однонаправленная	эмулятор
	ДБО «Telebank», Ирбис	шаблоны платежей в пользу контрагентов по договорам	Sonic/JMS	однонаправленная	эмулятор
	Sonic ESB	эксплуатируемая в настоящее время в Банке интеграционная шина	Sonic/JMS HTTP(S)	однонаправленная	да

 

Описание интеграционных потоков системного окружения ИС Спектрум приведено в таблице 6.4

Таблица 6.4 Описание интеграционных Потоков данных системного окружения ИС Спектрум

Номер потока	Описание потока	Система-источник	Система-приемник	Тип обмена	Механизм интеграции	Комментарии
	Потоки данных между системами Бисквит и Spectrum
1.	Документы на подтверждение	Бисквит	Spectrum	On-line	Sonic	Для «двухруких операций»
2.	Подтвержденные документы	Spectrum	Бисквит	On-line	Sonic
3.	Отражение на счетах	Spectrum	Бисквит	On-line	Sonic
4.	Откат операции	Spectrum	Бисквит	On-line	Sonic
5.	Снятие с подтверждения	Бисквит	Spectrum	On-line	Sonic
6.	Получение счета доходов	Spectrum	Бисквит	On-line	Sonic
7.	Сумма покрытия по чеку	Spectrum	Бисквит	On-line	Sonic
	Потоки данных между системами Spectrum и SC "Наличность"
8.	Наличие ценностей на конец дня	Spectrum	SC "Наличность	On-line	Sonic
9.	Загрузка из "SC Наличность" в «Spectrum» документов по инкассации.	SC "Наличность"	Spectrum	On-line	Sonic
	Потоки данных между системами Spectrum и ЦОП
10.	Сообщение на проверку возможности проведения платежа (CheckingRq)	Spectrum	ЦОП	On-line	Sonic
11.	Сообщение на проведение платежа (PayingRq)	Spectrum	ЦОП	On-line	Sonic
12.	Сообщение на аннулирование платежа (RejectRq)	Spectrum	ЦОП	On-line	Sonic
13.	Отправка файла полученных платежей (ФПП)	Spectrum	ЦОП	On-line	Sonic
	Потоки данных между системами Spectrum и системой «Сервер TCD/TCR. ПО «Delta BranchCash»»
14.	Запросы по выполнению операций (Загрузка, выгрузка, выдача наличных)	Spectrum	DBC	On-line	SOAP
	Потоки данных между системами Spectrum и Way4
15.	Определение принадлежности карты	Spectrum	Sonic ESB	On-line	Sonic
16.	Проведение операции по карте	Spectrum	Sonic ESB	On-line	Sonic
17.	Запуск проведения операции по карте	Spectrum	Way4	On-line	Вызов команды операционной системы
18.	Авторизация для проведения операции	Spectrum	Way4	On-line	Вызов команды операционной системы
	Потоки данных между системами Spectrum и PC-POS
19.	Определение принадлежности карты	Spectrum	Sonic ESB	On-line	Sonic
20.	Запросы серверу приложений со стороны кассира	PS-POS	Spectrum	On-Line	HTTP(s)
	Потоки данных между системой Spectrum и Общим файловым ресурсом
21.	Сохранение проводок	Spectrum	Общий файловый ресурс	Off-Line	(s)FTP
22.	Формирование файла подтвержденных платежей	Spectrum	Общий файловый ресурс	Off-Line	(s)FTP
23.	Получение курсов конверсии	Общий файловый ресурс	Spectrum	Off-Line	(s)FTP
24.	Копирование сканов документов	Бисквит	Общий файловый ресурс	Off-Line	NFS
25.	Получение сканов документов	Общий файловый ресурс	Spectrum	Off-Line	NFS
	Потоки данных между системами Spectrum и LTW TP
26.	Запрос статуса загрузки курсов	LTW TP	Spectrum	On-Line	SOAP
27.	Команда на загрузку курсов	LTW TP	Spectrum	On-Line	SOAP
	Потоки данных между системами Spectrum и ЕФР
28.	Инициация взаимодействия	ЕФР	Spectrum	On-Line	SOAP	SpectrumStartService
29.	Восстановление контекста операции	Spectrum	ЕФР	On-Line	SOAP	SiebelGetOperationInfo