Почему требуется тестирование ПО?

● Процесс тестирования гарантирует, что ПО будет работать в соответствии с ожиданиями клиентов и на имеющемся у них оборудовании;

● Рентабельность - одно из важных преимуществ тестирования программного обеспечения. Своевременное тестирование любого ИТ-проекта поможет вам сэкономить деньги в долгосрочной перспективе. В случае, если ошибки были обнаружены на более раннем этапе тестирования программного обеспечения, их исправление обходится дешевле.

● Команда тестирования привносит взгляд клиента в процесс и находит варианты использования, о которых разработчик может не подумать;

● Любой сбой, дефект или ошибка, обнаруженные клиентом в готовом продукте, нарушают доверие к компании.

● Безопасность - наиболее уязвимое и важное преимущество тестирования ПО. Люди ищут проверенные продукты. Тестирование помогает избавиться от рисков и проблем.

Доп. материал:

● Мир без QA

● Продукт без тестирования

● «Ответственность должна быть на инженерах, которые пишут код». Почему в People.ai отказались от QA-команды и что это дало

● Why is software testing necessary?

Качество ПО (Software Quality)

Формально стандарт ISO 8402-1986 определяет качество как совокупность функций и характеристик продукта или сервиса, которые обладают способностью удовлетворять явные или неявные требования. Иными словами, качество заключается в соответствии требованиям (conformance to requirements) и пригодности к использованию (fitness for use), т.е. характеризуется набором свойств, определяющих, насколько продукт "хорош" с точки зрения заинтересованных сторон, например, заказчик продукта или пользователь. Основная последовательность действий при выборе и оценке критериев качества программного продукта включает:

● Определение всех лиц, так или иначе заинтересованных в исполнении и результатах данного проекта.

● Определение критериев, формирующих представление о качестве для каждого из участников.

● Приоритезацию критериев, с учетом важности конкретного участника для компании, выполняющей проект, и важности каждого из критериев для данного участника.

● Определение набора критериев, которые будут отслежены и выполнены в рамках проекта, исходя из приоритетов и возможностей проектной команды. Постановка целей по каждому из критериев.

● Определение способов и механизмов достижения каждого критерия.

● Определение стратегии тестирования исходя из набора критериев, попадающих под ответственность группы тестирования, выбранных приоритетов и целей.

Доп. материал:

● Качество программного обеспечения (Software Quality)

● Лекция 9: Особенности индустриального тестирования

● Кто несет ответственность за качество тестирования приложения? 10 причин попадания ошибки в продакшен

● На ком лежит ответственность за качество программного обеспечения?

● What Is Cost Of Quality (COQ): Cost Of Good And Poor Quality

● Качество вместо контроля качества

Принципы тестирования

1. Тестирование демонстрирует наличие дефектов (Testing shows presence of defects)
2. Исчерпывающее тестирование недостижимо (Exhaustive testing is not possible)
3. Раннее тестирование (Early testing)
4. Скопление/кластеризация дефектов (Defect clustering)
5. Парадокс пестицида (Pesticide paradox)
6. Тестирование зависит от контекста (Testing is context dependent)
7. Заблуждение об отсутствии ошибок (Absence of errors fallacy)

Принцип 1. Тестирование показывает наличие дефектов
Тестирование может показать, что дефекты присутствуют, но не может доказать, что дефектов больше нет.
Сколько бы успешных тестов вы не провели, вы не можете утверждать, что нет таких тестов, которые не нашли бы ошибку.

Принцип 2. Исчерпывающее тестирование невозможно
Для проведения исчерпывающего тестирования придется протестировать все возможные входные значения и все пути выполнения программы, в большинстве случаев число таких вариаций стремится к бесконечности или просто на порядки превосходит отведенное время и бюджет. Вместо попыток «протестировать все» нам нужен некий подход к тестированию (стратегия), который обеспечит правильный объем тестирования для данного проекта, данных заказчиков (и других заинтересованных лиц) и данного продукта. При определении, какой объем тестирования достаточен, необходимо учитывать уровень риска, включая технические риски и риски, связанные с бизнесом, и такие ограничения проекта как время и бюджет. Оценка и управление рисками – одна из наиболее важных активностей в любом проекте.

Принцип 3. Раннее тестирование
Тестовые активности должны начинаться как можно раньше в SDLC, а именно когда сформированы требования.
Этот принцип связан с понятием «цена дефекта» (cost of defect). Цена дефекта существенно растет на протяжении жизненного цикла разработки ПО. Чем раньше обнаружен дефект, тем быстрее, проще и дешевле его исправить. Дефект, найденный в требованиях, обходится дешевле всего.
Еще одно важное преимущество раннего тестирования – экономия времени. Тестовые активности могут начинаться еще до того, как написана первая строчка кода. По мере того, как готовятся требования и спецификации, тестировщики могут приступать к разработке и ревью тест-кейсов. И когда появится первая тестовая версия, можно будет сразу приступать к выполнению тестов.