Определение области знаний «Качество данных»

Термин качество данных (Data Quality, DQ) распространяется как на характеристики, связанные с высоким качеством данных, так и на процессы измерения или повышения качества данных.

Следует разделять эти два варианта использования термина и пояснять, что понимается под данными высокого качества.

Данные можно считать высококачественными в той мере, в которой они соответствуют потребностям и ожиданиям потребителей. То есть данные обладают высоким или низким качеством, если они, соответственно, пригодны или непригодны к использованию по назначению. Следовательно, качество данных зависит от контекста и потребностей потребителей данных.

Формальное управление качеством данных выстраивается по аналогии с непрерывным управлением качеством других продуктов. Качество данных контролируется на всех фазах их жизненного цикла посредством определения стандартов и встраивания механизмов обеспечения и контроля их соблюдения в процессы создания, преобразования и хранения данных, включая наборы измеримых показателей соответствия данных стандартам качества на всех этапах. Для внедрения комплексного подхода к обеспечению качества данных обычно требуется команда по реализации программы качества данных (data quality program team). Она отвечает за привлечение к участию и координацию действий профессионалов в области управления данными со стороны бизнеса и технических подразделений при проведении работ, обеспечивающих последовательное применение методов, которые гарантировали бы пригодность любых данных для использования по назначению. Более того, команде программы качества данных, вероятно, потребуется принять участие в серии проектов, прежде чем она сможет внедрить в организации устойчивые процессы с использованием передовых практик непрерывного управления качеством данных. Параллельно должны приниматься экстренные меры по устранению неотложных проблем.

Поскольку управление качеством данных предполагает управление их жизненным циклом, программа качества данных неизбежно накладывает определенные требования и ограничения на использование данных и предусматривает ответственность за обеспечение их соблюдения при осуществлении операционной деятельности. В обязанности участников команды программы качества данных может входить, например, составление отчетности об уровнях качества данных; участие в анализе данных и сборе статистики; выявление и приоритизация проблем с данными.

Помимо этого, команда программы качества данных отвечает за взаимодействие с потребителями данных при решении вопросов, касающихся обеспечения их потребностей, а с теми, кто задействован в создании, обновлении или удалении данных, – вопросов обеспечения соблюдения правил обращения с данными. Качество данных зависит от всех, кто с ними работает, а не только от профессионалов в области управления данными.

Так же как руководство и управление данными в целом, управление качеством данных осуществляется именно как систематическая программа, а не разовый проект. При этом программа качества данных включает и работы, проводящиеся на проектной основе, и плановую деятельность по сопровождению информационных систем и ресурсов, а также обеспечение эффективных коммуникаций и обучение[511].

 

Цели и бизнес-драйверы

Программы качества данных преследуют следующие цели:

● выработка управляемого подхода к обеспечению соответствия данных нуждам их потребителей;

● определение стандартов и спецификаций механизмов контроля качества данных как составной части жизненного цикла данных;

● определение и внедрение процессов измерения, мониторинга и учета уровня качества данных;

● выявление и поддержка использования возможностей по повышению качества данных посредством внесения изменений в системы и процессы, а также осуществление деятельности по проведению измеримых улучшений качества данных на основе требований их потребителей[512].

Бизнес-драйверы, обусловливающие необходимость наличия формализованной программы качества данных:

● повышение ценности данных и информационных ресурсов организации и реальной отдачи от их использования;

● снижение рисков и издержек, обусловленных низким качеством данных;

● повышение эффективности и производительности в масштабах организации;

● защиту и укрепление репутации организации.

Организации, стремящиеся получать полноценную отдачу от имеющихся данных, прекрасно понимают, что высококачественные данные ценнее данных низкого качества. К тому же некачественные данные чреваты ущербом репутации, штрафами, упущенной прибылью, оттоком клиентов и негативными отзывами в СМИ. Обеспечивать высокое качество данных нередко предписывают также нормативно-правовые документы и отраслевые регламенты. Ну и наконец, некачественные данные влекут за собой и всевозможные прямые убытки. Приведем лишь некоторые примеры негативных последствий:

● ошибки в выставленных счетах;

● увеличение числа обращений в службу поддержки клиентов при одновременном снижении способности разрешать возникшие проблемы;

● упущенные возможности и, как следствие, падение оборота и выручки;

● задержка интеграции в процессе слияний и поглощений;

● повышенная уязвимость перед угрозой мошенничеств и злоупотреблений;

● убытки вследствие ошибочных бизнес-решений, сделанных на основе неверных данных;

● потеря бизнеса и/или клиентуры из-за неспособности подтвердить свою репутацию и/или кредитоспособность.

Однако высокое качество данных – не самоцель, а средство обеспечения организационного успеха. Достоверные данные не только снижают риски и издержки, но и повышают эффективность. Работая с надежными данными, сотрудники более оперативно и согласованно находят ответы на текущие вопросы и тратят меньше времени на поиск нужной информации и оценку ее пригодности, что оставляет им больше времени на глубокое осмысление данных с целью взвешенного принятия решений и качественного обслуживания клиентов[513].

 

Измерения качества данных

Измерениями качества данных (data quality dimension) называют измеримые свойства или характеристики данных, находящиеся в прямой связи с их качеством. Термин «измерение» сразу же приводит к ассоциативной аналогии с мерами свойств физических тел (таких как длина, ширина, высота). Измерения качества данных служат также источником терминологии, используемой для определения требований к качеству данных. Их же можно использовать для описания результатов как первичной оценки, так и текущих измерений качества данных. Для оценки качества данных организации нужно определить такие измерения, которые одновременно важны и для бизнес-процессов (и потому заслуживают рассмотрения) и поддаются объективной оценке. Измерения также служат базисной системой координат при определении правил оценки, которые, в свою очередь, напрямую соотносятся с потенциальными рисками, присущими критически важным процессам.

Часто выделяют следующие шесть ключевых измерений качества данных.

1. Полнота: отношение фактически имеющегося в хранилище объема данных к потенциально доступному (0–100 %).

2. Уникальность: ни одному реально существующему экземпляру предмета описания (объекта) не должно соответствовать более одной записи в рамках идентификации описываемых предметов/объектов.

3. Актуальность: степень отражения данными реального положения вещей на текущий момент.

4. Годность: определяется синтаксическим соответствием данных определениям (по формату, типу или диапазонам значений).

5. Соответствие: Степень соответствия данных реальным объектам или событиям, которые ими описываются.

6. Согласованность: отсутствие противоречий между различными представлениями одного и того же (согласно определениям) предмета или сущности.

 

Иногда рассматриваются и другие важные характеристики, влияющие на качество данных.

● Полезность: насколько понятны, доходчивы, релевантно определены, доступны и точны данные?

● Своевременность реагирования (в дополнение к актуальности): поддерживается ли возможность оперативного изменения данных без потери стабильности?

● Гибкость: насколько данные совместимы и сопоставимы с другими данными? Допускают ли группировку, классификацию и перепрофилирование? Достаточно ли просты в обращении?

● Надежность: организованы ли процессы руководства данными и обеспечения безопасности данных? Какова репутация данных, чем или как она подтверждается или удостоверяется?

● Ценность: имеется ли экономическое обоснование с анализом рентабельности или окупаемости затрат на управление данными? Оптимально ли используются данные? Все ли в порядке с защитой персональных, личных и конфиденциальных данных? Не допускается ли предприятием каких-то неправомерных действий или нарушений? Соответствует ли его деятельность корпоративному имиджу?

Единой универсальной классификации измерений качества данных до сих пор не выработано, однако вышеописанные формулировки содержат общие идеи. Измерения включают часть характеристик, оцениваемых по вполне объективно измеримым показателям (например, полнота, действительность, соответствие формату), и часть, которая в значительной степени зависит от контекста или субъективной интерпретации (полезность, надежность источника, репутация). Какие бы названия измерений ни использовались, основными аспектами качества данных являются: полнота (отсутствие недостающих данных); правильность (корректность, точность, достоверность); непротиворечивость (согласованность, целостность, уникальность), актуальность (своевременность обновления или реагирования); доступность; возможность использования (годность); безопасность (защищенность)[514],[515],[516],[517].