Основные артефакты архитектуры данных

По мере поступления данных в организацию через каналы связи или интерфейсы обеспечивается их защита и интеграция; они сохраняются, регистрируются, каталогизируются, распространяются, включаются в отчеты, анализируются и предоставляются заинтересованным лицам. Попутно данные могут подвергаться верификации, улучшению, связыванию, сертификации, агрегированию, анонимизации и использованию в целях аналитики вплоть до момента их архивации или удаления. Следовательно, описания корпоративной архитектуры данных должны включать как корпоративные модели данных (с указанием структуры и спецификаций данных), так и описания потоков данных.

Корпоративная модель данных и описание потоков данных должны быть хорошо согласованы. При этом и модель, и потоки данных отражаются в трех состояниях – текущем, целевом (архитектурная перспектива) и переходном (проектная перспектива)[394].

Корпоративная модель данных

Корпоративная модель данных (Enterprise Data Model, EDM) представляет собой целостную, не зависящую от технических средств реализации концептуальную или логическую модель данных, отражающую единый согласованный взгляд на данные в масштабах всей организации. Этот термин обычно используется для обозначения высокоуровневой упрощенной модели данных, но уровень абстракции может быть различным в зависимости от целей ее представления. EDM содержит данные о ключевых сущностях предприятия (на уровне бизнес-концепций) и связях между ними, критически важные руководящие бизнес-правила и некоторые ключевые атрибуты. EDM закладывает основу для всех проектов в области данных или связанных с данными. Модели данных уровня отдельных проектов должны создаваться на основе EDM (см. главу 6 – разделы 6.3 и 6.4 и главу 7 – раздел 7.3). Данная модель подлежит обязательной проверке всеми заинтересованными сторонами для обеспечения согласованного мнения о том, что в ней зафиксировано правильное представление об организации.

Организация, осознавшая потребность в EDM, должна определить, сколько времени и усилий она готова посвятить ее построению и ведению. EDM могут создаваться с различными уровнями детализации, а потому нужно изначально определиться с имеющимися ресурсами и, исходя из этого, спланировать объем работ по подготовке первоначального содержания модели. Со временем по мере необходимости можно расширять объемы и прорабатывать дополнительные детали собираемых данных, требующихся для оптимальной работы организации, что, как правило, и делается. Самые успешные EDM выстраиваются поэтапно, итерационно и послойно.

Рисунок 11.1 показывает, как связаны модели различных типов и как концептуальные модели могут быть привязаны к физическим моделям данных приложений. На рисунке отражены следующие уровни представления:

● концептуальная общая модель данных, предоставляющая обзор всех предметных областей организации;

● представления сущностей и связей по каждой предметной области;

● детализированные, с частично описанными атрибутами логические представления тех же предметных областей;

● логические (Logical Data Model, LDM) и физические (Physical Data Model, PDM) модели на уровне отдельных приложений или проектов.

Все уровни в совокупности составляют корпоративную модель данных. Структура связей позволяет проследить сущность с верхнего уровня до нижнего и между моделями на одном уровне.

* DAMA. DAMA-DMBOK: Data Management Body of Knowledge: 2nd Edition. Technics Publications, 2017. (Русский перевод: DAMA-DMBOK: Свод знаний по управлению данными. Второе издание / Dama International. – М.: Олимп-Бизнес, 2020.)

Описание потоков данных

В главе 8 мы подчеркивали важность понятий «поток данных» («цепочка данных») и «происхождение данных». Описание потоков данных содержит требования и основное рабочее описание (master blueprint) организации хранения и обработки данных по всем базам данных, приложениям, платформам и сетям. Потоки данных отражают их перемещение с целью использования в бизнес-процессах, на отдельных рабочих местах, сотрудниками с определенными бизнес-ролями, а также отдельными техническими компонентами.

Потоки данных являются одним из способов документального оформления происхождения данных. Они фиксируют маршруты прохождения данных через бизнес-процессы и системы. Описанный от начала до конца поток данных показывает, где данные возникают, где хранятся и используются, а также все преобразования данных в процессе их движения как внутри, так и между различными процессами и системами. Анализ происхождения помогает объяснить состояние данных в каждой точке потока.

Потоки данных отображают и документируют взаимосвязи данных:

● с приложениями, используемыми в рамках бизнес-процесса;

● хранилищами или базами данных в среде функционирования;

● сегментами сети (полезно для описания мер безопасности);

● бизнес-ролями, показывая, какие роли отвечают за создание, чтение, обновление, удаление данных;

● местами, в которых происходят изменения данных.

Потоки данных могут документироваться с разной степенью детализации – до уровня предметной области, сущности или даже атрибута. Системы могут быть представлены сегментами сети, платформами, наборами часто используемых приложений или отдельными серверами. Для схематического представления потоков данных могут использоваться матрицы (рис. 11.2) или диаграммы потоков данных (рис. 11.3).