Определение области знаний «Метаданные»

Согласно ГОСТ Р ИСО/МЭК 11179-1-2010 «Информационная технология. Регистры метаданных. Часть 1. Основные положения» метаданные – это данные, которые определяют и описывают другие данные. Это означает, что данные, используемые подобным образом, становятся метаданными. Это происходит при конкретных обстоятельствах, для конкретных целей, с определенными перспективами, без которых данные не являются метаданными. Набор обстоятельств, целей или перспектив, для которых некоторые данные используются как метаданные, называют контекстом. Таким образом, метаданные являются данными о данных в некотором контексте[502].

В реальности к метаданным можно отнести очень широкий спектр сведений, включая информацию о технологических и бизнес-процессах, правила обработки данных, ограничения и определения логической и физической структуры данных.

Метаданные могут описывать не только данные как таковые (базы данных, элементы данных, модели данных), но и представляемые ими объекты (бизнес-процессы, системы и приложения, элементы ИТ-инфраструктуры), а также связи (отношения) между данными и объектами. Стоит отметить, что именно метаданные помогают организации правильно понимать смысл имеющихся в ее распоряжении данных, функционирование систем, структуру и содержание рабочих процессов. Они позволяют проводить оценку качества данных и неразрывно связаны с управлением базами данных и приложениями. Таким образом, метаданные необходимы для обеспечения возможности обработки, сопровождения, интеграции, хранения, защиты, проверки и контроля всех прочих данных организации.

Как и любые другие данные, метаданные нуждаются в управлении. С ростом способности организаций собирать и накапливать колоссальные массивы данных роль метаданных в сфере управления данными неуклонно возрастает. Чтобы быть «управляемой на основе данных» (data-driven), организация должна быть «управляемой на основе метаданных» (metadata-driven)[503].

 

Цели и бизнес-драйверы

К основным целям управления метаданными относятся:

● управление задокументированными на уровне организации знаниями о данных в привязке к бизнес-терминологии с целью обеспечения единообразной трактовки данных всеми, кто их использует;

● сбор и интеграция метаданных из различных источников с целью обеспечения понимания пользователями сходств и различий между данными, поступающими из различных частей организации;

● обеспечение качества, согласованности, актуальности и защищенности метаданных;

● предоставление стандартных каналов доступа к метаданным всем потребителям данных (пользователям, системам, приложениям и процессам);

● выработка и утверждение собственных или контроль соблюдения предписываемых стандартов технических метаданных с целью обеспечения возможности обмена данными[504].

В качестве главного бизнес-драйвера деятельности в области управления метаданными выступают преимущества, которые обеспечивают для организации надежные и качественно управляемые метаданные. Здесь можно выделить:

● повышение доверия к данным за счет предоставления их контекста и поддержки возможности измерения качества данных;

● повышение ценности стратегической информации (в частности, основных данных) за счет ее многоцелевого использования;

● повышение эффективности работы информационных систем через выявление и устранение избыточных данных и процессов;

● своевременное выявление и отбраковку устаревших или неверных данных;

● оптимизацию планирования и проведения статистических исследований;

● лучшее взаимопонимание между потребителями данных и специалистами по ИТ;

● точность вводных данных, используемых для аналитического прогнозирования последствий, что способствует минимизации риска провала проектов;

● ускорение внедрения за счет сокращения времени, уходящего на разработку систем;

● снижение затрат на обучение и негативные последствия текучки кадров за счет исчерпывающей документации данных, включая контекст, источники и историю;

● выполнение требований действующего законодательства и надзорных органов.

Метаданные также способствуют согласованности и непротиворечивости данных и единообразному представлению информации, оптимизации потоков данных и рабочих процессов, надлежащей защите чувствительной информации, что особенно важно для отраслей с повышенными нормативно-правовыми требованиями.

При этом нужно понимать, что чем выше качество данных, тем выше их ценность для организации. В свою очередь, качество данных зависит от руководства данными. И вот тут на первый план выходят метаданные, без которых невозможно понимание данных в контексте функционирования организации. По сути, метаданные являются путеводителем по всем данным, имеющимся в распоряжении организации. Следовательно, управление метаданными должно быть безупречным. Плохо управляемые метаданные приводят к следующим негативным последствиям:

● появление избыточных данных и бессмысленных процессов управления ими;

● дублирующие друг друга, избыточные, устаревшие или вовсе не используемые словари, репозитории и иные хранилища метаданных;

● противоречивые определения объектов и элементов данных;

● неверные и противоречивые оценки рисков, соответствующих различным категориям данных, в том числе проистекающих от их нецелевого использования или утечки;

● конфликтующие между собой источники и версии метаданных и, как следствие, подрыв доверия пользователей к любым определениям данных, используемых в организации.

Хорошо организованное управление метаданными обеспечивает полное и согласованное представление об информационных ресурсах организации и способствует эффективному налаживанию взаимодействия между организациями при проведении совместной разработки приложений[505],[506].

 

Виды метаданных

Метаданные можно разделить на три основные категории:

● бизнес-метаданные;

● технические метаданные;

● операционные метаданные.

Бизнес-метаданные описывают содержание и состояние данных, а также детали, необходимые для реализации функций распоряжения данными.

Примеры бизнес-метаданных:

● определения и описания наборов, таблиц и столбцов данных;

● бизнес-правила, правила преобразований, расчетные и логические формулы;

● модели данных;

● правила и результаты измерения показателей качества данных;

● расписания обновления данных;

● первоисточники и происхождение данных;

● стандарты данных;

● условные обозначения, используемые в системе записи и учета элементов данных;

● ограничения по допустимым значениям;

● контактная информация ответственных (например, владельцев или распорядителей данных);

● классы секретности и конфиденциальности данных;

● известные проблемы с данными;

● примечания по использованию данных.

Технические метаданные детально описывают всевозможные технические характеристики данных, систем их хранения и процессов перемещения данных между системами. Например:

● названия таблицы и столбцов таблицы, используемые в физической модели данных;

● свойства столбца;

● свойства объекта БД;

● права доступа;

● правила создания, замены, обновления и удаления записей (create, replace, update and delete; CRUD);

● физические модели данных, включая имена таблиц данных, ключи и индексы;

● задокументированные связи между моделями данных и физическими ресурсами;

● детализация операций по извлечению, передаче или загрузке данных (ETL);

● определения схем данных в файловых форматах;

● карты соотнесения данных между системами-источниками и адресатами;

● документация, описывающая происхождение данных, включая влияние изменений на информацию выше и ниже по потоку обработки;

● названия и описания используемых программ и приложений;

● расписания заданий по загрузке или обновлению контента и зависимостей между ними;

● правила резервного копирования и восстановления данных из резервных копий;

● права доступа, группы и роли пользователей.

Операционные метаданные детально описывают процессы обработки данных и управления доступом к ним. Например:

● журналы выполнения заданий пакетной обработки данных;

● история и результаты выгрузки выборок данных;

● сбои в расписаниях;

● результаты аудита, балансировки и контрольных измерений;

● журналы ошибок;

● структура, частота и время, скорость обработки запросов данных и отчетов;

● планы-графики исправлений, обновлений и выпуска новых версий и степень их соблюдения;

● правила резервного копирования, периодичности и сроков хранения резервных копий, порядок активации плана аварийного восстановления;

● требования и условия соглашений об уровнях обслуживания;

● схемы регистрации и распределения потоковой нагрузки;

● правила архивирования данных, сроки хранения архивов, правила обеспечения связности архивных данных;

● критерии окончательного удаления (утилизации) архивных данных;

● правила совместного доступа к данным;

● технические роли и обязанности, контактные данные.

Отметим, что на практике в процессе использования метаданных грани между описанными видами оказываются довольно размытыми и не столь существенными[507],[508].

 

Архитектура метаданных

Как и другие данные, метаданные имеют свой жизненный цикл. Поэтому все решения по управлению метаданными включают следующие архитектурные уровни, соответствующие различным фазам жизненного цикла метаданных:

● создание или получение метаданных;

● хранение метаданных в одном или нескольких репозиториях;

● интеграция метаданных;

● доставка метаданных потребителям;

● использование метаданных;

● контроль и управление метаданными.

Для подключения к источникам, а также для сбора, хранения, интеграции и сопровождения метаданных и управления доступом к ним могут использоваться различные архитектурные подходы[509],[510].

● Централизованный: централизованная архитектура предусматривает единое хранилище метаданных, копируемых из различных источников. Организациям с ограниченными ИТ-ресурсами, как и стремящимся к максимально возможной автоматизации управления метаданными, такой вариант архитектуры, как правило, не подходит. В то же время организации, стремящиеся к согласованности метаданных, извлекают максимальную пользу от хранения их в централизованном хранилище.

● Распределенный: полностью распределенная архитектура предусматривает единую точку доступа к метаданным через портал, обеспечивающий извлечение запрашиваемых данных из систем-источников в режиме, близком к реальному времени. Центральное хранилище при такой архитектуре отсутствует. Вместо него в среде портала управления метаданными ведутся каталоги данных, содержащихся в системах-источниках, и действуют общие правила оптимизации обработки запросов. Обращение непосредственно к системам-источникам осуществляется посредством протоколов, используемых промежуточным ПО.

● Гибридный: гибридная архитектура сочетает в себе элементы, свойства и характеристики как централизованной, так и распределенной архитектур. Метаданные все так же поступают в центральный репозиторий непосредственно из систем-источников, но сохраняются они там выборочно. Обычно система управления таким хранилищем предусматривает сохранение критически важных стандартизованных элементов метаданных из систем-источников и последующее добавление дополнительных элементов по запросу пользователей, в том числе в ручном режиме из сторонних источников.