Наборы данных, подлежащие публикации

На втором этапе планируется перейти к активному открытию данных федеральными органами исполнительной власти.

К концу второго этапа должно быть открыто порядка 500 наборов данных, обязанность собирать которые закреплена за федеральными органами исполнительной власти в нормативных правовых актах, а также порядка 500 наборов данных, фактически собираемых федеральными органами власти, но не раскрываемых в машиночитаемых форматах официально.

Представляется, что состав и количество наборов данных, открытых на втором этапе, обеспечат бизнес-сообществу (компаниям, разрабатывающим программные приложения и сервисы, использующие открытые данные) возможность использовать опубликованные наборы данных не только по отдельности, но совместно, объединяя и сравнивая данные из разных наборов.

Ответственными за определение наборов данных, подлежащих публикации, должны быть государственные органы, являющиеся обладателями соответствующих данных. Государственные органы используют эти данные в своей деятельности, знают особенности их формирования, хранения и обработки, в том числе ограничения на распространение, наличие в них персональных данных, имеют полную информацию о технической готовности открытия тех или иных данных. Государственные органы могут правильно интерпретировать данные и, исходя из этого, оценивать их ценность для общества.

Вместе с тем, как упоминалось выше, с федерального уровня должно осуществляться стимулирование открытия данных, в том числе административными методами – путем определения перечней наборов данных, обязательных к опубликованию в машиночитаемых форматах. Наборы данных для этих перечней должны определяться с учетом их ценности для общества и готовности к публикации, а также с учетом требований по соблюдению конфиденциальности информации ограниченного доступа и защите персональных данных. Причем требования по соблюдению конфиденциальности информации ограниченного доступа должны обеспечиваться как для отдельных наборов данных, так и для совокупности данных, открытых государственными органами, и другой опубликованной информации, поскольку обобщение информации может приводить к получению сведений ограниченного распространения.

Перечни наборов данных, обязательных к опубликованию в машиночитаемых форматах, могут формироваться двумя путями:

- по предложениям от государственных органов (с обоснованием ценности для общества наборов данных, предлагаемых к открытию, готовности к их открытию, отсутствию ограничений на публикацию) – такие предложения должны утверждаться федеральным органом, уполномоченным по вопросам открытых данных Российской Федерации, в том числе с учетом требований по соблюдению конфиденциальности информации ограниченного доступа;

- по инициативе федерального органа, уполномоченного по вопросам открытых данных Российской Федерации (на основе предложений общественности и экспертов, собственного представления о ценности данных для общества, возможностях и ограничениях по их открытию) – публикация соответствующих наборов данных должна быть согласована с государственными органами, обладающими этими наборами, в части ограничений на публикацию, наличия технических и ресурсных возможностей.

Для контроля выполнения требований по защите информации федеральный орган, уполномоченный по вопросам открытых данных Российской Федерации, должен привлекать к работе представителей федерального органа исполнительной власти, уполномоченного в области противодействия техническим разведкам и технической защиты информации.

Государственные органы могут открывать наборы данных по своей инициативе (дополнительно к перечню наборов данных, обязательных к опубликованию в машиночитаемых форматах). Именно к такому положению надо стремиться. Этому должно способствовать действенное (с реализацией на местах) проведение федеральным органом, уполномоченным по вопросам открытых данных Российской Федерации, политики в области открытых данных Российской Федерации и стимулирование государственных органов в этом вопросе. Состав наборов данных, предлагаемых к публикации государственными органами, должен быть согласован федеральным органом, уполномоченным по вопросам открытых данных Российской Федерации, в части соблюдения требований конфиденциальности информации ограниченного доступа, в том числе с учетом возможности использования данных этих набора совместно с другой опубликованной информацией.

В связи с этим представляется целесообразным, чтобы государственные органы периодически представляли в федеральный орган, уполномоченный по вопросам открытых данных Российской Федерации, планы открытия данных (с обоснованием), которые бы согласовывались (утверждались) федеральным органом и использовались при определении ресурсного обеспечения для государственных органов и для контроля открытия государственных данных. (Планы должны включать мероприятия не только по публикации новых наборов данных, но и по конвертации уже опубликованных наборов данных в более перспективные форматы, а также мероприятия по повышению ценности наборов данных).

В процессе контроля открытия государственных данных федеральный орган должен проверять не только факт, но и качество их открытия, соответствие требованиям, в том числе по защите информации. Требования к открываемым данным должны формироваться на федеральном уровне и включать (не ограничиваясь этим):

- условия использования данных, предполагающие их свободное использование;

- публикацию в определенных форматах (см. п. 9.2.4);

- публикацию информации о наборе данных, достаточную для его поиска и использования;

- регистрацию в едином государственном реестре открытых данных Российской Федерации.

Для открываемых наборов данных должны также выполняться общие требования по защите информации и защите персональных данных. В случае, если в публикуемых наборах данных присутствует информация о персонах, то такая информация должна быть обезличена.

Форматы публикации данных

В п. 8.2.4 приведена используемая международным сообществом классификация открываемых данных по удобству их повторного использования – «пятизвездочная шкала», предложенная сэром Тим Бернес-Ли. Исходя из этой классификации, ощутимый эффект от открытия данных появляется в случае, если эти данные публикуются на уровнях, начиная с «трех звезд» и выше, то есть в  непроприетарных (открытых) машиночитаемых форматах, таких как CSV, XML («три звезды»), и в формате RDF («четыре и пять звезд»). Причем публикация данных в формате RDF предоставляет принципиально новые возможности по интеграции (связыванию) данных из разных наборов, совместному использованию различных наборов данных при создании на их основе программных приложений и сервисов. Поэтому целесообразно стремится к публикации данных в форматах RDF. Однако перевод данных в RDF-формат – это трудоемкая работа, требующая специальных знаний. Поэтому публикацию данных целесообразно начинать в более привычных форматах, а потом постепенно конвертировать данные в форматы более высоких уровней, повышая тем самым ценность данных.

C учетом зарубежного опыта, редко обновляемые данные (обновляемые не чаще чем раз месяц) должны публиковаться в форматах XML, CSV, KML, XLS, ODS, RDF, DBF. Данные каждого набора должны быть связанны в общий массив данных и должны быть описаны на веб-странице, имеющей постоянную ссылку (пермалинк). Также постоянная ссылка должна быть у каждого из файлов набора данных. При этом данные, имеющие плоскую табличную форму, рекомендуется публиковать в формате CSV. Данные, имеющие сложную иерархическую структуру, рекомендуется публиковать в формате XML или собственных форматах разработанных на базе XML. В случае если размер массивов данных превышает 10 мегабайт, рекомендуется публиковать данные после их архивации в форматах ZIP или RAR. Рекомендуется добавлять поля широты и долготы для записей имеющих географическую привязку. Данные в виде списков учреждений с их адресами рекомендуется публиковать в формате KML с указанием географических координат.

Часто обновляемые данные (обновляемые чаще одного раза в месяц) должны быть доступны через веб-сервисы и в виде архивных массивов данных. Архивные массивы данных должны публиковаться не реже чем помесячно с детализацией не позднее прошлого месяца от текущей даты и предоставляться в соответствии с требованиями для редко обновляемых данных. Веб-сервисы должны предоставлять данные в форматах XML или JSON, за исключением случаев предоставления узкоспециализированных данных. В случае необходимости авторизации для доступа к данным через веб-сервис, при описании сервиса должна быть описана процедура получения к нему доступа и контакт сотрудника, ответственного за предоставление доступа. Доступ к данным через веб-сервис при наличии авторизации должен быть обеспечен со всех возможных программных платформ и языков разработки. Рекомендуется предоставление данных через веб-сервис на получение как отдельных записей, так и их списков и отдельных выборок. Вместо предоставления файлов через веб-сервисы рекомендуется предоставлять ссылки на их выгрузку по прямым ссылкам.