Федеральный закон от 27 июля 2006 г. N 149-ФЗ "Об информации, информационных технологиях и о защите информации" (далее - Федеральный закон N 149-ФЗ);
постановление Правительства Российской Федерации от 10 июля 2013 г. N 583 "Об обеспечении доступа к общедоступной информации о деятельности государственных органов и органов местного самоуправления в информационно-телекоммуникационной сети "Интернет" в форме открытых данных";
постановление Правительства Российской Федерации от 24 ноября 2009 г. N 953 "Об обеспечении доступа к информации о деятельности Правительства Российской Федерации и федеральных органов исполнительной власти";
приказ Минкомсвязи России от 27 июня 2013 г. N 149 "Об утверждении Требований к технологическим, программным и лингвистическим средствам, необходимым для размещения информации государственными органами и органами местного самоуправления в сети "Интернет" в форме открытых данных, а также для обеспечения ее использования";
распоряжение Правительства Российской Федерации от 10 июля 2013 г. N 1187-р (О Перечнях информации о деятельности государственных органов, органов местного самоуправления, размещаемой в сети "Интернет" в форме открытых данных).
4.2. Ограничения на использование государственной информации
В соответствии с частью 5 статьи 7 Федерального закона N 149-ФЗ информация в форме открытых данных, составляющая государственную тайну, не подлежит публикации и распространению.
Ограничение доступа к информации устанавливается федеральными законами в целях защиты основ конституционного строя, нравственности, здоровья, прав и законных интересов других лиц, обеспечения обороны страны и безопасности государства (часть 1 статьи 9 Федерального закона N 149-ФЗ).
В случае необходимости публикации информации, включающей персональные данные, необходимо выполнять обезличивание данных в соответствии с действующим законодательством.
4.3. Рекомендации по использованию открытой лицензии
Публиковать открытые данные рекомендуется с использованием открытой лицензии, которая включает представленные ниже положения и позволяет определить права и ограничения по использованию открытых данных.
Публикатор предоставляет потребителю открытых государственных данных бессрочное, бесплатное, неисключительное право использовать открытые данные в соответствии со следующими требованиями.
Потребитель открытых данных вправе:
- воспроизводить, копировать, публиковать и передавать открытые данные;
- распространять открытые данные и перегруппировывать их составные части;
- адаптировать, модифицировать или извлекать информацию из открытых данных;
- использовать открытые данные в коммерческих целях при производстве нового товара или услуги.
Потребителю открытых данных разрешено любое использование (включая коммерческое) при условии наличия ссылки на первоисточник (обязан размещать упоминание об источнике: имя или контактное лицо ответственного представителя посредством предоставления URL, содержащего исходный вариант открытых данных).
Открытые данные становятся доступными при их непосредственном производстве или их получении от обладателя информации без каких-либо иных прямых или косвенных гарантий, не предусмотренных настоящими условиями использования.
Потребитель имеет исключительное право на переработку открытых данных. При данной переработке потребитель обязуется не вовлекать третью сторону в процесс переработки, обязуется не искажать содержание открытых данных, их первоисточник и время последнего обновления.
5. Технологическая инфраструктура
Государственная информация, подлежащая опубликованию в виде набора открытых данных или гиперссылок на соответствующие наборы данных, должна размещаться на официальных сайтах <1> государственных органов или органов местного самоуправления, являющихся обладателями информации. Вместе с тем, существует следующий перечень возможных <2> способов публикации наборов открытых государственных данных:
--------------------------------
<1> Официальный сайт должен сохранять соответствие требованиям совместного приказа ФСБ России и ФСТЭК России от 31 августа 2010 г. N 416/489 "Об утверждении Требований о защите информации, содержащейся в информационных системах общего пользования", подготовленный во исполнение Постановления Правительства Российской Федерации от 18 мая 2009 г. N 424.
<2> Под возможными подразумеваются альтернативные способы, что не исключает обязательный характер публикации наборов открытых государственных данных в разделе официального сайта государственного органа (далее - через свой существующий сайт) или публикацию через собственный портал открытых данных.
- Обязательные способы публикации открытых данных;
- Альтернативные (дополнительные) способы публикации открытых данных.
5.1. Обязательные способы публикации
Обязательные способы публикации открытых данных предполагают использование одного из трех способов публикации:
- через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет";
- через портал открытых данных государственного (муниципального) органа в сети "Интернет";
- через портал открытых данных Российской Федерации в сети "Интернет".
5.1.1. Публикация открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа
Данный метод является одним из наиболее простых с точки зрения Публикатора - предоставление наборов открытых данных в виде файлов для загрузки с веб-страниц. Для реализации этого выдвигается следующий список рекомендаций государственным органам и органам местного самоуправления:
а) на официальном сайте должна быть создана специализированная страница для публикации открытых данных в машиночитаемых форматах (далее - страница открытых данных);
б) на главной странице официального сайта должна располагаться визуально различимая гиперссылка на страницу наборов открытых данных с надписью "Открытые данные";
в) страница открытых данных должна содержать реестр <1> наборов открытых данных, соответствующий требованиям настоящих Методических рекомендаций;
--------------------------------
<1> Общие требования к публикации реестра наборов открытых данных содержатся в п. 7.1.
г) для каждого опубликованного набора открытых данных на официальном сайте государственного органа или органа местного самоуправления должна быть предусмотрена прямая ссылка на набор открытых данных;
д) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml.
5.1.2. Публикация открытых данных через портал открытых данных государственного (муниципального) органа
Данный способ представляет собой вариант развития раздела в самостоятельный портал открытых данных с необходимостью размещения расширенного реестра наборов открытых данных с классификацией размещенных данных, а также с их визуализацией. Использование портала ограничивает требования по машинному представлению реестра и паспортов наборов открытых данных в пользу свободных требований к использованию адресов паспортов наборов открытых данных и машиночитаемому представлению реестра и паспортов. В случае реализации собственного портала необходимо придерживаться следующих рекомендаций:
а) портал открытых данных должен содержать реестр наборов открытых данных, состоящий из ссылок на отдельные страницы наборов открытых данных;
б) портал открытых данных должен обеспечивать централизованный учет наборов открытых данных, форматов, способов хранения и использования имеющихся наборов открытых данных, единого хранилища открытых данных;
в) портал открытых данных должен обеспечивать классификацию и поиск, предназначенный для систематизированной классификации всех собранных на портале открытых данных. На портале должна быть реализована функция навигации по наборам открытых данных. Классификацию наборов данных на портале рекомендуется осуществлять по следующему списку параметров и их характеристик:
- организационная структура - классификация данных по подразделениям, публикующим открытые данные на портале (департаменты, территориальные органы, подведомственные организации и другие, в зависимости от структуры государственного органа и органа местного самоуправления);
- форматы данных - классификация по способу/форматам представляемых данных (CSV, XML, JSON, API, RDF);
- предметная область:
1. по ключевым словам - классификация по перечню ключевых слов;
2. по тематическим разделам (список наборов высокой значимости (список разделов) представлен в Приложении 2).
- качество данных - классификация по определенным меткам определения шкалы качества данных (например, в соответствии с пятизвездной моделью <1> представления данных или собственной шкалой качества данных);
--------------------------------
<1> http://5stardata.info.
- периодичность обновления и актуальность данных - оперативные данные (высокая периодичность актуализации данных - чаще чем 1 раз в неделю), долговременные данные (реже 1 раза в неделю);
- популярность среди потребителей данных - классификация по инструменту голосования и посещения наборов открытых данных, а также по активности обсуждения наборов открытых данных;
- пользовательская лояльность - классификация по удовлетворенности совершенствования наборов данных на основе обратной связи с потребителями наборов открытых данных;
г) портал должен обеспечивать информационное представление и публичный доступ к аналитической и статистической информации по открытым государственным данным гражданам, государственным и другим организациям путем предоставления информации (счетчики посещения наборов открытых данных, счетчики загрузки файлов открытых данных);
д) портал должен содержать коммуникативную площадку или использовать коммуникативную площадку для обмена мнениями между заинтересованными потребителями открытых данных различных тематик с целью использования механизмов общественного контроля качества открытых данных в части обеспечения достоверности, полноты и актуальности открытых данных, в том числе посредством механизмов обратной связи;
е) портал должен содержать инструменты визуализации (пример инструментов визуализации представлен в Приложении 3) размещенных наборов открытых данных на портале:
- табличная визуализация (с возможностью построения различного рода графиков);
- картографическая визуализация (для данных, содержащих геометки).
ж) в целях доступности страниц открытых данных для поисковых роботов должна быть размещена ссылка на реестр наборов открытых данных - разрешение в robots.txt, указание в sitemap.xml;
з) рекомендуется предоставлять возможности API (спецификации в Приложении 10).
Рекомендуемыми инструментами реализации собственных порталов открытых данных могут быть свободно используемые платформы данных с открытым исходным кодом - CKAN <1> (Comprehensive Knowledge Archive Network) или DKAN <2> (Drupal Knowledge Archive Network).
--------------------------------
<1> http://ckan.org/.
<2> https://drupal.org/project/dkan.
5.1.3. Публикация открытых данных через портал открытых данных Российской Федерации
Данный способ представляет собой развитие раздела открытых данных государственного органа на платформе портала открытых данных Российской Федерации с необходимостью размещения наборов открытых данных своей организации, используя инструменты публикации и визуализации наборов открытых данных указанного портала. Использование портала не предъявляет дополнительных требований по машинному представлению реестра и паспортов наборов открытых данных <1>, за исключением текущих правил машиночитаемости и файлового представления опубликованных наборов открытых данных, определенных настоящими Методическими рекомендациями.
--------------------------------
<1> Требования по машиночитаемому представлению реестра и паспортов содержатся в техническом задании на разработку портала открытых данных Российской Федерации.
Публикация открытых данных осуществляется средствами личного кабинета портала открытых данных Российской Федерации.
5.2. Альтернативные (дополнительные) способы публикации открытых данных
5.2.1. Публикация через сайт третьей стороны
Данный метод является предпочтительным в том случае, когда одной из целей является получение обратной связи от наибольшего числа потребителей целевой аудитории. Более того, сторонний сайт может содержать средства визуализации и иные аналитические инструменты (Приложение 3).
5.2.2. Публикация через ftp-сервер
Данный метод удобен в использовании в том случае, когда целевая аудитория владеет необходимыми компетенциями для взаимодействия с наборами открытых данных описываемым методом. Также данный метод является актуальным в том случае, когда информация набора обновляется с высокой периодичностью, либо когда для таких наборов открытых данных необходимы значительные ресурсы для их перемещения и/или хранения.
5.2.3. Публикация через файлообменный протокол BitTorrent
Данный метод является одним из наиболее подходящих альтернативных способов в том случае, когда размеры наборов открытых данных значительны. Более того, сама идеология торрент-систем подразумевает увеличение предложения пропорционально уровню спроса на скачиваемые наборы, поскольку система торрентов путем диверсификации минимизирует риски перегруженности сервера (что не исключается в случае ftp-сервера).
6. Порядок публикации наборов открытых данных
Общие правила публикации в форме открытых данных, предъявляемые к государственному органу или органу местного самоуправления:
а) государственный орган или орган местного самоуправления переводит набор данных в машиночитаемый формат, в котором этот набор открытых данных подлежит публикации;
б) государственный орган или орган местного самоуправления публикует набор данных, добавляет необходимую информацию на страницу раздела (портала) открытых данных и предоставляет ссылку на страницу соответствующего набора (файлового представления набора) открытых данных. Страница набора открытых данных должна включать ссылку на загрузку выбранной версии открытых данных или на интерфейс программного представления (API);
в) государственный орган или орган местного самоуправления проверяет доступность опубликованного набора открытых данных для пользователей официального сайта в сети "Интернет";
г) государственный орган или орган местного самоуправления передает в виде файла в машиночитаемом формате запись об опубликованном наборе открытых данных, выгруженную из реестра наборов данных, открытых государственным органом или органом местного самоуправления, в уполномоченный орган государственной власти;
д) уполномоченный орган государственной власти обновляет сводный реестр открытых данных, а также другую информацию об опубликованных наборах открытых государственных данных, которую они ведут на странице в сети "Интернет" для публикации сводной информации о данных, открытых государственными органами или органом местного самоуправления в машиночитаемых форматах, тем самым поддерживая сводный реестр наборов открытых данных в актуальном состоянии.
Схема взаимодействия при публикации открытых данных (Рисунок 1) отражает ролевой подход к рассматриваемому процессу, представляя собой описание функциональной и технологической компонент. Таким образом, пиктограммами обозначены функциональные роли (у одного сотрудника может быть несколько ролей).
Рисунок 1 - Схема взаимодействия при публикации набора
открытых данных (не приводится)
а) отраслевое подразделение государственного органа или органа местного самоуправления осуществляет подготовку материала для предоставления в форме открытых данных. Данная подготовка осуществляется ролью "Поставщик информации" (роль, ответственная за содержательное наполнение материала);
б) после подготовки материала "Поставщик информации" передает материал "Техническому специалисту" своего подразделения для его конвертации в машиночитаемые данные. При получении материала "Технический специалист" проверяет материал на ошибки и возможность корректного представления в машиночитаемые данные;
в) после перевода данных в машиночитаемое представление "Технический специалист" передает данные "Контент-менеджеру" (роль, ответственная за публикацию наборов открытых данных одним из обязательных способов, а также альтернативными способами публикации) или использует автоматизированные инструменты для самостоятельной публикации набора открытых данных;
г) "Контент-менеджер" осуществляет проверку представленных материалов для публикации на корректность ввода и осуществляет публикацию в разделе (на портале);
д) данные опубликованы в виде набора открытых данных в разделе (на портале);
е) разработчики приложений и конечные потребители открытых данных взаимодействуют с "Контент-менеджером" по интересующим их вопросам, непосредственно влияя на качество и актуальность данных по средствам обратной связи.
7. Требования к публикации реестра наборов открытых данных
7.1. Общие требования к публикации реестра наборов открытых данных
На странице публикации наборов открытых данных <1> должен содержаться заголовок "Открытые данные" и обеспечиваться доступ пользователям в сети "Интернет" к следующим элементам:
--------------------------------
<1> В случае размещения открытых данных через портал открытых данных Российской Федерации применяется иной порядок определения требований.
- реестр наборов открытых данных;
- статистическая информация о наборах открытых данных (общее количество наборов открытых данных);
- средства поиска наборов открытых данных (в случае наличия более 20 наборов открытых данных);
- описание условий использования наборов открытых данных;
- инструмент запроса на предоставление информации в виде наборов открытых данных.
7.2. Требования к публикации реестра наборов открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет"
┌───────────────────────────────┐
│ Раздел открытых данных │
│ государственного │
│ (муниципального) органа │
└───────────────────────────────┘
┌─────────────────────────────────────/\──────────────────────────────────┐
┌───────────────────┐ ┌────────────────────┐ ┌───────────────────┐
│ Реестр наборов │ │ Набор открытых │ │ Иная информация │
│ открытых данных │ │ данных │ └───────────────────┘
└──────────┬────────┘ └─────────────────┬──┘
┌──────┴───────────┐ │
\/ \/ ┌─┴──────────────────┐
(────────────────) (──────────────) \/ \/
│Человекочитаемое│ │Машиночитаемое│ ┌──────────────┐ ┌──────────┐
│ представление │ │представление │ │Метаинформация├─┐ │ Открытые │
(────────────────) (───────┬──────) └──────────────┘ │ │ данные │
│ │ └─────────┬┘
│ ┌────┘ │
┌──────────────┘ │ │
│ \/ │
│ (──────────────────) ┌────────────────┐ │
│ │ Человекочитаемое │<─┬─┼- Паспорт <*> │ │
│ │ представление │ │ │- Структура <**>├─┐ │
│ (──────────────────) │ │- Статическая │ │ │
│ │ │ информация │ │ │
│ (──────────────────) │ │- Лицензия │ │ │
│ │ Машиночитаемое │ │ │- Семантика │ │ │
│ │ представление │<─┘ │ (linked data) │ │ │
│ (─────────┬────────) └────────────────┘ │ │
│ └───────────┐ │ │
\/ \/ ┌────┘ \/
─────────────────── ─────────────────── │ ─────────
/CSV / /CSV / \/ /CSV /
/ XML / / XML / ────── / XML /
/ JSON / / JSON / /CSV / / JSON /
/ HTML+RDFa / / HTML+RDFa / / XSD / / API /
/ HTML+Microdata/ / HTML+Microdata/ ────── / RDF /
─────────────────── ─────────────────── ─────────
Рисунок 1 - Архитектура раздела открытых данных
1. Адрес страницы раздела "Открытые данные" на официальном сайте государственного (муниципального) органа должен формироваться по следующему шаблону: "<адрес официального сайта>/opendata". В случае кириллического адреса сайта он может быть продублирован по адресу "<адрес официального сайта>/открытые-данные" (Допускается публикация из адреса поддоменного уровня "opendata.<адрес официального сайта>").
2. Реестр наборов открытых данных должен иметь человекочитаемое представление (с использованием средств визуализации) и машиночитаемое представление. Человекочитаемое представление реестра наборов открытых данных должно содержать следующую информацию:
- порядковый номер набора открытых данных;
- наименование набора открытых данных;
- формат представления набора открытых данных;
- ссылка на страницу набора открытых данных.
Пример реализации:
|
Название набора открытых данных
|
Формат набора открытых данных
|
1
|
Перечень территориальных органов
|
CSV
|
2
|
Перечень подведомственных организаций
|
XML
|
3
|
Сведения о вакантных должностях
|
JSON
|
Примечание: визуальное представление может отличаться от приведенного выше примера на усмотрение представителей государственного органа или органа местного самоуправления без потери содержательной составляющей.
3. Машиночитаемое представление реестра наборов открытых данных должно быть реализовано в одном из следующих форматов:
- CSV;
- XML;
- JSON;
- HTML+RDFa;
- HTML+Microdata.
4. Машиночитаемое представление реестра наборов открытых данных должно содержать следующую информацию о каждом наборе открытых данных:
- Идентификационный номер набора открытых данных <1>;
--------------------------------
<1> Определяется в разделе 8.1.
- Название набора открытых данных;
- Ссылка на машиночитаемое представление паспорта набора открытых данных;
- Формат набора открытых данных.
5. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:
<адрес-официального сайта>/opendata/list.расширение формата (opendata.<адрес официального сайта>/list.расширение формата)
Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:
<адрес официального сайта>/opendata/list.xml
Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.
7.3. Требования к публикации через портал открытых данных государственного (муниципального) органа
┌───────────────────────────────┐
│ Портал открытых данных │
│ государственного │
│ (муниципального) органа │
└───────────────────────────────┘
┌─────────────────────────────────────/\──────────────────────────────────┐
┌───────────────────┐ ┌────────────────────┐ ┌───────────────────┐
│ Реестр наборов │ │ Набор открытых │ │ Иная информация │
│ открытых данных │ │ данных │ └───────────────────┘
└──────────┬────────┘ └─────────────────┬──┘
┌──────┴───────────┐ │
\/ \/ │
(────────────────) (──────────────) │
│Человекочитаемое│ │Машиночитаемое│ │
│ представление │ │представление │ ┌──┴───────────────────────────┐
│ (визуализация) │ │ <*> │ │ \/
(────────────────) (──────────────) \/ Машиночитаемое ┌──────────┐
┌───────────────┐ представление │ Открытые │
│Метаинформация:│ │ данные │
│- Паспорт │ ─────── └─────┬────┘
│- Структура ─┼──> /CSV / │
│- Статическая │ / XSD / │
│ информация │ / JSON / │
│- Лицензия │ ────── │
│- Семантика │ │
│ (linked data)│ │
│ <**> │ │
└────────┬──────┘ │
┌────────┴────────┐ \/
\/ \/ ─────────
(────────────────) (──────────────) /CSV /
│Человекочитаемое│ │Машиночитаемое│ / XML /
│ представление │ │представление │ / JSON /
│ (визуализация) │ │ <*> │ / API /
(────────────────) (──────────────) / RDF /
─────────
--------------------------------
<*> Машиночитаемое представление - Выбор формата осуществляется публикатором.
<**> Требование не является обязательным.
Рисунок 2 - Архитектура портала открытых данных
государственного (муниципального) органа
1. Портал открытых данных должен находиться по адресу: "opendata.<адрес портала>" (допускается размещать портал по собственному адресу).
Дополнительно возможно существование второго (дублирующего) варианта ссылки "открытые-данные.<адрес портала>" в случае кириллического адреса сайта.
2. Реестр наборов открытых данных портала должен иметь машиночитаемое представление.
3. Адрес машиночитаемого представления реестра открытых данных должен задаваться по следующему правилу:
opendata.<адрес портала>/list.расширение формата (или <адрес портала>/list.расширение формата)
Например, файл реестра наборов открытых данных, размещенный в формате xml, должен быть доступен по следующему адресу:
opendata.<адрес портала>/list.xml
Полные требования к машиночитаемому представлению реестра наборов открытых данных в зависимости от форматов представления описаны в Приложении 7.
4. Портал открытых данных государственного органа должен удовлетворять требованиям публикации наборов открытых данных через собственный официальный сайт в сети "Интернет", описанным в разделе 5.1.2.
7.4. Требования к публикации через портал открытых данных Российской Федерации
При публикации открытых данных на портале открытых данных Российской Федерации предъявляются общие требования к публикации набора открытых данных, определенные в разделе 8.1.
8. Требования к публикации набора открытых данных
8.1. Общие требования к публикации набора открытых данных
Содержание страницы набора открытых данных должно состоять из метаинформации по публикуемому набору открытых данных, машиночитаемого представления набора открытых данных, а также человекочитаемому представлению открытых данных (визуализация данных, пользовательское взаимодействие и других). При публикации набора открытых данных должна указываться информация о версии Методических рекомендаций, в соответствии с которой публикуется набор открытых данных.
Заголовок страницы набора открытых данных должен соответствовать его названию.
Страница набора открытых данных должна обеспечивать предоставление доступа пользователям сети "Интернет" к следующим элементам набора открытых данных:
1. паспорт набора открытых данных в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде (файла для загрузки, инструмента программного интерфейса);
2. структура набора открытых данных в машиночитаемом виде (CSV, XSD или JSON представлении в зависимости от формата файла открытых данных <1>);
--------------------------------
<1> Соответствие форматов структур и форматов наборов открытых данных приводится далее по тексту в текущем разделе.
3. описание условий использования набора открытых данных (открытая лицензия на использование наборов открытых данных);
4. открытые данные в человекочитаемом виде (визуальном интерфейсе) и в машиночитаемом виде в одном из форматов: CSV, XML, JSON, RDF или в виде API;
5. возможность визуального просмотра и немедленной загрузки опубликованного набора открытых данных без требований по дополнительной авторизации, прохождения CAPTCHA-теста и иных ограничений;
6. инструмент повышения качества наборов открытых данных (обратной связи, экранных форм для обратной связи в виде комментариев, либо ссылок на экранные формы для обратной связи), позволяющий пользователям сети "Интернет" оставлять предложения и отзывы по предоставленному набору открытых данных, в том числе по ошибкам, выявленным в наборе открытых данных. Инструмент обратной связи должен позволять потребителям наборов открытых данных указывать на ошибки и несоответствия в визуальном представлении наборов открытых данных и публиковать все поступившие замечания на единой странице, относящейся к данному набору открытых данных. Ответы представителей государственных органов должны публиковаться на той же странице. Обратная связь, реализованная на странице набора открытых данных, должна обеспечивать привязку вводимой пользователем информации к соответствующему набору открытых данных.
8.1.1. Публикация метаинформации набора открытых данных
Метаинформация набора открытых данных включает полное описание набора открытых данных.
Метаинформация набора открытых данных состоит из следующих частей:
- паспорт набора открытых данных;
- структура набора открытых данных;
- другая информация, описывающая набор открытых данных.
Паспорт и структура набора открытых данных являются обязательными требованиями к машиночитаемому представлению.
Метаинформация набора открытых данных не должна иметь никаких дополнительных ограничений на использование (например, ссылки на системы координат в закрытых форматах)
8.1.1.1. Публикация паспорта набора открытых данных <1>
--------------------------------
<1> Пример заполнения паспорта открытых данных представлен в Приложении 8.
Страница набора открытых данных должна содержать паспорт набора открытых данных.
Заголовок страницы набора открытых данных должен соответствовать названию набора открытых данных.
Паспорт набора открытых данных должен иметь четко заданную структуру следующего вида:
1
|
Идентификационный номер
|
2
|
Наименование набора открытых данных
|
3
|
Описание набора открытых данных
|
4
|
Владелец набора открытых данных
|
5
|
Ответственное лицо
|
6
|
Телефон ответственного лица
|
7
|
Адрес электронной почты ответственного лица
|
8
|
Гиперссылка (URL) на открытые данные
|
9
|
Формат набора открытых данных
|
10
|
Описание структуры набора открытых данных
|
11
|
Дата первой публикации набора открытых данных
|
12
|
Дата последнего внесения изменений
|
13
|
Содержание последнего изменения
|
14
|
Дата актуальности набора данных <1>
|
15
|
Ключевые слова, соответствующие содержанию набора данных
|
16
|
Гиперссылки (URL) на версии открытых данных
|
17
|
Гиперссылки (URL) на версии структуры набора данных
|
18
|
Версия методических рекомендаций
|
--------------------------------
<1> Дата, до которой набор открытых данных содержит актуальную информацию.
1) Идентификационный номер (код) набора открытых данных формируется следующим образом:
а) формат идентификационного номера: <код организации>-<наименование набора>;
б) код организации представляет собой идентификационный номер налогоплательщика (ИНН), соответствующий государственному органу, органу местного самоуправления или организации, опубликовавшей набор открытых данных;
в) наименование набора открытых данных - сокращенное англоязычное название набора открытых данных, указывается в одно слово (уникальное в пределах организации).
Пример: 7712345678-showrooms.
2) Наименование набора открытых данных выбирается следующим образом:
а) наименование набора данных должно отражать его содержание;
б) наименование набора открытых данных не должно повторять информацию, содержащуюся в идентификационном номере (коде) набора открытых данных (см. ниже). Наименование должно быть уникальным в пределах организации.
Пример: Список выставочных залов.
8.1.1.2. Публикация структуры набора открытых данных
1. структура наборов открытых данных должна представлять описание каждого информационного поля открытых данных;
2. структура открытых данных должна иметь машиночитаемое представление в формате XSD для открытых данных, представленных в формате XML или RDF;
3. структура наборов открытых данных должна иметь машиночитаемое представление в формате CSV для наборов открытых данных в формате CSV;
4. структура наборов открытых данных должна иметь машиночитаемое представление в формате JSON для наборов открытых данных в формате JSON;
5. при изменении структуры открытых данных должна обеспечиваться версионность структуры и соответствие данной версии последующим итерациям открытых данных;
6. необходимо обеспечивать хранение всех версий структуры открытых данных;
7. атрибуты каждой структуры открытых данных должны иметь англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
8. описание структуры открытых данных должно содержать описание (в том числе в виде ссылок) всех справочников, онтологий и классификаторов, используемых для формирования набора открытых данных <1>;
--------------------------------
<1> В случае использования узкоспециализированных справочников, онтологий и классификаторов рекомендуется их публиковать в виде открытых данных и/или указывать ссылки их публикации (специфические типы данных).
9. при использовании общепринятых стандартов, систем и справочников обязательным требованием является указание данных онтологий в структуре набора открытых данных (например, для формата xsd структуры - Дата первой публикации набора данных в формате ISO 8601.). При использовании собственных справочников (например, ОКАТО или другой специализированный справочник) необходимо указывать ссылку на справочник или на онтологию справочника в структуре набора открытых данных. Используемые общепринятые стандарты, системы и справочники не должны иметь никаких ограничений в использовании;
10. при публикации специфических наборов (различные тематические направления, например, геоданные) необходимо использовать унифицированные онтологии (например, в проекции EPSG: 4326 для геоданных) с обязательным указанием наименования и ссылки на онтологию в структуре набора;
11. в случае предоставления доступа к набору открытых данных через программный интерфейс указывается гиперссылка на файл, содержащий описание такого интерфейса и условия открытого использования.
Примеры публикации структуры наборов открытых данных в различных форматах приведены в Приложении 9.
8.1.1.3. Публикация другой информации, описывающей набор
открытых данных
Предъявляется требование к необходимости публикации исходных документов (информации, которая преобразуется в открытые данные) на странице набора открытых данных в качестве дополнительной информации к открытым данным <1>.
--------------------------------
<1> В ряде случаев машиночитаемое представление открытых данных не является удобным вариантом для целей ознакомления с содержательной частью открытых данных потребителем.
8.1.2. Машиночитаемое представление открытых данных
Машиночитаемое представление открытых данных должно быть реализовано посредством представления данных через API или в одном из перечисленных форматов:
1 CSV;
2 XML;
3 JSON;
4 любой из открытых форматов, реализующих модель RDF.
Название и адрес размещения машиночитаемого представления открытых данных должно соответствовать одному из следующих шаблонов:
- <адрес официального сайта>/opendata/<код организации>-<наименование набора>.расширение файла - в случае публикации через раздел открытых данных на официальном сайте;
- opendata.<адрес официального сайта>/<код организации>-<наименование набора>.расширение файла - в случае публикации через портал открытых данных государственного органа.
Общие требования к публикации машиночитаемого представления
набора открытых данных
а. открытые данные должны публиковаться в форматах CSV, XML, JSON, RDF или с применением API (в случае наборов открытых данных со специфическими особенностями). В формате CSV рекомендуется публиковать данные, имеющие плоскую табличную форму, при этом в содержании записи не допускается использование символа перевода строки. Сложные иерархические данные рекомендуется публиковать в форматах XML, JSON. Для облегчения последующего процесса связывания наборов данных рекомендуется публиковать в одном из открытых форматов, реализующих модель RDF. Подробная схема представления связей между метаданными, открытыми данными и онтологиями представлена в Приложении 1;
б. в случае если размер набора имеет значительный объем данных (более 30 Мбайт), рекомендуется архивировать его с помощью алгоритма архивирования, имеющего спецификацию в виде открытого стандарта (см. п. 8.1.4);
в. для представления наборов открытых данных, содержащих сведения из различных предметных областей, должны использоваться существующие форматы разметки типовых данных (schema.org, YMapsML, XAL и т.п.), имеющие опубликованную спецификацию;
г. необходимо избегать смены формата представления открытых данных, так как это может затруднить процесс автоматической обработки. В случае смены формата необходимо заранее уведомлять потребителей и фиксировать суть изменений (например, путем установки соответствующего значения параметра "Содержание последнего изменения" в "Изменение структуры данных" набора открытых данных);
д. атрибуты каждого набора открытых данных должны иметь краткое англоязычное представление (в виде англоязычных имен или краткого текста транслитерации);
е. машиночитаемое представление набора открытых данных (в соответствующем формате или через API) должно обеспечивать возможность автоматической идентификации и обработки информационными системами составных элементов набора (записей, сущностей и т.д.) и атрибутов этих элементов; не допускается представление данных в неструктурированной форме, затрудняющей автоматическую обработку (например, недопустимо представление набора данных в виде бинарных данных, включенных в файл офисного документа).
Полные требования и примеры к машиночитаемому представлению открытых данных представлены в Приложениях 7 - 10.
8.1.3. Человекочитаемое представление открытых данных <1>
--------------------------------
<1> Данные требования не являются обязательными в случае публикации наборов открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа.
Рекомендуется применять инструменты автоматической визуализации наборов открытых данных, что не исключает требования публикации машиночитаемых данных. При визуальном представлении наборов открытых данных, содержащих географические координаты в качестве атрибутов объектов открытых данных, необходимо обеспечить корректное отображение данных объектов на карте местности в соответствии с координатными данными.
Для визуализации табличных данных необходимо использовать инструменты, позволяющие осуществить предварительный просмотр данных в веб-браузере в табличном виде.
8.1.4. Требования к архивированию открытых данных
В случае если размер открытых данных имеет значительный размер (определяется в соответствии с аппаратно-техническими возможностями) рекомендуется архивировать его с помощью алгоритма архивирования LZMA (LZMA2) <1>.
--------------------------------
<1> Например, данный алгоритм поддерживается в свободном файловом архиваторе 7zip (список поддерживаемых операционных систем http://www.7-zip.org/download.html).
В случае если на сайте хранится более 10 версий открытых данных одного набора открытых данных, рекомендуется все версии старше десятой хранить в архивах.
В случае если публикуется многотомный набор, все тома рекомендуется архивировать и хранить в одном архиве.
8.1.5. Частота обновления набора данных
Наборы открытых данных разделяются на оперативные данные (высокая периодичность актуализации данных - чаще, чем 1 раз в неделю) и долговременные (реже, чем 1 раз в неделю)
Для каждого набора открытых данных в паспорте набора должна быть указана дата его актуальности.
Частота обновления набора может быть следующей:
Оперативные данные:
- больше одного раза в день;
- ежедневно;
- еженедельно.
Долговременные данные:
- ежемесячно;
- ежеквартально;
- каждые полгода;
- ежегодно;
- по мере изменения данных.
Глубина хранения наборов открытых данных
При наличии у обладателя информации соответствующих технических возможностей необходимо стремиться обеспечить хранение всех версий наборов открытых данных.
8.2. Требования к публикации набора открытых данных через раздел открытых данных на официальном сайте государственного (муниципального) органа в сети "Интернет"
Адрес страницы набора открытых данных должен формироваться по следующему шаблону: "<адрес официального сайта>/opendata/<код организации>-<наименование набора>". В случае кириллического адреса сайта он может быть продублирован по адресу "<адрес официального сайта>/открытые-данные/<код организации>-<наименование набора>" (Допускается публикация из адреса поддоменного уровня "opendata.<адрес официального сайта>").
Пример:
<адрес официального сайта>/opendata/7712345678-showrooms
Набор открытых данных должен включать данные, перечисленные в Приложении 9.
8.3. Требования к публикации набора открытых данных через портал открытых данных государственного (муниципального) органа в сети "Интернет"
Специальных требований к адресу публикации наборов открытых данных не предъявляется, за исключением официального стандарта RFC 1738 <1>.
--------------------------------
<1> http://www.ietf.org/rfc/rfc1738.txt.
Технические требования к наборам открытых данных представлены в Приложении 9.
8.4. Требования к публикации набора открытых данных через портал открытых данных Российской Федерации
Предъявляются требования к метаинформации в части заполнения паспорта (Раздел 8.1.1.1 - Публикация паспорта набора открытых данных) и представления структуры открытых данных (Раздел 8.1.1.2 - Публикация структуры набора открытых данных), а также к машиночитаемому представлению (Раздел 8.1.2 - Машиночитаемое представление открытых данных).
8.5. Дополнительные требования к наборам открытых данных со специфическими технологическими особенностями в части хранения, описания и представления
К наборам открытых данных со специфическими технологическими особенностями относятся многотомные наборы открытых данных, периодически пополняемые (оперативные) наборы открытых данных и иные типы открытых данных, к которым предъявляются следующие требования:
- в случае значительных объемов (более 30 Мбайт) необходимо пользоваться вышеописанными средствами архивирования (Раздел 8.1.4 - Требования к архивированию открытых данных);
- в случае значительных объемов (более 30 Мбайт), частых обновлений (чаще 1 раза в неделю) или необходимости формирования специфических выборок, открытые данные должны предоставляться через программный интерфейс, имеющий опубликованную спецификацию (Приложение 10); программный интерфейс должен обеспечивать возможность полностью автоматического (без участия человека) доступа ко всем сведениям набора открытых данных (спецификации протоколов, форматов данных, первичные параметры доступа к сервису и пр.) (Приложение 10).
9. Приложение 1. Концептуальное представление связей между метаданными, данными и онтологиями
┌─────────────┐ ┌────────────┐ ┌────────────┐
│ │ │ │ │ │
│ HTML │ │ Данные │ │ Онтология │
│ │ │ │ │ │
└──────┬──────┘ └────┬─┬─────┘ └──────┬─────┘
│ ┌─────────────┘ │ ┌───────────────┘
\/ \/ \/ \/ ┌
┌─────────────┐ ┌──┌────────────┐─┐ │
│ │ │ │ │
│ HTML │ │ │ RDF │ │ ┤ Метаданные
│ │ │ │ │
└──────┬──────┘ │ └─┬──────────┘ │ │
│ │ └
│ │ микроразметка │
└─────┐ └ ─ ─┬─ ─ ─ ─ ─ ─ ┘
\/ \/
┌───────────────┐
│ Веб-страница │
│ с метаданными │
└───────────────┘
Рисунок 4 - Системное видение связей между метаданными,
данными и онтологиями на примере открытых данных в RDF
Примечание: При публикации информации в форме открытых данных необходимо пользоваться общеупотребительными международными и отечественными (в случае национальной специфики той или иной области знаний) онтологиями. Часто используемые онтологии необходимо выкладывать в виде открытых данных для предоставления возможности последующего связывания наборов между собой <1>.
--------------------------------
<1> Например, недопустимо выкладывать данные с геометками, использующими закрытую систему координат.
10. Приложение 2. Классификация типов открытых данных
Классификация типов открытых данных представляется по следующим основным критериям:
- предметная область;
- формат данных;
- структура данных (линейная, иерархическая и т.д.);
- объем данных;
- способ публикации;
- способ хранения;
- периодичность обновления и актуальности данных.
|
