Лекция №1 Открытые данные: введение Часть 1 Иван Бегтин я вначале скажу краткое вступительное слово о том, кто мы, что мы, как это началось, и о чем будет сегодняшняя лекция. Мы, то есть некоммерческое партнерство «Информационная культура»

Часть 2 Иван Бегтин Власть и раскрытие данных У меня тоже сначала будет вводная лекция, я тоже буду говорить про открытые данные. Мы с Ириной будем пересекаться в некоторых темах. Спасибо Ирине за очень интересную вводную лекцию, я, как всегда, узнаю что-то новое для себя. Но я расскажу о некоторых нюансах. И потом уже перейдем к практической части. Прежде чем начать, я вам просто расскажу  про свой последний опыт, сразу живое, с полей. Я вернулся из Краснодара. Там у меня было такое очень интересное краснодарское регулярное мероприятие. Раз в месяц, в пятницу, они собирают экспертов (иногда, правда, пятница оказывается на среду, вот как это было в прошлый раз, но, тем не менее, - это пятница и по формату, и по настроению). И там собственно департамент IT города собирает кучу экспертов, которые говорят про умный город. Я рассказывал про открытые данные. Вопрос, который мне задали, и который сразу запомнился. Вопрос-предложение: «Давайте раскрывать маршруты автобусов в реальном времени». Первая реакция была, что террористы узнают о том, как эти автобусы будут двигаться, и при случае могут взорвать. Да, это, конечно, была реакция официальных лиц, при этом, после чего мы стали с ними разговаривать, и он говорит: но слушайте, если ему подождать 5-10 минут, он все равно узнает, он просто расписание посмотрит и все равно узнает. Автобусы там очень хорошо работают, я сам несколько раз подходил к остановке, и они приходят прямо по расписанию. Вот такие вот сразу возникают, то есть аргументы из серии не было бы хуже. Другие аргументы я слышал из серии, что вот бы нам сделать избирательные участки с детальностью до дома. Вот есть какой-нибудь избирательный участок, вот у человека будет свой адрес, то есть улица и дом, и чтобы список был депутатов на муниципальном уровне, на региональном уровне, на федеральном уровне, кто куда идет, кому писать кляузы, письма и так далее. И говорят, что надо публиковать эту информацию как открытые данные. Тут уже возникает другой вопрос: что вы сделали, для того чтобы найти эту информацию? — вот ничего. То есть есть закон восьмой ФЗ, по которому можно запрашивать информацию, есть активисты в МИДе, которые это делают, т. е. например, просто специально вручную по нарисованным кругам рассчитывают по улицам, как в Австралии делали. Ну и в России. Вот Ирина мне подсказывает, что надо понимать, что мы не уникальны. Вот, как бы нам ни хотелось, чтобы у России был, там, третий-пятый-седьмой путь, неважно, - мы не уникальны. Все наши проблемы с бюрократией, с чиновниками, с корпорациями, со всеми проектами, которые не дают данные не являются уникальными. Просто везде скрывают все по-разному, у нас свои нюансы, у них свои. Убеждения и все эти отмазки, которые используют люди, которые должны передавать информацию, идентичные. Вот мне присылали список из пятидесяти отмазок, которые используют британские чиновники, чтобы не давать данные. У них перелом произошел несколько лет назад. Еще в 2005 году на каждом сайте висел копирайт “собственность короны”, сейчас его нету. Поэтому я хочу сказать, что все вот эти изменения происходят у нас. Я когда разговаривал с одним человеком, он говорил: «Ну это же война с ними, это же надо требовать, это конфликт». То есть многие бояться идти даже не на конфликт, а на то, чтобы прилагать собственные усилия. На этой жизнерадостной ноте я приступлю к своей презентации, она будет отчасти похожа на презентацию Ирины. Открытость как идеология Давайте пойдем с самого начала. Вообще открытые данные существуют, действительно, не в вакууме, не в воздухе. Вот Ирина описала одну эволюцию открытых данных, я опишу эволюцию другую, движение за открытость и свободу. Почти все из вас наверняка слышали про открытый исходный код. Этому явлению на самом деле десятки лет. Оно происходило из научных учреждений, от различных анархистов, людей, которые говорили, что весь исходный код должен быть открытым, из разных других сообществ. Огромное количество групп, так называемых “евангелистов”, которые говорят, что открытый исходный код должен быть всегда. Они под это подводят научную основу, социальную основу, идеологическую основу, даже бизнес-основу, что открытый исходный код повышает качество продуктов, и в итоге многие компании могут экономить на том, что им нет необходимости продлевать лицензии каждый год, например. И сопровождение ПО гораздо более выгодное. Много споров, но это существует. Кроме открытого исходного кода, существуют открытые стандарты. Это то, о чем мы говорили: проприетарные и непроприетарные форматы. Точно так же есть открытые стандарты, почти все протоколы интернета. В принципе интернет не мог бы существовать без открытых стандартов, без IETF, без W3C, и множества других координаций, которые они публикуют, и каждый может реализовать это. Это не патентованные форматы, их любой может использовать. Это открытая наука, то, о чем Ирина говорила, я не буду останавливаться. Открытые знания. Опять же Ирина затронула эту тему. Открытое аппаратное обеспечение. Это тема, которая пока еще мало заметна, хотя все больше. Это Arduino http://arduino.cc/, огромное количество других устройств. То есть, вам фактически не нужно покупать патентованное железо, закрытое оборудование. Если вы придумаете что-нибудь, будь то баллоны, дельтапланы, самолетики, машинки с камерами и т. д., которые выполняют еще какую-то функцию, вы можете это собрать из открытого оборудования, которое стоит буквально копейки. Вы не переплачиваете за устройство. Огромное количество движения существует вокруг этого. Есть люди, которые делают открытые тракторы, буквально открытую сельхозтехнику. Есть такая тусовка в Польше, они занимаются этим; выживальщики, т. е. люди говорят, вот мы напишем вам не просто, как выжить, а как вручную, а потом в кузне делать трактор, движок, очень много всего. Иначе говоря, это все идеология. Идеология глобальной открытости, согласно которой благодаря этой открытости мы можем создавать нечто большее. Открытое государство - это на самом деле одно из следствий. Открытые данные - это то, что можно поместить по смыслу между любым из этих понятий, но суть в том, что доступность информации баз данных в машиночитаемом виде - это точно такая же идеология, как все остальное. То есть, когда мы говорим, что, если государство создает какой либо реестр, если коммерческая компания, осуществляя те функции, которые необходимо регулировать, например, контроль за ее экологической активностью или контроль тарифов естественной монополии, собирают данные, то чтобы они там не просто это публиковали, а чтобы это было открытыми данными, чтобы мы могли это использовать, проанализировать, создавать на этом коммерческие продукты или просто осуществлять контроль за этими институтами. Поэтому первый участок определения открытых данных (хотя вы увидите много разных других) - это понимание открытых данных как движения, а движение - это люди, поэтому, в первую очередь, это идеология, и на этой идеологии собственно мы всё и делаем сейчас. От данных к знаниям Я очень люблю этот слайд, про него могу рассказывать очень долго. Обычно я сразу после него задаю вопрос. Поднимите, пожалуйста, руки, кто из вас умеет готовить. Ну, половина зала есть, прекрасно. Я думаю, что половина зала поймет мои а-ля аналогии. Представьте себе, что у вас есть стол, который усыпан овощами, фруктами, яйцами, какими-нибудь другими продуктами, на которые вы смотрите и думаете: “я могу из этого сделать и это, и это, а вот это я уже ел (или ела) вчера, а вот это я хочу съесть сейчас”. Вот я готовлю редко, но люблю в принципе. У меня товарищ профессиональный такой кулинар по рыбе, вот он готовит всегда. Он обычно раскладывает на столе кучу всего, включая специи, и думает: что же мне такого сегодня сделать? И у него шкафчик еще есть, и там всегда всего много. Это данные. Вот все, что я описывал, ингредиенты, - это данные. Данные - это не то, что вы можете съесть - вы же не будете есть соль горстями, вы же не будете есть специи или сырое мясо. Так и данные невозможно употребить напрямую. Это ингредиенты, то есть это то, из чего готовится. Следующая стадия - это информация. Это обычно то, что дают нам госорганы, другие учреждения и так далее, то есть это информация, когда какие-то первичные данные переупакованы, но они не доделаны, то есть они представлены в том формате, в котором их можно съесть, но получить от этого какое-то удовольствие затруднительно. Презентация - это когда уже эта информация представлена в том виде, что нам это в общем-то интересно, не только сытно, но и красиво, то есть не только желудок рад, но и глаза. И наконец, знания - это когда все это употреблено. Так вот, собственно, это одна из главных трансформаций: когда мы говорим, что вот эти данные становятся открытыми, что эти ингредиенты становятся доступны всем. Эти ингредиенты создаются на общественные деньги, а все, что создается на общественные деньги, мы имеем право получать. Не только те люди, которые имеют к ним эксклюзивный доступ, то есть. куриная ферма, созданная государством, должна предоставлять бесплатные яйца всем. Но это не очень хорошее сравнение, потому что это физический объект. Но открытые данные в каком-то смысле - это цифровой социализм. В отличие от тех же куриных яиц, мяса и т. д., использовать их можно неограниченно, их можно скопировать в любом количестве и использовать. Никто не имеет права нас в этом ограничить, и поэтому данные - это ингредиенты. Если кто-то вас будет спрашивать, какую они вам приносят пользу, подумайте о том, какую пользу приносят ингредиенты: из них можно что-то приготовить. Восемь принципов открытых данных Это собственно такое расширенное определение того, что такое открытые данные. В первую очередь, открытые данные отличаются от всех остальных полнотой, то есть. то, что опубликовано, является целостным: это вся информация, которая только есть. Живой пример. Правительство Москвы совсем недавно опубликовало рейтинг школ, где указан номер в рейтинге и название школы. Являются ли эти данные полными и открытыми? Не являются. Потому что хотя они и говорят, что учитывалось то-то и то-то, но никаких первичных данных по школе нету, никаких полных данных нету, сколько реально баллов получила каждая школа, на основе чего, как и что, как данные собирались, - не предоставлено. Полных данных нету. Они из того, что сделали, дали очень коротенькую выжимку, и теперь осталось гадать, потому что некоторые критерии на самом деле спорные. Для кого-то важно наличие дошкольного учреждения в школе, а кому-то оно не важно, а оно влияет на общий рейтинг; а может мне это неважно, то есть не влияет на мой личный общий рейтинг. Второй момент - первичность, то есть данные должны предоставляться ровно в той форме, как они собираются. Приведу пример. Допустим, есть какой-то государственный термометр, вот он стоит на каком-нибудь здании и транслирует непрерывно информацию. У него есть специальный протокол, он его публикует в интернете, он транслируется. А теперь представьте себе, что данные через этот термометр будут проходить так, чтобы они за день накопились, а потом приходит человек и говорит: так, 16 градусов это мало, надо написать 22, чтобы народ не бунтовал, а то будет плохо. Так вот, это данные, которые не являются первичными - это данные, которые прошли обработку. Шутка шуткой, термометр, конечно, касается в меньшей степени государства, а в большей степени коммерческих компаний, которые транслируют какую-то информацию по экологии. Первичные данные - это когда вот ровно от того датчика и ровно до нас нет никакого промежуточного звена, и те данные, которые были собраны, должны быть предоставлены. А если между ними есть звено, то мы не знаем, являются ли данные по загрязненности настоящими или нас обманывают. Это первичность. Теперь своевременность. Данные должны публиковаться сразу, как они появились, то есть если какая-то статистика появилась, вы должны ее получить не через полгода, а желательно уже в следующем месяце. Если данные были размещены в каком-нибудь государственном реестре или в частном реестре, то вы должны, опять же, получить это не через год и не через какое-то время, а сразу же, то есть как только они возникли. Доступность - это обеспечение возможности, чтобы в принципе вы могли бы их скачать и получить свободным образом. Пригодность к машинной обработке - это то, о чем упоминала Ирина. CSV, XML, XLS форматы, много всего. Отсутствие дискриминации по доступу - это значит, что не только пользователи Google Chrome должны иметь возможность скачать эти файлы, но и даже те, кто пострадали от Internet Explorer’а. Та же возможность их скачать должна быть и у всех остальных людей, у которых есть те или иные технические и личные ограничения. Отсутствие пропритарных форматов. Эта часть пересекается с доступностью. Но, т. е. фактически, несмотря на то, что большинство занимают позицию соглашательства и публикуют, например, в форматах Excel, вообще это не рекомендуется, и все стараются постепенно от этого уходить и этого избегать. Лицензионная чистота, опять же, на всех уровнях: у вас не должно быть ограничений на использование данных в коммерческих или некоммерческих целях. Для этого используют лицензию Creative Commons и во всяких экзотических случаях придумывают свои. Некоторые страны типа США и Великобритания несколько лет назад написали: Используйте это как хотите, только если вы не из Ливии или другой страны террориста. Как будто их это останавливало. Но вот есть такие пункты, так что, если вы увидите их в какой-нибудь государственной лицензии, то как раз по этой причине. Почему все делают ЭТО? Ну давайте начнем с того, а почему все делают это, почему люди вообще этим занимаются. Первое — государственная политика открытых систем. Это к вопросу о том, почему это происходит у нас. Государства в большинстве стран мира, мы не исключение, принимают стратегию, в которой постоянно говорят красивые слова: прозрачность, подотчетность, открытость. Иногда, конечно, мы относимся к этому с некоторым сомнением. Я, честно говоря, в шоке до сих пор от некоторых шагов, которые предпринимаются там. Российская открытость по госзакупкам, например, при всех ее проблемах, превосходит разумные пределы иногда, потому что раскрывается сильно больше, чем принято раскрывать в мире. Степень раскрытости информации по госучреждениям сейчас на новых порталах тоже огромная, в некоторых случаях информация крайне доступная, в некоторых случаях информации, наоборот, недостаточно, но государственная политика открытости - это не пустое слово. То есть реально очень многие данные раскрываются, либо они уже существуют в машиночитаемом виде, либо их получение пока затруднено. Проблем очень много, но де-факто это существует и де-факто это декларируется. Далее, государственная политика инноваций. Инновации, опять же, - это то, на что можно ссылаться, говоря про открытые данные. Открытые данные — это экономика знаний. Компании, которые используют их - это все компании из экономики знаний. Яндекс бы не существовал, не будь ни открытых данных и свободы доступа к информации. Если бы каждый сайт был закрыт паролем или доступ к нему был бы только по подписи (пришел расписался и получил доступ в сайт), то тогда бы поисковые системы не существовали, и крупнейшие новостные каналы-агрегаторы бы не существовали. Огромное количество информационного бизнеса просто бы исчезло. И государство, когда декларирует свою политику открытых данных, оно декларирует и политику инновационную, и вы это еще не раз услышите, в этом есть доля разумности, хотя пока примеров не так много, тем не менее, это очень правильно. Международные обязательства. Мы, другие страны - все подписываем всякие декларации, всякие международные петиции, международные законы и международные хартии. Совсем недавно, в июне месяце, Владимир Путин подписал Хартию об открытых данных G8. Это вот такой шаг довольно-таки исторический, то есть фактически Россия продекларировала свою готовность к тому, чтобы открытые данные были по умолчанию. Притом что, скажем честно, в большинстве стран мира далеко необязательно международные обязательства исполняются, не только в России, а в принципе. Но это некоторая претензия на то, что государство к этому готово. Как правило, после того как первые лица это подписывают, возникает куча активистов внутри страны, которые говорят: ну мы же подписали, давайте, давайте откройте наконец-то! Собственно, отчасти это делаем и мы. Если там написано, что криминальную статистику надо открывать, то начинается: “Ура, ура, наконец-то Путин это подписал, давайте откроем криминальную статистику”. То есть это всегда некий повод сказать: «Вот есть некие международные обязательства, давайте их выполнять».

Похожие:

	Лекция №17 77 Синдром воспаления 77 Лекция №18 80 Синдром воспаления... Хирургический метод лечения имеет большое значение в клинической медицине. Одну четверть заболеваний составляют хирургические болезни....		Лекция религии современных неписьменных народов: человек и его мир... Редактор Т. Липкина Художник Л. Чинёное Корректор Г. Казакова Компьютерная верстка М. Егоровой
	2. Лекция: "Общие критерии", часть Основные идеи 8 Лекция: Обзор наиболее важных стандартов и спецификаций в области информационной безопасности 3		Лекция №5 Налогообложение общественных организаций инвалидов (часть... Жением. В связи с этим, пятая лекция будет посвящена также вопросам налогового законодательства: налог на прибыль, налог на имущество,...
	Лекция 10. Международное сотрудничество в ОРД лекция 11. Проблемы... Спецкурс «Актуальные вопросы оперативно-розыскной деятельности» как открытая учебная дисциплина представляет устоявшуюся систему...		Date: 16. 01. 2016 Subject Что вы видите? Да, правильно. Это письмо. А вы знаете как будет на английском слово письмо?
	Есть множество книг, которые учат тому, что нужно делать специалисту... Как это делать. Эта книга как раз о том, как соединить маркетинговую теорию с реальной жизнью коммерческого предприятия и добиться...		В саморегулируемой организации некоммерческое партнёрство «тюменское... Некоммерческое партнёрство «Тюменское партнёрство кадастровых инженеров» (далее–Партнёрство), устанавливает требования к членам Партнёрства,...
	Статья 13. Пункт 2 Это небольшая инструкция для тех, у кого подобное случается. Заранее скажу, что не стоит хамить и кричать на сотрудников полиции,...		Некоммерческое Партнерство «Гильдия строителей Республики Марий Эл» Целью контроля является выявление и предупреждение нарушений требований, установленных в отношении юридических лиц и индивидуальных...