Информационно-методический сборник по проведению общественной экспертной оценки нормативных правовых актов, социальных проектов, государственных и муниципальных программ

10.2. Виды оценки Оценка может иметь несколько видов в зависимости от стадий и иных условий, в соответствии с которыми она проводится. Предварительная оценка (оценка программы до начала ее реализации). Задачи: анализ качества проекта программы, оценка необходимости программы для социально-экономического развития, предварительная оценка эффективности программы. Результат: выработка рекомендаций о необходимости программы и ее финансировании. Замысел программы оценивается на стадии ее разработки, и результаты оценки используются в процессе принятия решения о том, стоит ли приступать к полномасштабной реализации программы. Оценка замысла или «теории» программы должна ответить на следующие вопросы: - Насколько обоснована логика программы? - Хорошо ли сформулированы ее миссия, цель и задачи? - Аргументированы ли причинно-следственные связи в логике программы? - Какие потенциальные риски связаны с реализацией программы? - Что может не сработать так, как задумано, или сработать не совсем так? Почему? - Можно ли свести эти риски к минимуму? Если да, то каким образом? - Каковы возможные позитивные и негативные эффекты программы, являющиеся прямыми или косвенными, запланированными или непреднамеренными следствиями ее реализации? ПРИМЕР: анализ логической схемы программы – наличие всех необходимых для программы элементов и адекватность, обоснованность перехода от одного к другому. Необходимо проанализировать правильность логических выводов программы, сделанных по всей цепочке предположений и выводов, задач и результатов их выполнения: какова поставленная цель направлены ли задачи на достижение именно той цели, которая поставлена приводят ли мероприятия к тому результату, который должен быть получен вследствие выполнения задач исполняют ли мероприятия люди, обладающие именно той квалификацией, которая позволяет получить нужный результат достигается ли в результате тот самый эффект, который позволяет судить о достижении именно этой поставленной цели (и т.д.) Экспресс-оценка (проводится лицами, принимающими решения, через ознакомление с содержанием программы и заключениями экспертов, выработку мнения о степени актуальности проблемы, степени соответствия программы потребностям общества и степени влияния программы на изменение ситуации в обществе). Результат: принятие решения о финансировании. Промежуточная оценка (оценка на стадии реализации программы). Отличается от мониторинга тем, что мониторинг должен проводиться постоянно, а оценка - на ключевых этапах выполнения программы. Задачи: корректировка программы. Результат: выработка рекомендаций по изменению существенных условий программы. Обобщающая, или оценка влияния (оценка по завершении выполнения программы). Задачи: экспертиза результативности и эффективности программы, анализ причин ошибок и неудач. Результат: выработка рекомендаций по дальнейшей деятельности. 10.3. Этапы проведения оценки Основные этапы проведения оценки включают в себя следующее: 1) возникновение потребности в информации, 2) постановка задачи, 3) планирование оценки 4) сбор данных 5) анализ данных 6) подготовка отчета 7) получение «обратной связи» по результатам оценки 8) принятие решения Исходной точкой для проведения оценки является возникновение потребности в информации для принятия решений. Естественно, эта потребность возникает у вполне конкретных людей, принимающих решения. Оценка будет максимально полезной, если она сориентирована на этих людей и проводится с учетом того, как они будут пользоваться полученными результатами. Следующим шагом является преобразование возникшей потребности в задание на проведение оценки. Главным компонентом задания являются вопросы, на которые нужно ответить, чтобы получить необходимую для принятия решений информацию. Кроме того, в задании оговариваются детали проведения оценки: источники и методы сбора информации, требования к отчету, кто будет участвовать в проведении оценки, график работ, организационные вопросы, условия использования и распространения полученной информации, необходимые для проведения оценки ресурсы. На следующем этапе разрабатывают детали проведения работ и подготавливают необходимые инструменты. На этом этапе могут быть разработаны анкеты, списки вопросов для интервью, методики проведения наблюдения и т.д. На этапе сбора данных используют интервьюирование (индивидуальное и групповое), анкетирование, наблюдение, различные методы анализа документации. При сборе данных важно беспристрастно фиксировать факты, не пытаясь их интерпретировать. Главная идея разделения этапов сбора данных и анализа полученной информации заключается в том, что выводы должны базироваться не на отдельных фактах, а на их совокупности. Например, один из участников проекта может очень эмоционально и убедительно доказывать бесперспективность выполненной работы. Человек, проводящий оценку, должен воспринимать это лишь как мнение одного из участников, несмотря на убедительность приведенных доводов. Время для обобщений и выводов наступит позже, когда будут собраны мнения других участников, клиентов, представителей финансирующей организации. На этапе анализа данных совершается главное таинство: из мозаики разрозненных фактов составляется целостная картина. На основании полученных данных делаются выводы и формируются рекомендации относительно принятия того самого управленческого решения, с которого все начиналось. Выводы – это ответы на вопросы. Форма и содержание отчета о проведенной оценке определяются при согласовании задания. Главное на этом этапе – помнить о том, что отчет – важнейшая часть оценки. Отчет предназначен для тех, кто инициировал оценку, и должен быть удобен в первую очередь для них. «Обратная связь» по результатам оценки – эта наиболее волнительная для всех сторон фаза проведения оценки. Для тех, кто инициировал оценку, – это своего рода заключение об успешности работы, которой они руководили или которую финансировали. Для тех, кто проводил оценку, это экзамен на профессионализм и проверка качества выполнения задания. Для тех, чья программа оценивалась, это прелюдия к важным решениям, которые могут повлиять на будущее их организации. Оценка призвана показать программу такой, как она есть. Это значит, что сообщение о результатах может содержать и положительные, и отрицательные выводы. Как рассказать о них, не обидев людей? Как выслушать сообщение о результатах оценки без обид на тех, кто «принес плохие новости»? Последний этап – принятие решений с учетом полученной информации. 10.4. Отбор показателей для анализа причинно-следственных связей По результатам далеко не всегда можно судить о причинах, которые привели к их достижению именно в таком, а не каком-либо ином виде. Сама программа может оказывать только частичное влияние на значения показателей ее результативности. На них также влияют и внешние факторы. Это касается большинства промежуточных и в еще большей степени конечных результатов. Однако иногда можно определить показатель результативности, проливающий свет на степень влияния предоставляемых услуг на достигнутые результаты. Существует два основных подхода к его определению. 1. Попросите клиентов оценить вклад программы в отмеченные ими результаты. Например, если речь идет о программе здравоохранения, при проведении опроса клиентов им может быть задан вопрос, улучшилось ли их состояние с начала предоставления им услуги. В результате будут получены данные для показателя «число и процент клиентов, состояние которых улучшилось с начала получения услуги». Однако опрос может дать еще больше информации, если клиентов, например, попросят оценить вклад программы в улучшение их состояния. В этом случае показателем результативности будет «процент клиентов, сообщивших об улучшении, которое они в значительной степени приписывают получению услуг». 2. Если могут быть получены данные о причинах возникновения проблем (из материалов отчетов по программе или опросов клиентов), сведите эти данные в таблицу. Опрос семей может показать, какой процент семей пользуется, например, парком или библиотекой. Чтобы получить представление о причинах, задайте вопрос «почему?» тем, кто данными услугами не пользуется, предусмотрев, например, следующие варианты ответов: «неудобное расположение», «неудобное время работы», «слишком дорого», «не понравилось» или «не интересуюсь». В результате можно составить таблицу, показывающую число и долю семей, указавших на каждую из причин. Данная информация может быть использована для выработки эффективных мер. 10.5. Источники информации При проведении оценки обязательно исследуется следующее: - местная нормативная база, регулирующая вопросы разработки программ (наличие регулирующих нормативных правовых актов, четкость прописанной в них процедуры – отбор проблем, принятие решения о разработке, формирование проекта, публичные слушания, оценка проекта, утверждение, финансирование, исполнение, формирование и утверждение отчета); - соответствие порядка работы над программой установленной процедуре; - деятельность по выполнению программы; - содержание и порядок подготовки отчетных документов. 10.6. Оценка проекта (программы) Начиная проведение экспертной оценки проекта или программы, эксперту необходимо: 1. Изучить содержание документа, в отношении которого предлагается провести экспертную оценку. 2. Составить перечень нормативных правовых актов, с которыми связан или может быть связан изучаемый проект (программа) и которые нужно будет изучить в ходе проведения оценки. 3. Составить перечень вопросов, на которые нужно будет получить ответ в ходе общественной экспертизу (оценки) по следующей форме: Позиция документа (цитата) Вопрос, сформулированный на основании этой позиции Источники информации, которыми нужно будет пользоваться, чтобы получить ответ на поставленный вопрос Каким образом планируется получать информацию из этих источников 1 2 3 4 В Концепции патриотического воспитания указывается, что "патриотическое воспитание - систематическая и целенаправленная деятельность органов государственной власти, социальных институтов, общественных объединений…" (всего перечислено 17 категорий субъектов). - Каким образом перечисленные субъекты вовлечены в процесс ПВ? - Является ли участие перечисленных субъектов в ПВ обязательным, рекомендуемым, добровольным? - Какие цели и мотивы участия в ПВ имеются у перечисленных субъектов? - Каким образом происходит выбор субъектов для участия их в мероприятиях ОГВ и ОМСУ? - Как обосновывается выбор именно этих категорий субъектов? Статистическая информация Документы субъектов ПВ Информационные источники (СМИ, Интернет) Субъекты ПВ Запрос Получение документов от источников Поучение из открытых источников Анкетирование, опрос Чаще всего, в отношении содержания проекта или программы эксперт должен дать ответ на следующие вопросы: 1) насколько обоснована проблема, на решение которой направлена программа, подкреплены ли аргументы разработчиков количественными и качественными данными; 2) насколько правильно разработан цикл программной деятельности (логичен и проработан в части выполнения, правильно ли предусмотрена последовательность действий, нет ли пробелов в процедуре выполнения, каким образом будут оцениваться результаты программы); 3) могут ли быть достигнуты цели и решены задачи с помощью тех действий (мероприятий), которые собираются выполнить разработчики; 4) соответствует ли квалификация персонала тем работам, которые будут выполняться; 5) велик ли будет эффект от реализованной программы, и логично ли тратить на его достижение тот объем финансов, который запрашивается; 6) правильно ли составлен бюджет и соответствует ли он тем действиям, которые будут осуществляться при исполнении программы; 7) имеются ли в программе скрытые мотивы и намерения (т.е. истинные цели разработчиков), и насколько они могут снизить эффект от программы В отношении результатов проекта или программы эксперт должен дать ответ на следующие вопросы: насколько содержание программы соответствует интересам городского сообщества и потребностям развития города? выполнены ли все мероприятия, предусмотренные программой? каковы фактические результаты программы и как они соотносятся с ее целями? чего в соответствии с планом программы сделать не удалось и почему? эффективна ли организационная схема выполнения программы? как соотносятся средства, потраченные на выполнение программы с полученным эффектом? каков социально-экономический эффект реализации программы? и т.д. Уточняющие вопросы для проведения оценки (формирования анкет и др.) можно составлять, исходя из имеющихся материалов, например, отчетов о реализации проекта (пример – ниже). Из отчета Уточняющие вопросы, сформулированные на основе данной позиции отчета «Проведен семинар по созданию общественно – активных школ в местном сообществе.» Когда? Где именно? Как это увязано с планом? Сколько человек участвовало? Что еще можно об этом мероприятии сказать? «Работа с администрацией школ и родителями (принимало участие более 50 участников). Что это была за работа? Практически обязательным элементом экспертной оценки является анализ логической схемы проекта или программы. Для него можно использовать следующую схему, заполняя ячейки соответствующей информацией. 1. Сформулированная цель 1.1. Задачи, по смыслу направленные на выполнение цели 1.1.1. Мероприятия, по смыслу направленные на решение поставленной задачи 1.1.1.1. Прописанный результат (в каких единицах измеряется) 1.1.1.1.1. Эффект для социума (целевой группы) промежуточный вывод по логической цепочке «цель-задача-мероприятие-релуьтат» 1.1.2. Мероприятия, по смыслу не направленные на решение поставленной задачи 1.1.1.2. Прописанный результат (в каких единицах измеряется) 1.1.1.2.1. Эффект для социума (целевой группы) промежуточный вывод по логической цепочке «цель-задача-мероприятие-релуьтат» 1.2. Задачи, по смыслу не связанные с целью 1.2.1. Мероприятия, по смыслу направленные на решение поставленной задачи 1.2.1.1. Прописанный результат (в каких единицах измеряется) 1.2.1.1.1. Эффект для социума (целевой группы) промежуточный вывод по логической цепочке «цель-задача-мероприятие-релуьтат» 1.2.2. Мероприятия, по смыслу не направленные на решение поставленной задачи 1.2.2.1. Прописанный результат (в каких единицах измеряется) 1.2.2.1.1. Эффект для социума (целевой группы) промежуточный вывод по логической цепочке «цель-задача-мероприятие-релуьтат» Вывод по постановке задач (насколько они в совокупности служат достижению поставленной цели) Вывод по составу мероприятий: насколько они в совокупности способствуют решению задач и достижению цели, а также в какой части находятся за рамками смыслового поля проекта (программы) Вывод по ожидаемым результатам: насколько они соответствуют цели Вывод по эффекту: какой реальный эффект получит целевая группа или социум в целом ОБЩИЙ ВЫВОД При оценке муниципальных программ следует учитывать при разработке инструментария и плана оценки, а также выработке выводов и рекомендаций такие особенности муниципальных структур, разрабатывающих и реализующих программу: - нормативное ограничение полномочий исполнителей, - ограничение доступа к информации, связанной с деятельностью органов местной власти, - иерархичность подчинения исполнителей вышестоящему руководству, - комплексность, многоуровневость системы разрабатывающих, утверждающих, исполняющих и контролирующих органов, - взаимосвязи между оцениваемой программой и другими муниципальными отраслями и программами, - необходимость вычленения эффекта от исполнения оцениваемой программы из общего социального процесса (в котором участвуют НКО, бизнес, госорганы), - неотработанность механизма использования результатов оценки при принятии управленческих решений на местном уровне. Следует помнить, что оценка социальных проектов и программ – это не научное исследование, а управленческий инструмент. Он предназначен для принятия качественных и своевременных управленческих решений. Таким образом, оценка должна быть всецело ориентированной на выработку необходимых практических выводов и использование в практике управления городом. Рекомендации по использованию результатов оценки должны строго соответствовать выводам оценки, являясь их логическим продолжением. Они могут касаться как самой программы, так и других механизмов управления или общих социально-экономических условий, в которых развивается муниципальное или государственное образование. Рекомендации могут носить как общий (стратегический) характер, так и более частный (изменения в системе управления программой, проекты изменения организационных структур муниципалитета, проекты муниципальных нормативно-правовых актов). Для экспресс-анализа проекта или программы может быть применена следующая схема: 1. Проблематика программы Вопрос Мнение эксперта Комментарии, обоснования Предложения 1.1. Насколько обозначенная в программе проблема актуальна для жителей города? - актуальна - не совсем актуальна - не актуальна - затрудняюсь ответить 1.2. Насколько содержание мероприятий программы соответствует интересам городского сообщества и потребностям развития города? - полностью соответствует - не соответствует - не полностью соответствует - затрудняюсь ответить 1.3. Насколько верно расставлены приоритеты в реализации мероприятий по достижению поставленных целей и задач? - верно - не совсем верно - неверно - затрудняюсь ответить 2. Содержание программы как документа 2.1. Может ли решение сформулированных в программе целей и задач полностью устранить обозначенные проблемы? - да - нет - не полностью - затрудняюсь ответить 2.2. Эффективен ли предложенный механизм реализации? - да - нет - недостаточно эффективен - затрудняюсь ответить 2.3. Используя предложенные в программе показатели, возможно ли охарактеризовать, как изменилось состояние городского сообщества и насколько решена обозначенная проблема? - да - нет - систему показателей нужно пересмотреть - затрудняюсь ответить 2.4. Насколько обоснованно осуществлялось планирование и использование финансовых ресурсов (сравнить план/обоснование/ факт)? - обоснованно - не совсем обоснованно - не обоснованно - затрудняюсь ответить 2.5. Адекватны ли предложенные в программе методы оценки эффективности? - да, они позволяют оценить эффективность достижения целей и решения задач Нет - затрудняюсь ответить 2.6. Насколько адекватно осуществлен выбор исполнителей? - адекватно - Не совсем затрудняюсь ответить 3. Отчетность 3.1. Выполнены ли все мероприятия, предусмотренные программой к исполнению в отчетном периоде? - да - нет - затрудняюсь ответить 3.2. В отношении невыполненных мероприятий, можно ли согласиться с приведенными в отчете аргументами о причинах их невыполнения? - да - нет - согласен не полностью - затрудняюсь ответить 3.3. В сравнении с поставленными задачами, каков реальный социально-экономический эффект от реализации программы? - эффект равен запланированному - эффект неполный - эффект отсутствует - затрудняюсь ответить Важно понимать, что в оценке любая информация может послужить основанием для выводов. Ниже приведены два примера того, как соотнесение запланированной (из проекта) и реально осуществленной (из отчета) деятельности показывает недочеты в реализации социального проекта. Период Запланировано Сделано (согласно отчету) Март Проведение семинара для волонтеров и TV-переговорной площадки Семинар «Основы толерантности» проведен ТВ-площадка перенесена Апрель Подготовка к акции «Толерантность и право»: издание листовок, буклета и плакатов. буклет «Декларация принципов толерантности» (800 экземпляров); листовки (1 600 экземпляров); плакаты (160 экземпляров): В рамках акции изданы: буклеты (200 экземпляров); листовки (2000 экземпляров); плакаты (20 экземпляров): Май Проведение акции «Толерантность и право». Акция проведена в июне. Не было запланировано ТВ-переговорные площадки «Толерантность – признак демократического мышления» и «Язык вражды в местных СМИ в отношении социально исключенных» Сентябрь Проведение акции «Религиозная толерантность», съемка TV-переговорной площадки на эту тему. Акция проведена в октябре, ТВ-площадка не проведена. Октябрь Проведение акции «Национальная толерантность», подготовка к проведению TV-переговорной площадки. Проведена в октябре дважды.

Похожие:

	Федеральный закон от 3 июля 2009 г. «Об антикоррупционной экспертизе... В методике проведения антикоррупционной экспертизы нормативных правовых актов и проектов нормативных правовых актов, утв постановлением...		Рекомендации по проведению антикоррупционной экспертизы нормативных... Таким образом, антикоррупционная экспертиза направлена на предотвращение совершения коррупционного правонарушения путем устранения...
	Список независимых экспертов, получивших аккредитацию на проведение... ...		Методические рекомендации по порядку представления муниципальных... Обзор деятельности органов местного самоуправления Карачаево-Черкесской Республики по представлению муниципальных нормативных правовых...
	Правительства Чеченской Республики оглавление: I. Подготовка и принятие... «О регистре муниципальных нормативных правовых актов Чеченской Республики» (далее – Постановление №234) на глав муниципальных образований...		Министерство экономики свердловской области приказ Пп «О проведении оценки регулирующего воздействия проектов нормативных правовых актов Свердловской области и экспертизы нормативных...
	Правовых актов Правила проведения антикоррупционной экспертизы нормативных правовых актов и проектов нормативных правовых актов		I. Определение нормативности Разъяснение порядка представления муниципальных нормативных правовых актов и дополнительных сведений к ним для включения в регистр...
	Административный регламент Ществлению аккредитации юридических и физических лиц, изъявивших желание получить аккредитацию на проведение в качестве независимых...		Методические рекомендации по проведению оценки регулирующего воздействия... Орв) нормативных правовых актов Администрации города Екатеринбурга (далее – Методические рекомендации) разработаны с целью оказания...