« МИНИСТЕРСТВО КУЛЬТУРЫ РОССИЙСКОЙ ФЕДЕРАЦИИ Отчет по научно-исследовательской работе ...»

Вместе с тем, 45% экспертов видят доходность учреждений культуры в денежных поступлениях от оказанных услуг. Такая же доля экспертов считает, что при этом еще необходимо оценивать в денежном эквиваленте другие направления деятельности учреждений культуры (рис.6).

Рис. 6. Распределение мнений экспертов относительно видов доходов учреждений культуры

Что касается ответов респондентов на вопросы о конкретных методах, методиках, способах, подходах к анализу эффективности деятельности организаций и учреждений культуры, то результаты их анализа позволили сделать вывод о том, что в значительной своей части специалистам сферы культуры не знакомы современные методы оценки эффективности деятельности бюджетных организаций в целом, и особенно – организаций и учреждений сферы культуры. Так, из 20 специалистов, согласившихся принять участие в анкетировании, только 8 (40% опрошенных) ответили, что им известны те или иные теоретические подходы к оценке экономической эффективности деятельности предприятий сферы культуры, а 5 (25%) назвали конкретные методы оценки эффективности, применяемые для организаций сферы культуры. При этом все они в качестве основного метода, применяемого на практике, назвали методику оценки показателей эффективности на основе проектного подхода (система несбалансированных показателей).

Данное обстоятельство свидетельствует о недостатках в системе подготовки кадров руководящих работников и ключевых специалистов системы Министерства культуры Российской Федерации и целесообразности усиления внимания в учебных курсах отраслевых вузов к вопросам не только эстетической роли культуры в жизни современного человека, но и к вопросам прагматики культуры и ее влияния на социальные отношения.

Еще одним важнейшим аспектом, обеспечивающим успешность внедрения методов оценки эффективности деятельности учреждений культуры в повседневную практику, является роль руководства в проведении анализа эффективности деятельности организаций и учреждений культуры. Управленческие решения должны иллюстрировать готовность руководства в объективной оценке показателей эффективности деятельности учреждений культуры, а также демонстрировать готовность проводить улучшения на основе проведенной оценки. Кроме того, руководство должны быть гарантированы необходимые ресурсы для проведения оценки эффективности на высоком профессиональном уровне.

В ходе интервьюирования в дополнение к предложенным на экспертизу ведомственным методам оценки эффективности организаций и учреждений культуры, выявленным разработчиками анкеты, экспертами были названы следующие методики:

• методика сравнительной оценки деятельности организаций и учреждений культуры Л.Э. Зелениной и Г.Л. Тульчинского;
• методические рекомендации по оценке эффективности музыкальных театров и концертных организаций, разработанные Т.А.Клявиной и Ю.Б.Большаковой.

Анализ иных называвшихся экспертами методик показал, что по своей сути они представляют собой несбалансированные системы показателей, разработанные для частных случаев применения. В связи с тем, что методология программно-целевого проектирования и соответствующая ей методика оценки эффективности реализации проектов на основе несбалансированной системы показателей уже была учтена разработчиками НИР, частные приложения этой методики для конкретных реализаций отдельно не рассматривались и не выделялись.

Подавляющее большинство участников анкетирования (95% при 5% воздержавшихся) согласны в принципе с возможностью разработки методики оценки эффективности деятельности учреждений культуры (рис.7). Но относительно того, какие количественные показатели необходимо включать в критерии оценки эффективности, мнения различались по разным типам учреждений культуры (рис.8).

Рис. 7. Распределение мнений экспертов по вопросу возможности разработки в принципе методики оценки эффективности деятельности учреждения культуры

Что касается показателей эффективности деятельности учреждений культуры, то экспертами было высказано много предложений, касающихся иных показателей, помимо представленных в анкете ее разработчиками (рис.8). В числе показателей эффективности дополнительно были названы:

1. Количество мероприятий, проведенных учреждением культуры, и охват ими населения;
2. Качество художественного продукта и потенциальная доступность его получения (в том числе и ценовая);
3. Объем оказанных населению бесплатных социальных услуг;
4. Доходы от спонсорских пожертвований, гранты;
5. Наличие сайта и его посещаемость;
6. Оказание услуг в электронном виде;
7. Состояние материально-технической базы учреждения культуры для оказания услуг населению;
8. Социальные показатели мультипликативного эффекта деятельности учреждений культуры (например, снижение потребления алкоголя населением, снижение уровня преступности и др.);
9. Суммарный отклик посетителей, в т.ч. через рефлексию в сети Интернет;
10. Наличие разработанных проектов и программ развития учреждения;
11. Количество клубных формирований и их участников (специфично для КДУ);
12. Количество коллективов со званием «народный», «образцовый» (специфично для КДУ);
13. Объем и состояние единиц книжного фонда (специфично для библиотек);
14. Объем книговыдачи; число удаленных пользователей; число интернет-посещений библиотеки; число повторных обращений интернет-пользователей (специфично для библиотек).

Рис. 8. Показатели эффективности деятельности разных типов учреждений культуры, выделенные экспертами в процессе интервьюирования

Относительно мнения о возможности разработки комплексной методики оценки, пригодной для оценки эффективности деятельности нескольких типов учреждений культуры, то здесь эксперты оказались не так единодушны, как в вопросе возможности существования такой методики в принципе. Их мнения разделились почти поровну: 50% признают возможность создания такой методики, 45% считают это невозможным (рис.9).

Что касается мнений о возможных направлениях монетизации услуг учреждений культуры, то обращает на себя внимание тот факт, что подавляющее большинство экспертов (85%) высказались против повышения стоимости услуг учреждений культуры. А наиболее популярным предложением по источникам дополнительных доходов учреждениями культуры (65% ответов) оказалась продажа хорошо иллюстрированных книг, компакт-дисков, DVD и других материалов об истории учреждения культуры и его фондах хранения (рис.10).

Рис. 9. Мнения экспертов о возможности разработки комплексной методики, пригодной для оценки эффективности нескольких типов учреждений культуры (не менее двух)

Рис. 10. Основные направления монетизации услуг учреждений культуры

Индивидуальные мнения, комментарии и предложения экспертов по различным вопросам анкеты систематизированы в приложении к настоящему отчету.

4. СУЩЕСТВУЮЩИЕ МЕТОДИКИ И ПРЕДЛАГАЕМЫЕ МЕТОДЫ АНАЛИЗА ЭФФЕКТИВНОСТИ ОРГАНИЗАЦИЙ И УЧРЕЖДЕНИЙ СФЕРЫ КУЛЬТУРЫ: КРАТКОЕ ОПИСАНИЕ И СРАВНИТЕЛЬНЫЙ АНАЛИЗ

4.1. Классификация методик и методических приемов, ориентированных на анализ эффективности организаций и учреждений культуры

Результаты анализа документальных источников, проведенного в процессе выполнения научно-исследовательской работы, позволили выделить следующие методики, которые либо непосредственно рекомендованы для использования в деятельности организаций и учреждений культуры, либо разработаны в рамках смежных отраслей экономики и социальной сферы, но были адаптированы впоследствии для применения в деятельности государственных учреждений и организаций культуры:

• различные системы несбалансированных показателей, используемые в рамках метода программно-целевого управления сферой культуры;
• система оценки сбалансированных показателей Balanced Scorecard (BSC);
• модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Common Assessment Framework (CAF).
• модель оценки эффективности деятельности бюджетных учреждений на основе интегральных показателей О.А.Заббаровой;
• методика оценки эффективности деятельности учреждений культурно-досугового типа;
• методика измерения социальной эффективности библиотек по продвижению чтения среди населения Российской Федерации, предложенная Кузьминым Е.И., Орловой Э.А., Урминой И.А.;
• экономико-символический подход к оценке эффективности культуры.

В ходе проведенного интервьюирования эксперты дополнили этот список следующими методиками:

• методика сравнительной оценки деятельности организаций и учреждений культуры Л.Э. Зелениной и Г.Л. Тульчинского;
• методические рекомендации по оценке эффективности музыкальных театров и концертных организаций, разработанные Т.А. Клявиной и Ю.Б. Большаковой.

Все выделенные в процессе проведенного научного исследования методы оценки эффективности деятельности учреждений культуры по степени их общности можно разделить на 4 большие группы: международные, межведомственные, отраслевые (в границах сферы культуры) и специальные.

Международные методы оценки анализа эффективности деятельности организаций и учреждений разработаны зарубежными исследовательскими центрами и консалтинговыми компаниями для использования в различных сферах экономики и социальной жизни, в том числе и сфере культуры. Как правило, отличаются высоким уровнем структурирования и формализации и наличием методических руководств по их внедрению использованию и использованию в организациях и учреждениях.

Рис. 11. Классификация методов оценки эффективности организаций и учреждений культуры

Межведомственные методики разработаны отечественными экономистами, специализирующимися на деятельности предприятий социальной сферы, и распространяются на российские организации и учреждения, предоставляющие населению социальные услуги.

Отраслевые методики ориентированы на анализ деятельности всех организаций и учреждений культуры или значительной группы таких учреждений, а специальные – только на один тип организаций и учреждений культуры.

Классификация методик и методов оценки эффективности деятельности организаций и учреждений культуры приведена на рис.11. Ниже приводится краткое описание выделенных методов.

4.2. Проектный подход к оценке эффективности культуры

В условиях внедрения на государственном уровне концепции программно-целевого планирования и управления, базирующейся на проектном подходе, стандарты и методология оценки эффективности проектов становятся определяющими при подведении итогов реализации целевых программ, в том числе и в сфере культуры. В частности, необходимость внедрения в практическую деятельность Правительства Российской Федерации, федеральных органов исполнительной власти, органов исполнительной власти субъектов Российской Федерации и подведомственных государственных органов и организаций методов и процедур управления, ориентированного на результат, и проектного управления регламентировала Концепция административной реформы в РФ (Постановление № 1789-р от 25.10.2005 г.) (раздел «Управление по результатам»).

Под проектом понимается временное предприятие, предназначенное для создания уникальных продуктов, услуг или результатов. Временный характер проекта означает, что у любого проекта есть определенное начало и завершение. Завершение наступает, когда достигнуты цели проекта; или признано, что цели проекта не будут или не могут быть достигнуты; или исчезла необходимость в проекте. Эпитет «временный» не обязательно предполагает краткую длительность проекта и, как правило, не относится к создаваемому в ходе проекта продукту, услуге или результату. Большинство проектов предпринимается для достижения устойчивого, длительного результата.

В крупных организациях, осуществляющих проектное управление, управление проектами существует в более широком контексте, который регулируется управлением программами.

Программа представляет собой ряд связанных друг с другом проектов, управление которыми координируется для достижения результатов и степени управляемости, недоступных при управлении проектами по отдельности. Программы могут содержать элементы работ, имеющих к ним отношение, но лежащих за пределами содержания отдельных проектов программы. Проект может быть или не быть частью программы, но программа всегда содержит проекты.

При планировании и реализации проектов встает задача оценки их эффективности. При этом различают две разновидности такой оценки:

• оценка эффективности реализации проектов, организуемых в виде комплексов мероприятий;
• оценка эффективности результатов реализации проектов.

Под эффективностью проекта понимается свойство проекта, которое характеризует его приспособленность давать требуемые результаты (эффекты) в процессе своего выполнения и/или по его завершении. Оценка эффективности реализации проекта осуществляется путем сопоставления реально достигнутых значений показателей из перечня показателей, определенных в качестве базовых при инициализации проекта, с их контрольными значениями, которые должны быть достигнуты по условиям реализации проекта к соответствующему моменту времени в будущем (к окончанию проекта в целом или одного из его контрольных этапов). В приложении к настоящему отчету приведен перечень показателей и критериев, применяемых или планируемых для применения органами управления культурой Российской Федерации для оценки эффективности отечественной культуры.

Оценка эффективности результатов реализации проекта заключается в анализе последствий реализации проекта, которые возникают тогда, когда продукт проекта становится доступным и обладает в той или иной степени набором свойств, заданных на этапе определения границ проекта. В соответствии с ([35], с.349 – 356) результат анализа последствий получения продукта проекта предлагается проводить посредством сравнения того, что было бы, если бы продукт не был бы доступен по завершении проекта, по сравнению с тем, когда продукт с заданными характеристиками стал доступным для использования. ^[12]

Результат анализа последствий реализации проекта может быть использован для управления конфигурацией проекта в интересах достижения целей, которые ставятся в рамках реализации проекта и управления собственно проектными мероприятиями. При этом для реализации возможностей управления, ориентированного на результат, необходимо разработать:

• метод обоснования показателей оценки последствий реализации проектов и программ как с точки зрения создания продукта программы, так и с точки зрения собственно реализации проекта;
• методическое обеспечение прогнозирования последствий выполнения проектов (программ) на основе выбранных показателей в зависимости от заданных ограничений и предположений (рисков и возможностей), возможных сценариев реализации проектов;
• методическое обеспечение нахождения оптимального плана управления проектом и конфигурацией продукта проекта с учетом выбранных показателей оценки последствий реализации проектов.

Принятие проектного подхода в качестве основы управленческой деятельности государственных учреждений стимулировало разработку формализованных методик оценки эффективности их работы. Например, в Министерстве культуры Российской Федерации разработаны методики, позволяющие формализовать оценку эффективности реализации федеральной целевой программы «Культура России (2012 – 2018 годы)» и эффективность деятельности учреждений культурно-досугового типа субъектов Российской Федерации. В целях обобщения и систематизации прагматических подходов к анализу эффективности реализации отраслевых мероприятий и деятельности учреждений культуры далее приводится краткое описание этих методик.

Методика оценки эффективности реализации федеральной целевой программы «Культура России (2012 - 2018 годы)». Оценка эффективности реализации федеральной целевой программы «Культура России (2012 – 2018 годы)» проводится ежегодно на основе использования системы целевых индикаторов и показателей по приоритетным направлениям Программы (см. Приложение, табл.1).

Оценка текущей эффективности реализации Программы производится путем сравнения фактически достигнутых значений целевых индикаторов за соответствующий год с утвержденными на год значениями целевых индикаторов. Эффективность реализации Программы оценивается как степень фактического достижения целевых индикаторов по формуле:

(2)

где,

E – эффективность реализации Программы (процентов);

Iф1 и Iф2 – значения целевых индикаторов, достигнутые в ходе реализации Программы;

Iп1 и Iп2 – значения целевых индикаторов, утвержденные Программой.

Оценка текущей эффективности реализации Программы по различным ее направлениям производится путем сравнения фактически достигнутых показателей Программы за соответствующий год с утвержденными на год значениями целевых показателей Программы. Эффективность реализации Программы по различным ее направлениям оценивается как степень фактического достижения целевых показателей программы по формуле:

(3)

где,

E1 – эффективность реализации Программы (процентов);

Iф3 и Iф4 – значения показателей, достигнутые в ходе реализации Программы;

Iп3 и Iп4 – значения показателей, утвержденные Программой;

n – количество показателей Программы.

Методика оценки эффективности деятельности учреждения культурно-досугового типа разработана Департаментом Генерального секретариата Министерства культуры Российской Федерации совместно с ООО «БАЛТАУДИТЭКСПЕРТ/Консалтинг». Впервые она была предложена руководителям министерств культуры субъектов Российской Федерации на XIII заседании Координационного совета по культуре при Министерстве культуры РФ, которое проходило 28 и 29 марта 2011 года в Москве. Методика разрабатывалась с целью учета социальных и экономических результатов деятельности КДУ.

В перечень показателей социальной эффективности деятельности культурно-досуговых учреждений включены следующие переменные:

1. Посещаемость платных культурно-досуговых мероприятий, проводимых государственными и муниципальными учреждениями культуры в отчетном году;
2. Динамика посещаемости платных культурно-досуговых мероприятий, проводимых государственными и муниципальными учреждениями культуры в отчетном году по отношению к предшествующему;
3. Количество культурно-досуговых мероприятий на одно клубное учреждение в отчетном году;
4. Доля социально-значимых культурно-досуговых мероприятий от общего числа проводимых мероприятий в отчетном году.

К показателям экономической эффективности деятельности культурно-досуговых учреждений отнесены:

1. Средняя цена одного посещения платного мероприятия в КДУ за отчетный год;
2. Средняя цена одного посещения платного мероприятия в КДУ за отчетный год;
3. Доля КДУ, соответствующих требованиям по материально-технической оснащенности, от общего числа КДУ в субъекте Российской Федерации за отчетный год;
4. Доля покрытия расходов КДУ доходами от основных видов уставной деятельности за отчетный год.

Основные источники для сбора исходных данных:

1. Форма № 7-НК, утвержденная постановлением Росстата от 11.07.2005 № 43 «Об утверждении статистического инструментария для организации Роскультурой статистического наблюдения за деятельностью организаций культуры, искусства и кинематографии»;
2. Форма «Свод годовых сведений об учреждениях культурно-досугового типа системы Минкультуры России», утвержденная приказом Минкультуры РФ от 11.09.2003 № 1199;
3. Данные отчетов территориального органа Федеральной службы государственной статистики за отчетный год об основных показателях, характеризующих социально-экономическое положение субъекта Российской Федерации.

Для производства расчетов из указанных источников выбираются следующие данные:

1. Число посетителей платных культурно-досуговых мероприятий в субъекте Российской Федерации в отчетном году;
2. Среднегодовая численность населения субъекта Российской Федерации в отчетном году;
3. Число посетителей платных культурно-досуговых мероприятий в субъекте Российской Федерации за год, предшествующий отчетному;
4. Среднегодовая численность населения субъекта Российской Федерации в году, предшествующем отчетному;
5. Число культурно-досуговых мероприятий в отчетном году;
6. Число учреждений культурно-досугового типа в субъекте Российской Федерации в отчетном году;
7. Расходы КДУ всего в отчетном году;
8. Расходы КДУ на социально значимые мероприятия за отчетный год;
9. Поступило в КДУ за отчетный год от основных видов уставной деятельности;
10. Число культурно-досуговых мероприятий на платной основе за отчетный год;
11. Среднемесячная номинальная начисленная заработная плата в отчетном году по субъекту Российской Федерации;
12. Число учреждений культурно-досугового типа в субъекте Российской Федерации в отчетном году, соответствующих нормативам материально-технического оснащения;
13. Поступления за отчетный год от предпринимательской деятельности;
14. Посещаемость платных культурно-досуговых мероприятий, проводимых государственными (муниципальными) учреждениями культуры в предшествующем отчетному году.

Раздел 2 «Система показателей оценки эффективности деятельности КДУ и алгоритм производства расчетов показателей эффективности деятельности КДУ» Методических рекомендаций по применению методики оценки эффективности деятельности учреждений культурно-досугового типа субъектов Российской Федерации содержит расчетные формулы, которые позволяют на основе исходных данных определить показатели социальной и экономической эффективности деятельности КДУ.

4.3. Оценка эффективности деятельности учреждений культуры на основе методики BSC

Наряду с проектным подходом, использующим в качестве оценки эффективности реализации проекта достижение необходимых проектных показателей, в сфере культуры широкое внимание уделяется использованию стандартных методик, в основе которых лежит не объем услуг, предоставленных населению за определенный период времени, а полнота удовлетворения общественных потребностей. Одна из таких методик – Common Assessment Framework – уже упоминалась в разд.1. Помимо этого, Е.Н.Ивановой в [16] рассматривается вопрос применимости для анализа эффективности деятельности библиотечных учреждений системы оценки сбалансированных показателей Balanced Scorecard (BSC), которая изначально была разработана в интересах комплексной оценки деятельности коммерческих предприятий. ^[13]

Система анализа информации для принятия управленческих решений Balanced Scorecard (BSC) была разработана в 1992 году американскими специалистами в области менеджмента Р. Капланом и Д. Нортом. Базовая идея концепции BSC – в сжатой, структурированной форме, в виде системы показателей представить менеджменту самую важную для него информацию. Эта информация, с одной стороны, должна быть компактной, а с другой стороны, должна отражать все основные стороны деятельности компании. Традиционно руководители управляют бизнесом, ориентируясь, в основном, на значения финансовых показателей (прибыль, денежный поток, рентабельность капитала и др.), но Balanced Scorecard как система показателей демонстрирует важность использования нефинансовых показателей (число постоянных клиентов, индекс удовлетворенности клиентов, средний срок выполнения заказа, доля брака, текучесть кадров и т.д.).

В классическом варианте этой концепции вся информация, необходимая руководителю для принятия решений, разбивается на четыре взаимосвязанных блока (т.н. «перспективы») – «Финансы / Экономика», «Рынок / Клиенты», «Бизнес-процессы» и «Инфраструктура / Сотрудники» (см. рис.12). Таким образом, руководитель получает возможность управлять системой, ориентируясь на значения индикаторов, сгруппированных по четырем взаимосвязанным блокам.

Рис. 12. Базовая схема системы Balanced Scorecard

Одна из базовых идей, положенных в основу системы Balanced Scorecard – это идея измеримости. Все факторы, важные для управления предприятием, должны быть так или иначе измерены и представлены в виде показателей (индикаторов). Девиз концепции – If you can’t measure it, you can’t manage it («Если Вы не можете это измерить, значит, Вы не можете этим управлять»). Традиционно, финансовые показатели в системе Balanced Scorecard считаются «поздними» (когда реагировать уже поздно), а показатели, относящиеся к перспективам «Рынок / Клиенты», «Бизнес-процессы» и «Инфраструктура / Сотрудники», рассматриваются как «упреждающие» (есть возможность реагировать своевременно).

В рамках модели Balanced Scorecard четыре упомянутых блока связываются между собой стратегической причинно-следственной цепочкой – квалифицированные, мотивированные, сплоченные в единую команду сотрудники, использую развитую инфраструктуру (информационные системы, оборудование, технологии), обеспечивают необходимое системе качество бизнес-процессов. Отлаженные бизнес-процессы (низкий процент брака, быстрая обработка и выполнение заказа клиента, качественная сервисная поддержка) обеспечивают удовлетворенность клиентов, достижение конкурентных преимуществ и успех компании на рынке. Маркетинговые успехи компании, в свою очередь, служат залогом ее финансовых успехов. Обратная цепочка модели Balanced Scorecard раскручивается в обратную сторону следующим образом: причины неудовлетворительных значений финансово-экономических показателей следует искать в блоке «Рынок / Клиенты», неудовлетворенность клиентов означает наличие проблем в блоке «Бизнес-процессы», а корни проблем с бизнес-процессами находятся в блоке «Инфраструктура / Сотрудники» (см. рис.13).

Рис. 13. Причинно-следственные связи в системе Balanced Scorecard

Использование в процессе принятия решений не только финансовой информации, но и информации о ситуации на рынке, информации о времени, стоимости и качестве выполняемых в компании процессов, а также информации о сотрудниках, есть реализация идея «сбалансированности».

Если говорить об индикаторах, которые используется для измерения перспективы «Финансы / Экономика», то наряду с такими традиционными показателями, как объем продаж, прибыль, денежный поток, коэффициенты рентабельности, ликвидности, оборачиваемости, в последнее время все большую популярность набирает такой показатель, как стоимость компании (англ. Value).

Перспектива «Рынок / Клиенты» содержит информацию об отношении клиентов к компании, а также о динамике рынка (изменение спроса на продукты, рост рынка, конкурентная ситуация). Типовыми показателями, используемыми для измерения перспективы «Рынок / Клиенты» можно считать долю рынка, число новых клиентов, число постоянных клиентов, индекс удовлетворенности клиентов (на основе опроса), объем повторных продаж, соотношение выручки и затрат на маркетинг, обеспеченность заказами в днях, конкурентоспособность компании (в баллах).

Перспектива «Бизнес-процессы» призвана измерить эффективность выполняемых в компании бизнес-процессов и характеризуется, как правило, ярко выраженной отраслевой спецификой. К числу типовых индикаторов по этой перспективе можно отнести средний срок обработки и выполнения заказа, долю брака, число рекламаций, отклонение план/факт по затратам, долю своевременных поставок, среднее время и стоимость выполнения отдельных процессов, производительность труда, показатели оборачиваемости (склада, дебиторской задолженности, кредиторской задолженности).

Перспектива «Инфраструктура \ Сотрудники» предназначена для оценки обеспеченности компании необходимой инфраструктурой (оборудование, здания, программное обеспечение, базы данных и информации) и человеческим капиталом. К числу типовых показателей можно отнести степень изношенности мощностей (как инфраструктуры, так и человеческого капитала), степень автоматизации отдельных процессов, текучесть кадров, затраты на персонал (заработная плата и повышение квалификации), индекс удовлетворенности персонала.

Пример системы показателей на основе методологии Balanced Scorecard представлен на рис.14.

Рис. 14. Пример системы показателей Balanced Scorecard

В настоящее время методология Balanced Scorecard используется библиотеками ряда стран мира для измерения эффективности своей деятельности. В частности, начиная с середины 1990-х годов, на основе BSC проводятся исследования в национальной библиотеке Австралии, системе университетских библиотек Германии, Ближневосточном технологическом университете Турции. Один из первых проектов в мире по использованию BSC для измерения эффективности предоставляемых библиотеками услуг был разработан совместно университетской и региональной библиотеками г.Мюнстера в партнерстве с государственной библиотекой Баварии и университетской библиотекой Бремена. Это три наиболее крупные системы библиотек в Германии, значительно отличающиеся друг от друга по условиям и характеру предоставляемых услуг.

В проведении исследований по измерению эффективности деятельности библиотек имеются свои особенности. В частности, приходится признать, что библиотека часто достигает высокого уровня качества и удовлетворенности пользователя, несмотря на неэффективное использование ресурсов. Такое положение достаточно распространено в тех случаях, когда библиотека является крупным хранителем уникального культурного ресурса, при этом библиотеке нет особой необходимости в развитии новых сервисов. Библиотека в данном случае является рантье, живущим на проценты с наследства. Такой библиотеке нет необходимости предоставлять экономически эффективные сервисы, но она должна заботиться о том, чтобы предоставленные услуги приносили наибольшую пользу основной группе пользователей.

Совсем иная ситуация обстоит с библиотеками среднего уровня, не обладающими уникальными коллекциями и предоставляющими примерно одинаковые услуги. Низкие затраты на обслуживание, а, следовательно, снижение качества обслуживания, повлекут за собой низкую удовлетворенность. Большое количество выполненных запросов пользователей может означать некорректность ответов, а низкие расходы на пользование читальными залами могут быть следствием недостаточности помещений и плохого отопления.

Затраты на библиотечный сервис должны всегда рассматриваться в тесной связи с качеством и уровнем эффективности того же сервиса. Например, «затраты на ответ на запрос» должны рассматриваться в связи с индикатором «показатель получения корректного ответа», а, возможно, и «удовлетворенность пользователя персоналом справочной службы». При таком подходе библиотекам удастся избежать опасности стать однотипными, пренебрегающими качеством сервиса и реальными потребностями, игнорирующими интересы пользователей ради экономии. Знания и о качестве, и о стоимости библиотечных сервисов требуются для принятия руководством правильных решений о расстановке приоритетов и распределении ресурсов.

Р. Полл и П.Т. Бокхорст выделяют следующие типы индикаторов в соответствии с технологическим характером библиотечных операций (см. [27]).

1. Охват пользователей.
2. Соответствие расписания работы библиотеки потребностям пользователей.
3. Экспертные оценки.
4. Использование коллекции.
5. Использование коллекций по предметным областям.
6. Неиспользуемые документы.
7. Поиск по названию.
8. Поиск по предметной рубрике.
9. Оперативность комплектования.
10. Оперативность обработки книг.
11. Доступность.
12. Время доставки документа.
13. Оперативность МБА.
14. Показатель получения корректного ответа.
15. Обслуживание удаленных пользователей.
16. Удовлетворенность пользователя.
17. Пользовательская удовлетворенность сервисами, предоставляемыми удаленно. ^[14]

Из данного списка следует, что для разработки индикаторов эффективности работы библиотечных учреждений необходимо четкое разграничение и детерминация технологических функций. Предварительным этапом к исследованию должно быть изучение технологических процессов, что в значительной мере затрудняет унификацию. Следующая проблема состоит в том, что достаточно сложно сделать анализ всего массива, так как статистические данные не всегда лежат на поверхности. Например, в США с этой целью существуют консалтинговые компании, которые проводят статистические исследования в библиотеках.

4.4. Оценка эффективности деятельности учреждений культуры на основе модели CAF

В 2000 году Европейским институтом административного управления (European Institute of Public Administration, EIPA) была разработана модель оценки менеджмента в организациях, финансируемых из государственного или муниципального бюджета – Общая схема оценки (Common Assessment Framework, CAF). Модель разработана под эгидой Инновационной группы по вопросам публичной службы (IPSG) и рабочей группы национальных экспертов, формируемой Генеральным директоратом Еврокомиссии с целью стимулирования обмена и распространения лучшего опыта по модернизации систем предоставления государственных услуг и услуг бюджетных организаций в странах-членах ЕС. Модель CAF используется в программах реформирования государственного и муниципального управления 27 европейских стран, для сравнительного анализа систем управления европейских государств, а также для выявления и распространения передового опыта.

Модель CAF представляет собой простой инструмент, помогающий организациям бюджетной сферы применять для повышения эффективности своей деятельности методы менеджмента качества. Она предназначена для использования во всех организациях, финансируемых из бюджетов различных уровней: федерального, регионального, местного.

Развитие модели CAF преследует четыре главных цели:

1. Внедрение в сферу административного управления принципов менеджмента качества и содействие их развертыванию.
2. Предоставление механизма для самооценки организации с целью диагностирования и улучшения ее деятельности.
3. Обеспечение взаимосвязи между различными моделями менеджмента качества.
4. Обмен опытом между организациями бюджетной сферы и изучение лучшей практики.

Хотя CAF фокусируется на оценке административного менеджмента, ее конечной целью является улучшение государственного управления.

Преимущества модели CAF:

1. Определение сильных сторон организации и первоочередных направлений для улучшения деятельности.
2. Разработка программы действий по проведению улучшений.
3. Улучшение внутренних связей и взаимопонимания в организации.
4. Вовлечение персонала в решение проблем повышения качества.

По сравнению с более сложными моделями тотального управления качеством (Total Quality Management – TQM), CAF является дружественной для начального уровня внедрения. Организации, освоившие CAF и намеренные совершенствовать свое административное управление дальше, как правило, выбирают модель более высокого уровня. При этом, несомненным преимуществом CAF является совместимость с большинством этих моделей, а общая схема оценки может быть первым шагом для организаций, желающих основывать свою деятельность на принципах управления качеством.

CAF является универсальной моделью и допускает возможность адаптации к специфическим требованиям пользователей модели, но изменения не должны затрагивать базовую структуру CAF – 9 критериев, 28 составляющих и систему оценки.

Графическая схема CAF представляет собой девять прямоугольников, которые определяют структуру критериев модели и являются основой самооценки деятельности организации. Критерии объединены в две группы. Группа «Возможности» объединяет критерии 1 – 5, которые описывают деятельность организации и подходы, используемые организацией для достижения желаемых результатов. Группа критериев «Результаты» (критерии 6 – 9) определяет показатели деятельности организации (показатели восприятия и внутренние индикаторы) для сотрудников организации, граждан/потребителей, общества в целом, а также основные результаты этой деятельности.

Каждый критерий модели объединяет несколько составляющих. 28 составляющих определяют приоритетные области, которые должны быть оценены при анализе деятельности организации. Каждая составляющая содержит предполагаемые области для оценки, которые помогают определить, отвечает ли деятельность организации требованиям данной составляющей.

Рис. 15. Структура модели CAF

Перечень критериев модели CAF с описанием их назначения приведен в табл.1. Структура критериев с перечнем составляющих этих критериев и примерами составляющих описана в приложении к настоящему отчету.

Оценка составляющих первых пяти критериев происходит на основе оценочных таблиц для группы «Возможности». Начиная с критерия 6, акцент в оценке сделан на результатах, которые достигла организация, используя имеющиеся возможности. Оценка составляющих критериев 6 – 9 происходит на основе оценочных таблиц для группы «Результаты».

Табл. 1. Критерии CAF и их назначение

№№ п/п	Критерий	Описание критерия
Возможности
1.	Лидерство	Критерий оценивает: как руководители определяют миссию своей организации, вырабатывают стратегию развития и способствуют ее реализации; как они формируют ценности, необходимые для достижения долгосрочного успеха, и внедряют их с помощью соответствующих мероприятий и личного примера; насколько они вовлечены в процессы, обеспечивающие улучшение качества предоставляемых организацией услуг
2.	Стратегия и планирование	Критерий оценивает, как организация реализует свое предназначение и стратегию развития, цели, планы и задачи, ориентируясь на нужды и ожидания потребителей своих услуг: граждан, бизнеса, некоммерческих и иных организаций, органов государственной власти различных уровней, общества в целом. Организация должна постоянно отслеживать достижение стратегических целей и актуализировать их по мере необходимости.
3.	Персонал	Критерий оценивает, на каких принципах строится работа с кадрами в организации, как развиваются и используются знания и потенциал работников, распределяются обязанности внутри коллектива для обеспечения эффективной деятельности
4.	Партнерства и ресурсы	Критерий определяет, каким образом строятся взаимоотношения с внешними партнерами и как планируются и управляются внутренние ресурсы для обеспечения эффективного функционирования организации.
5.	Процессы	Критерий определяет, как регламентируются, управляются и совершенствуются процессы, осуществляемые организацией с целью максимально эффективного удовлетворения нужд и ожиданий всех заинтересованных сторон
Результаты
6.	Результаты для потребителей / граждан	Критерий определяет результаты в отношении удовлетворения интересов граждан и других групп потребителей: заинтересованных организаций (коммерческих, общественных, политических и иных), смежных организаций
7.	Результаты для персонала	Критерий оценивает результаты в отношении удовлетворения интересов и потребностей работников
8.	Результаты для общества	Критерий определяет результаты в отношении удовлетворения интересов общества на местном, региональном, национальном и мировом уровнях
9.	Ключевые результаты	Критерий определяет существенные измеримые результаты, достигнутые организацией при реализации стратегических и текущих планов, включая решение политических задач

Модель CAF является не только оценочной схемой различных аспектов деятельности организации, она также предполагает, что все ее элементы взаимосвязаны и оказывают воздействие друг на друга. В структуре модели установлены следующие внутренние связи:

• причинно-следственная связь между левой частью (возможности - причины) и правой частью (результаты - следствия);
• системная связь между причинами (возможностями).

Взаимосвязь между левой и правой частями модели представляет собой причинно-следственную связь между возможностями (причинами) и результатами (следствиями), а также обратную связь от следствия к причинам. Изучение причинно-следственных связей является ключевым элементом самооценки, когда должна четко прослеживаться зависимость между достигнутым результатом и использованными возможностями. Хотя подобные зависимости не всегда легко обнаружить, наличие обратной связи – от результатов, находящихся в правой части модели, к соответствующим возможностям, выраженным пятью критериям слева – должно учитываться при проведении оценки.

Взаимосвязь между критериями и составляющими группы «возможности» должна приниматься во внимание при проведении самооценки потому, что качество результатов организации в большой степени определяется соотношением ее возможностей. Внутренние взаимосвязи каждой организации носят индивидуальный характер, что определяет качество самой организации. Например, лучшие организации характеризуются сильными взаимодействиями между критерием 1 и критериями 2/3/4, между критерием 3 и критериями 4/5. Взаимосвязи возможностей не ограничиваются уровнем критериев, часто существенное взаимодействие происходит на уровне составляющих.

Модель CAF предполагает количественную оценку системы управления в организациях, финансируемых из государственного или муниципального бюджета, путем присвоения баллов каждому критерию и составляющей критерия. Оценивание в баллах каждого критерия и составляющей модели CAF преследует 4 главных цели:

1. Предоставить информацию для определения направлений, где необходимы первоочередные улучшения.
2. Измерить собственный прогресс, проводя оценку по критериям CAF ежегодно или раз в два года.
3. Определять в качестве успешного опыта направления, по которым получены наивысшие баллы.
4. Помогать находить партнеров для эталонного сопоставления (бенчмаркинга) и изучения лучшего опыта.

Модель CAF предлагает две схемы оценки: классическую и развернутую. Классическая схема оценки CAF помогает организации начать знакомство с методологией непрерывного улучшения. Развернутая оценка по CAF предназначена для организаций, которые желают провести более детальный анализ составляющих модели. Обе схемы позволяют оценить каждую составляющую в контексте четырех стадий цикла непрерывного улучшения PDCA (Plan–Do–Check–Act – Планирование–Выполнение–Проверка–Воздействие). Цикл PDCA является фундаментом обеих схем оценки. В отличие от классической 5-балльной оценочной шкалы, развернутая шкала оценки представляет собой 100-балльную систему оценки, как это принято в измерительных системах многих других мировых моделей.

Оценка возможностей организации по классической схеме выполняется в следующем порядке:

• выбор очередной составляющей критерия;
• определение достигнутого организацией уровня состояния дел, определяемого данной составляющей: планирование, выполнение, проверка или воздействие. Причем, данная последовательность не должна быть нарушена. Нельзя перейти на уровень «воздействие», миновав уровень «проверка»;
• формирование оценки, руководствуясь интервалом для достигнутого уровня в рамках 100-балльной шкалы (табл.2). Эта оценка будет указывать на степень реализации имеющихся возможностей.

Табл. 2. Классическая схема оценки критериев и составляющих группы «Возможности»

Фаза	Выполняемые работы	Оценка	Уровень
	Организация не ведет деятельности по данному направлению В организации не имеется информации, или информации недостаточно	0 – 10	0
Планирование (P)	Организация планирует развивать данное направление	11 – 30	1
Выполнение (D)	Организация ведет деятельность по данному направлению	31 – 50	2
Проверка (C)	Организация оценивает / анализирует то, что делает в данном направлении	51 – 70	3
Воздействие (A)	На основе оценки и анализа организация пересматривает используемые подходы, если это необходимо	71 – 90	4
PDCA1)	Организация планирует, выполняет, контролирует и регулярно корректирует деятельность в данном направлении, учится у других и непрерывно совершенствует свои подходы	91 – 100	5

Примечание: 1). Уровень оценки возможностей, соответствующий фазе PDCA, достигается только в том случае, когда неотъемлемой частью процесса совершенствования в организации является бенчмаркинг.

Оценка результатов, достигнутых организацией по каждой составляющей, согласно классической схеме выполняется в следующем порядке:

• выбрать очередную составляющую критерия;
• оценить от 0 до 100 каждую составляющую критерия в разрезе 6 уровней (в соответствии с табл.3). Для определения уровня можно учитывать как динамику результатов (тенденции), так и степень их достижения, или оба эти показателя вместе.

Табл. 3. Классическая схема оценки критериев и составляющих группы «Результаты»

Достигнутые результаты	Оценка	Уровень
Нет измеримых результатов и/или нет достоверной информации	0 – 10	0
Результаты измеряются и показывают негативные тенденции и/или результаты не соответствуют установленным	11 – 30	1
Результаты показывают слабые тенденции к росту и/или некоторые цели достигнуты	31 – 50	2
Результаты показывают тенденции к улучшению и/или большинство целей достигнуто	51 – 70	3
Результаты показывают устойчивый прогресс и/или все установленные цели достигнуты	71 – 90	4
Достигнуты наилучшие результаты. Все цели достигнуты. Все ключевые результаты лучше, чем у других организаций	91 – 100	5

Развернутая схема оценки является более приближенной к действительности, т.к. является менее формализованной (например, многие организации выполняют свои функции (вторая стадия – «Выполнение»), но при этом недостаточно внимания уделяют планированию (первая стадия – «Планирование»). Среди других особенностей данной схемы:

1. Для группы «Возможности» четыре стадии PDCA рассматриваются не как последовательность действий по улучшению, а именно как повторяющийся цикл совершенствования, и сами улучшения могут касаться любой из стадий «Планирование–Выполнение–Проверка–Воздействие».
2. Изучение лучшей практики, как правило, происходит на основе анализа наивысших результатов для каждой из стадий.
3. Эта схема оценки позволяет получить большее количество информации относительно областей, где необходимо проводить первоочередные улучшения.
4. Таблица оценки результатов (табл.4) указывает, на что необходимо сделать акцент при планировании улучшений – на изменение тенденций или на достижении целей.

Оценка возможностей организации по развернутой схеме выполняется в следующем порядке:

• изучить определение каждой из четырех стадий «Планирование–Выполнение–Проверка–Воздействие»;
• найти свидетельства сильных и слабых сторон по каждой из 28 составляющих модели, оценить составляющую в соответствии со стадиями цикла PDCA, используя шкалу состояний. Выставленный балл должен подтверждаться примером из практической деятельности организации. Для каждой из четырех оценочных стадий может быть приведено несколько свидетельств, соответствующих различным оценкам по шкале состояний. В этом случае для каждой из стадий («Планирование–Выполнение–Проверка–Воздействие») вычисляется среднее значение.
• вычислить сумму четырех оценок по стадиям PDCA и разделить получившееся значение на 4, чтобы получить оценку по составляющей группы «Возможности», исходя из максимума в 100 баллов.

Табл. 4. Результаты схема оценки критериев и составляющих группы «Возможности»

Фаза	Шкала	0 - 10	11 - 30	31 - 50	51 - 70	71 - 90	91 - 100
	Свидетельства	Нет свидетельств или лишь отдаленные подтверждения	Отдельные слабые свидетельства по нескольким направлениям	Отдельные хорошие свидетельства по важным направлениям	Основательные свидетельства по большинству направлений	Значительные свидетельства по всем направлениям	Наилучшие свидетельства по сравнению с другими органами власти по всем направлениям
Планирование	Планирование основано на требованиях и ожиданиях заинтересованных сторон. Планы разрабатываются регулярно для всех направлений деятельности
	Оценка
Выполнение	Деятельность осуществляется на основе регламентированных процессов и установленных зон ответственности по всем направлениям деятельности
	Оценка
Проверка	Проводится мониторинг всех процессов на основе установленных показателей, процессы по всем направлениям деятельности регулярно пересматриваются
	Оценка
Воздействие	Корректирующие и улучшающие действия предпринимаются регулярного на основе измерения результатов по всем направлениям деятельности
	Оценка
Итого/400
Оценка/100

Оценка результатов организации по развернутой схеме выполняется в следующем порядке:

• рассмотреть отдельно динамику результатов организации за последние 3 года и цели, достигнутые в прошлом году;
• оценить тенденции по шкале от 0 до 100 в соответствии с шестью состояниями (табл.5);
• оценить степень достижения целей прошлого года по шкале от 0 до 100 через в соответствии с теми же шестью состояниями;
• вычислить сумму оценок тенденций и целей, разделить получившееся значение на 2, чтобы получить оценку по составляющей группы «Результаты», исходя из максимума в 100 баллов.

Табл. 5. Развернутая схема оценки критериев и составляющих группы «Результаты»

Шкала	0 - 10	11 - 30	31 - 50	51 - 70	71 - 90		91 - 100
Тенденции	Не измеряются	Негативные тенденции	Слабые тенденции к росту	Устойчивый рост	Большой рост		Лучшие показатели по сравнению с другими организациями
Оценка
Цели	Нет или мало данных	Результаты не отвечают целям	Достигнуты немногие цели	Некоторые важные цели достигнуты	Большинство важных целей достигнуто		Все цели достигнуты
Оценка
Итого/200
Оценка/100