Применение метода сводн ы х показателей для оценки качества профессиональной подготовки специалистов
САНКТ-ПЕТЕРБУРГСКИЙ ГОСУДАРСТВЕННыЙ УНИВЕРСИТЕТ
На правах рукописи
ВАСЕНЕВ ЮРИЙ БОРИСОВИЧ
ПРИМЕНЕНИЕ МЕТОДА СВОДНыХ ПОКАЗАТЕЛЕЙ ДЛЯ ОЦЕНКИ КАЧЕСТВА ПРОФЕССИОНАЛЬНОЙ ПОДГОТОВКИ СПЕЦИАЛИСТОВ
Специальность 08.00.13 – Математические и инструментальные методы экономики
АВТОРЕФЕРАТ
диссертации на соискание ученой степени кандидата экономических наук
САНКТ-ПЕТЕРБУРГ
2009
Работа выполнена на кафедре экономической кибернетики экономического факультета Санкт-Петербургского государственного университета
Научный руководитель: доктор физико-математических наук, профессор Хованов Николай Васильевич
Официальные оппоненты: доктор экономических наук, профессор
Дуболазов Виктор Андреевич
кандидат экономических наук, доцент
Нименья Инга Николаевна
Ведущая организация: Санкт-Петербургский государственный
университет экономики и финансов
Защита состоится 30 сентября 2009 г. в ___ часов 00 мин. на заседании
Совета Д 212.232.34 по защите докторских и кандидатских диссертаций при Санкт-Петербургском государственном университете
по адресу: 191123, Санкт-Петербург, ул. Чайковского, д.62, ауд. 415.
С диссертацией можно ознакомиться в научной библиотеке им. А.М. Горького Санкт-Петербургского государственного университета.
Автореферат разослан «_____» 2009 г.
| Ученый секретарь | кандидат экономических наук |
| Диссертационного совета | доцент В.И. Капусткин |
ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ
Актуальность темы исследования. Тему диссертационной работы, связанную с использованием математических и инструментальных методов экономики для оценки качества профессиональной подготовки специалистов, получающих высшее образование, необходимо рассматривать в контексте развития человеческого капитала в целях обеспечения инновационного пути развития России.
На расширенном заседании Государственного совета Российской Федерации по теме «О стратегии развития России до 2020 года» (4 февраля 2008 г.) будущее развитие экономики страны было напрямую связано с развитием человеческого потенциала (капитала) работников всех сфер экономики и управления. Было отмечено, что без масштабных инвестиций в человеческий капитал невозможен переход на инновационный путь развития, что делает управление развитием этого вида капитала страны национальным приоритетом России. Поэтому, развитие национальной системы образования становится ключевым элементом глобальной конкуренции в мире и одной из наиболее важных жизненных ценностей.
Важным направлением решения поставленной задачи развития человеческого потенциала работников является обеспечение высокого качества образования. Во всём мире в настоящее время повышение качества образования – это не только задача государственного уровня, за решение которой отвечают правительства, министерства образования, это в первую очередь задача самих вузов, которые по мере развития рынка образовательных услуг и обострения конкуренции вынуждены искать дополнительные конкурентные преимущества. «Качество высшего образования, – отмечалось в Коммюнике Конференции министров высшего образования Европы (Берлин, 19 сентября 2003 г.), – является краеугольным камнем в создании общеевропейского пространства высшего образования».
Для стран – участниц Болонского процесса, к числу которых принадлежит и Россия, внедрение эффективных систем обеспечения качества образования является обязательным требованием. В этой связи обостряется потребность в стандартизации процессов оценки образования и результатов деятельности образовательных учреждений на основе разработки экономико-математических методов.
В условиях нарастающей конкуренции на образовательном рынке, для вузов, в первую очередь ведущих вузов, становится важным поиск новых механизмов и способов контроля и управления качеством, обеспечивающих студентам гарантии высокого уровня их образования. Можно говорить о том, что в современном мире повсеместно доминирует парадигма управления качеством: разработка образовательных стандартов и руководств для оценки качества образования становится общей тенденцией. Эти стандарты и руководства призваны оказывать помощь и поддержку вузам в разработке собственных систем обеспечения качества, но не предполагают их буквальное исполнение и не должны интерпретироваться как предписания, не подлежащие изменениям.
Таким образом, вполне очевидна актуальность темы диссертации, посвященной использованию экономико-математических методов многокритериального оценивания качества профессиональной подготовки специалистов, качества образовательных программ, учебных курсов, читаемых в университете, и качества функционирования университетских учебных подразделений.
Цели исследования. Исходя из представления учебного процесса как комплекса процедур изменения уровня «человеческого капитала» студентов и учитывая существующие нормативные документы, регламентирующие процессы обучения:
- проанализировать возможность применения альтернативных методов свёртки для получения сводных оценок качества различных компонентов учебного процесса, учитывая неопределенность задания значений и значимости отдельных характеристик учебного процесса;
- апробировать выбранный метод свёртки на примерах решения некоторых задач мониторинга качества образовательного процесса в Санкт-Петербургском государственном университете, используя разработанные модели и методики построения сводных оценок.
Основные задачи диссертационной работы. Для достижения поставленных целей необходимо решить следующие задачи:
1) разработать концепцию оценки уровня качества человеческого капитала на основе теории измерения потребительской ценности сложных экономических благ в контексте проблем обучения специалиста в высшем учебном заведении;
2) разработать модель построения сводных оценок потребительской ценности экономических благ по иерархической системе показателей;
3) обосновать возможность применения метода рандомизированных сводных показателей (МРСП) для решения задачи оценки уровня качества различных компонентов учебного процесса;
4) разработать модель учета нечисловой, неточной и неполной экспертной информации о значимости отдельных показателей потребительской ценности сложных экономических благ на примере магистерских программ;
5) применить МРСП для оценки магистерских программ Санкт-Петербургского государственного университета по разработанной иерархической системе показателей;
6) разработать конкретные инструментальные методики оценки различных компонентов учебного процесса (уровня качества подготовки студентов, магистерских программ, эффективности деятельности кафедр), реализующие на ЭВМ различные модификации метода рандомизированных сводных показателей.
Объект и предмет исследования. Объектом исследования является образовательный процесс, идущий на кафедрах и факультетах классического университета в условиях перехода на активные формы и методы обучения при введении образовательных стандартов нового поколения. Предметом исследования являются вопросы оценки показателей качества компонентов учебного процесса (подготовки студентов, эффективности работы кафедр, образовательных программ и т.д.) при помощи экономико-математических методов.
Теоретическая и методологическая основа исследования. В основе диссертационного исследования лежат методы системного анализа сложных социально-экономических систем, теории вероятности и математической статистики, экспертных оценок, анализа и синтеза сводных показателей, а также нормативно-правовые акты, регулирующие образовательный процесс в Российской Федерации.
Научная новизна исследования. Научная новизна диссертационной работы заключается в разработке нового комплекса экономико-математических моделей и методик оценки качества компонент учебного процесса. Научная новизна диссертации определяется следующими основными результатами:
1) создана новая единая модель оценки качества разных компонентов образовательного процесса (студентов, преподавателей, кафедр, образовательных программ и т.д.), основанная на понятии потребительной ценности человеческого капитала;
2) разработана новая конкретная методика оценки интегральных показателей качества компонентов учебного процесса, построенная на основе общего метода сводных показателей (МСП) А.Н. Крылова и модели оценки качества компонентов образовательного процесса, учитывающая особенности конкретных частных показателей качества рассматриваемых компонентов;
3) сформулирована новая модификация метода рандомизированных сводных показателей (МРСП), отличающаяся от традиционного МРСП возможностью работать не только с фиксированным множеством исходных характеристик качества, но и с иерархической системой характеристик и сводных показателей качества;
4) обоснована новая инструментальная методика, реализующая алгоритмы модифицированного метода рандомизированных сводных показателей, для использования при оценке уровня качества магистерских программ.
Практическая значимость работы. Создана локальная система качества (ЛСК) «Автоматизированная подсистема оценивания и управления качеством магистерских программ» (АПО УК МП), реализованная в форме программной надстройки MS EXCEL 2007 и MS EXCEL 2003, в 2007 г. в рамках Проекта № 28 «Комплекс магистерских программ по направлению «Экономика» Приоритетного национального проекта «Образование»: Инновационная образовательная среда в классическом университете». Имеются справки об успешном внедрении разработанной АПО УК МП на ряде факультетов СПбГУ.
Публикации. Основные результаты и выводы диссертационной работы представлены в 29 работах, опубликованных в научных изданиях, две из которых входят в список изданий, рекомендованных ВАК.
Апробация работы. Основные результаты и выводы диссертационной работы докладывались автором: 1) на совместной конференции Координационного совета и Совета УМО вузов в области инновационных междисциплинарных образовательных программ (СПбГУ, 2005); 2) на международной научной конференции «Экономическое развитие: теория и практика» (СПбГУ, 2007); 3) на научно-методической конференции «Магистратура: состояние и перспективы» (СПбГУ, 2007 и 2008); 4) на 6-й международной научно-методической конференции «Управление качеством в современном вузе» (СПбМБИ, 2008); 5) на заседании кафедры экономической кибернетики экономического факультета СПбГУ (2008); 6) на 2-й Всероссийской научно-практической конференции «Менеджмент качества в образовании» (СПбГТУ - ЛЭТИ, 2009).
Структура и объём диссертации. Цели и задачи диссертационного исследования обусловили структуру диссертационной работы, которая состоит из введения, трех глав, заключения, списка литературы и приложения. Общий объём основного текста содержит 141 стр., 28 таблиц, и 14 рисунков; приложение содержит 11 стр. Список использованных источников включает 132 наименования.
ОСНОВНОЕ СОДЕРЖАНИЕ РАБОТЫ
Во Введении обосновывается актуальность темы исследования, формулируются цель и задачи диссертационной работы, её теоретико-методологическая база и научная новизна.
В первой главе демонстрируется связь понятия «экономическое благо» с понятием «качество образования»; анализируются три основных аспекта ценности экономического блага (потребительная, затратная и меновая ценность), соответствующие трем видам экономических субъектов (потребитель, производитель и посредник). Предлагается экономическая модель, в рамках которой «человеческий капитал», т.е. комплекс знаний, умений и навыков, полученных выпускником высшего учебного заведения, может трактоваться как экономическое благо, являющееся «продуктом» совместной деятельности студента и вуза, поступающим на рынок квалифицированного труда. Вуз, в этой схеме, с некоторым допущением – фактически является производителем вышеназванного блага. Потребителем этого блага может быть любая организация (в том числе и сам вуз), заинтересованная в квалифицированных кадрах с определенным человеческим капиталом. В качестве посредника могут выступать специальные агентства, фирмы и т.д.
В первом параграфе первой главы рассматривается категория «качество», применительно к высшему образованию. При этом общее качество высшего образования определяется системой частных «качеств»: содержание образования, применяемые образовательные программы, кадровый потенциал, учебные технологии, материально-техническая база, способности студентов, руководство вузом и т.д.
В ГОСТ Р ИСО 9000-2001 (и последующих версиях) системы менеджмента качества (Основные положения и словарь), качество определяется как степень соответствия присущих объекту характеристик установленным требованиям; при этом объект понимается достаточно широко: как продукция, услуги, процесс, система, научно–педагогический состав, обучающиеся, образовательные стандарты и программы и т.д.
Тесная связь понятий качества и потребительной ценности, признаваемая многими специалистами, позволяет широко использовать квалиметрические подходы, в частности, метод сводных показателей (МСП) А.Н. Крылова, для оценки потребительского качества сложных объектов различной природы, в том числе качества компонентов образовательного процесса высшей школы.
Основными участниками учебно-воспитательного процесса в вузе являются преподаватель и студент (обучаемый) (см. рис. 1). В схеме отношений «преподаватель-студент» студента можно рассматривать как потребителя благ; пополняющих его человеческий капитал, преподавателя, кафедру – как производителя этих благ, а деканат, ректорат – как посредника, организатора процесса развития человеческого капитала обучаемого.
Рисунок 1. Взаимосвязь основных участников учебного процесса
Обобщенную модель процесса образования на уровне преподаватель – обучаемый можно анализировать, используя кибернетический подход к описанию функционирования сложной системы управления. В данной модели процесса обучения и воспитания управляемой величиной (Хвых) являются знания, умения, навыки и компетенции, которые приобретает обучаемый. В качестве входной величины (Хвх) служат: государственные образовательные стандарты (ГОС ВПО), учебные планы, программы учебных дисциплин, другие нормативные и методические материалы вуза, определяющие содержание подготовки обучаемого.
В качестве элемента управления выступает преподаватель, который трансформирует требования ГОС ВПО в знания, умения, навыки и компетенции, которые должны приобрести обучаемые в ходе обучения, и передает им эти знания (управляемую величину) путем прямого воздействия на обучаемого или через технические средства обучения (ТСО). Преподаватель оценивает отклонение управляемой величины от заданного уровня, путем прямого общения с обучаемым или с использованием технических средств контроля (ТСК). При этом он воздействует на обучающихся таким образом, чтобы свести это отклонение к нулю: Х = Хвх– Хвых 0.
Преподаватель в процессе трансформации требований нормативных документов, информации различных источников по конкретной дисциплине, фактически производит добавочную ценность, которая в итоге аккумулируется в виде знаний, умений, навыков и компетенций у конкретного студента – носителя человеческого капитала.
Важную роль в управлении качеством образования играют рейтинговые системы, стимулирующие познавательную деятельность и творческую активность студентов, так как пополнение человеческого капитала студентов происходит не «само по себе», а при определённых их интеллектуальных усилиях. Иными словами, студенты также производят добавочную ценность, совместно с преподавателем, под его руководством и контролем, пополняя свой человеческий капитал.
Во втором параграфе первой главы проведён исторический обзор концепций «человеческого капитала». Существует большое количество определений человеческого капитала. В дальнейшем «человеческий капитал» понимается как определенный «запас» здоровья и совокупности способностей, знаний, навыков, компетенций и мотиваций, применение которых способствует росту производства каждого экономического субъекта страны и её национального богатства в целом. Предполагается также, что человеческий капитал влияет на рост доходов (заработков) своего носителя, получившего то или иное образование. По мнению, удостоенного Нобелевской премии по экономике в 1979 г., Т.Шульца: «Образование – это одна из форм человеческого капитала. Она является человеческой, потому что становится частью человека, и она – капитал, поскольку представляет собой источник будущих удовлетворений или будущих заработков, либо того и другого вместе».
Очевидно, что образование – самый весомый актив человеческого капитала, поскольку качество образования переходит в качество человека и «отпечатывается» в нем, превращаясь в человеческий капитал. Качество образования по конкретной основной образовательной программе выражается через требования к образовательной среде и к обучающемуся, представленные в форме комплекса обязательных компетенций, знаний, умений и навыков выпускника вуза.
Коллегия Минобрнауки России в своем решении от 01.02.2007 предложила ректорам вузов «развернуть работу по совершенствованию технологий реализации образовательных программ, ориентированных на гарантии качества подготовки специалистов на основе создания механизмов эффективного освоения студентами компетенций, необходимых в профессиональной деятельности».
Анализ международных и российских нормативных документов в области образования показывает, что при формировании человеческого капитала на этапе обучения его носителя в вузе, существенными являются два взаимосвязанных механизма действующих в вузе: 1) механизм управления качеством вуза, включающий в себя систему измерения и оценивания качества различных компонентов учебного процесса; 2) механизм активизации и повышения эффективности текущей учебы обучающихся, в том числе балльно-рейтинговые системы.
Первый механизм направлен на формирование научно-образовательной, профессиональной и социокультурной среды, создающей условия, необходимые для профессионального образования и всестороннего развития личности, т.е. на создание необходимой внешней среды, окружающей обучающегося. Второй же механизм направлен на стимулирование личности к постоянному, активному освоению образовательной программы и на поддержанию интереса (мотивации) к учебе, т.е. на создание соответствующей внутренней среды в сознании обучающегося.
В данном параграфе обосновывается также компромиссный подход к формированию среды, в которой находится студент во время его обучения в вузе, путем постепенного наращивания системы управления качеством вуза модулями, представляющими собой локальные системы качества (ЛСК) с ограниченными целями, выполненными в виде экономико-математических моделей различных компонентов учебного процесса. Компактность ЛСК модульной организации позволяет их внедрять различным структурным подразделениям вуза (факультетам, кафедрам) по мере готовности подразделений к внедрению данной системы качества. Набор таких модулей должен перекрывать по целям всё множество целей, преследуемых вузом.
В третьем параграфе первой главы обосновывается необходимость создания системы измерений качества компонентов образовательного процесса. Обосновывается использование для измерения качественных характеристик (показателей) компонентов учебного процесса ординальных шкал (шкал порядка). Результаты измерений должны в максимально возможной степени исключать неоднозначность их интерпретации. Для этого измеряемый процесс (вид деятельности, объект, образовательная программа) должен быть представлен в виде иерархии более детальных уровней, на которых получение однозначных оценок не представляет трудности.
С учётом Берлинского (2003 г.) Коммюнике, характеризуются нынешнее состояние внешней и внутренней оценки деятельности вузов, проводится анализ существующих моделей управления качеством подготовки специалистов и показываются различие и общие принципы, характерные для систем менеджмента качества и моделей совершенства, используемых в вузах. Приведена характеристика используемых в вузах видов оценок и показана их взаимосвязь с рейтинговыми системами как элементом второго механизма, ответственного за качество среды обучения, используемыми для оценки различных видов деятельности вуза, а также текущей, промежуточной и итоговой работы студентов.
Во второй главе на конкретных примерах оценки качества объектов образовательного процесса демонстрируется применение различных (альтернативных) классов моделей обработки измерений (оценки) качества сложных систем (объектов), основанных на агрегировании (свёртке) показателей, характеризующих эти объекты.
В первом параграфе второй главы описывается содержание задач оценки качества деятельности кафедр, качества магистерских программ, а также задачи построения рейтингов компонентов образовательного процесса. Для оценки учитываемых видов деятельности кафедр разработаны квалиметрические шкалы с различным количеством опорных точек, для которых устанавливается соответствие между качеством того или иного вида деятельности и числом (оценкой). Измерение в данном случае заключается в подборе правила, наиболее реально отражающего качество рассматриваемого вида деятельности.
Здесь же приведены формы для сбора информации о магистерских программах (МП) и набор правил, с помощью которых осуществляется оценивание МП по квалиметрическим шкалам.
Во втором параграфе второй главы описан порядок построения разработанных автором различных матричных моделей, в частности, модели оценки качества деятельности кафедр и модели оценки качества магистерских программ с демонстрацией их работы на тестовых примерах.
Анализ работы экспертов по эвристическому подбору весов видов деятельности, весов оценок при решении задачи оценки качества деятельности кафедр, весов показателей качества МП, а также неоднократное моделирование ситуаций с данными наборами весов для выбора их оптимального соотношения, показал, что это достаточно сложные и трудоемкие процедуры. Кроме того, необходимость использования самих экспертов, их предварительное обучение, также затрудняет применение матричных моделей. Выбор весовых коэффициентов является наиболее ответственным и трудным этапом построения сводного показателя качества так как, обычно, исследователю не известны точные числовые значения весов. В последнее время для решения этой задачи всё более часто привлекается разработанный профессором СПбГУ Н.В. Ховановым общий метод рандомизированных сводных показателей (МРСП), являющийся обобщением и развитием рассмотренного выше метода сводных показателей (МСП) А.Н. Крылова.
Поэтому в третьем параграфе второй главы обосновывается возможность применения МРСП для решении задач оценки качества компонентов образовательного процесса. МРСП позволяет моделировать неопределенность выбора вектора весовых коэффициентов 
из множества всех допустимых весовых векторов при помощи вектора 
случайных весовых коэффициентов, распределение которых зависит от учитываемой нечисловой экспертной информации 
. Подставляя случайные «веса» в формулу аддитивного сводного показателя, получаем для каждого вектора 
значений отдельных показателей 
качества 
-го объекта (j-го компонента образовательного процесса) рандомизированный сводный показатель 
качества.
С помощью МРСП возможно моделирование ситуации при дефиците информации, включая случаи полной неопределенности, на всех этапах синтеза оценок. Обычно у исследователя имеется некоторая информация о значимости отдельных показателей, входящих в сводный показатель. Наиболее устойчивой и простой для восприятия является нечисловая ординальная (порядковая) информация, формализуемая при помощи системы равенств и неравенств вида 
, 
, 
для весовых коэффициентов 
. Другой вид информации, иногда доступной эксперту, есть неточная (интервальная) информация, формализуемая при помощи неравенств вида ai
i
вi, i=1,…m, где 0
ai
вi
1.
Наличие дополнительной, в том числе, и нечисловой информации, позволяет существенно повысить точность сводной оценки и сократить время решения задачи.
В третьей главе приводится разработанная на основе моделей измерения и оценки качества компонентов образовательного процесса, описанных в параграфе 1.3 и главе 2, модель оценки качества этих компонентов (см. §3.1). Демонстрируется также (на примере оценки магистерских программ) работа конкретной методики построения сводной оценки качества компонентов образовательного процесса (см. §3.1 и Приложение). Обсуждаются вопросы построения рейтинговых систем (для целей совершенствования образовательного процесса, повышения его эффективности, результативности и качества), а также проблемы построения сводных показателей для иерархических систем индексов качества компонентов образовательного процесса (см. §3.2).
В первом параграфе третьей главы автором разработана модификация метода рандомизированных сводных показателей, отличающаяся от известной простейшей модели МРСП использованием схемы последовательного синтеза сводных показателей качества, представленных в виде иерархической системы исходных характеристик и индексов качества. Там же приводится конкретная методика построения сводной оценки качества компонентов образовательного процесса по иерархической системе оценок.
Применение в диссертационной работе нормирующих функций и иерархической системы анализа сводных показателей, позволило впервые (в данной предметной области) реализовать в рамках единой модели возможность учета как числовых, так и квалиметрических показателей компонентов учебного процесса.
Методической основой создания такой синтезирующей модели послужило использование нормализации исходных данных (что дало возможность обрабатывать данные разнообразной природы и размерности), а также применение рандомизированных весовых коэффициентов, максимально приближаемых по значениям к представлениям экспертов, за счет использования их дополнительной информации о предпочтениях.
Числовые значения 
исходных квалиметрических характеристик объектов преобразуются в нормированные оценки 
, а затем в агрегированные (средние) оценки 
, при этом нормирование осуществляется по простейшей формуле
(1)
полученной из общей формулы (2.25), приведенной в §2.3 диссертации. Здесь 
L - количество экспертов. При этом агрегирование отдельных оценок качества происходит по формуле 
=
=
, (2)
где 
- исходные характеристики (показатели) качества объектов нулевого уровня (нормированные и агрегированные), I – количество квалиметрических характеристик (показателей). В результате получаются относительные квалиметрические оценки 
в интервале от 0 до 1.
Если при приведении количественных характеристик объектов к относительному виду, их бльшие числовые значения будут давать бльшие оценки, то нормирование числовых значений данных характеристик производится по формуле
(3)
где MAXi=
исходная числовая характеристика объекта, j=1…J, i=1,…M. J – количество объектов, I - количество квалиметрических характеристик, М – общее количество квалиметрических и числовых (количественных) характеристик.
Отдельные показатели качества нулевого уровня Q(0) представляют собой набор векторов 
квалиметрических (нормированных и агрегированных) и количественных (нормированных) оценок
(4)
по каждому j-му объекту, определяемых по формулам (1)–(3). Набор показателей 
по всем J объектам, обозначим 
Сводные показатели каждого уровня иерархии показателей качества формируются из показателей предыдущего уровня, используемых, таким образом, как отдельные показатели, объединяемые во взвешенные суммы. Для первого уровня сводный показатель примет вид аддитивной свертки 
значений 
характеристик (исходных показателей) нулевого уровня, включенных в i-й показатель 1-го уровня, где r
{1…
m(0)}; i=1… m(1); m(0)– количество характеристик (исходных показателей) нулевого уровня, m(1) - количество показателей 1-го уровня.
В свою очередь сводные показатели первого уровня являются исходными для сводного показателя второго уровня и т.д. Процесс последовательного формирования иерархии показателей заканчивается построением единого сводного показателя, объединяющего информацию обо всех показателях качества, входящих в иерархию (показателей уровня t-1, включенных в s-й сводный показатель уровня t).
На основе разработанной конкретной методики оценки качества компонентов образовательного процесса, представляющей собой описанную выше модификацию стандартного метода рандомизированных сводных показателей, формируется компьютерная программа оценивания качества конкретных компонентов образовательного процесса. При этом используются возможности оболочки системы поддержки принятия решений (ОСППР) АСПИД-3W.
Для демонстрации данного подхода в качестве исследуемого компонента образовательного процесса были выбраны магистерские программы (МП) и для них разработана частная методика, завершившаяся созданием локальной системы качества «Автоматизированной подсистемы оценивания и управления качеством магистерских программ. Аналогично могут быть построены частные методики для оценки качества других компонентов образовательного процесса.
Сравнение моделей оценки качества объектов учебного процесса основанных на методе рандомизированных сводных показателей и табличных (матричных) моделей, позволило сделать вывод о преимущественном использовании моделей, основанных на МРСП, по сравнению с матричными моделями, в виду меньшей трудозатратности первых. На основании Модели оценки качества МП, которая построена на базе рандомизированного МСП, были получены оценки качества МП на факультетах СПбГУ социологии, психологии и экономическом.
Результаты оценки качества магистерских программ факультета социологии СПбГУ иллюстрируются следующими диаграммой и таблицей.
| 0,700 | |||||||||||||
| 0,600 | |||||||||||||
| 0,500 | |||||||||||||
| 0,400 | |||||||||||||
| 0,300 | |||||||||||||
| 0,200 | |||||||||||||
| 0,100 | |||||||||||||
| 0,000 | |||||||||||||
| № | 1 | 2 | 3 | 4 | 5 | 6 | 7 | 8 | 9 | 10 | 11 | 12 | 13 |
Рисунок 2. Диаграмма оценок сводных показателей качества магистерских программ ф-та социологии СПбГУ (середина вертикального отрезка – среднее значение оценки; длина – удвоенное стандартное отклонение оценки)
Таблица 1. Значения сводных оценок Q1(4) магистерских программ ф-та социологии СПбГУ
| №п/п | Названия магистерской программ | Значения сводного показателя Q1(4) | ||
| Максимум | Минимум | Среднее | ||
| Европейские общества | 0,634 | 0,519 | 0,577 | |
| Социология политики и международные отношения | 0,625 | 0,467 | 0,546 | |
| Экономическая социология | 0,556 | 0,408 | 0,482 | |
| Социология коммуникации | 0,525 | 0,390 | 0,458 | |
| Социология социальных измен | 0,490 | 0,380 | 0,435 | |
| Гендерные исследования | 0,476 | 0,376 | 0,426 | |
| Современные соц. теории | 0,497 | 0,341 | 0,419 | |
| Глобальная социология | 0,453 | 0,358 | 0,405 | |
| Социология управления | 0,436 | 0,341 | 0,388 | |
| Современные методы и технологии | 0,414 | 0,295 | 0,355 | |
| Социология культуры | 0,412 | 0,291 | 0,351 | |
| История социологии | 0,360 | 0,254 | 0,307 | |
| Общественное здоровье | 0,370 | 0,233 | 0,304 | |
Анализ диаграммы и таблиц значений интегрального сводного показателя качества МП Q1(4) (см. табл. 1) показывает, что с некоторой точностью можно выделить 3 группы МП примерно с одинаковыми значениями показателей качества:
1-ая группа: Европейские общества, Социология политики и международные отношения. 2-ая группа: Экономическая социология, Социология коммуникаций, Социология социальных изменений, Гендерные исследования, Современные социальные теории, Глобальная социология, Социология управления. 3-ая группа: Современные методы и технологии, Социология культуры, История социологии, Общественное здоровье.
Первые 5 МП из второй группы своими максимальными значениями показателя качества пересекаются с нижней границей показателей качества МП из первой группы, т.е. в пределах допустимых ошибок в группу лидеров может быть включено до 7 МП.
Заметим, что у тройки лидеров среди МП по интегральному сводному показателю Q1(4) стабильно высокие места (ранги) в отсортированных списках МП по квалиметрическим Q1(3) и числовым Q2(3) показателям, также как и у аутсайдеров - стабильно низкие (см. табл. 2).
Таблица 2. Ранжирование магистерских программ по сводным оценка качества
| Название магистерской программы | Ранг магистерской программы | ||
| Q1(4) | Q1(3) | Q2(3) | |
| Европейские общества | 1 | 2 | 1 |
| Социология политики и МО | 2 | 3 | 2 |
| Экономическая социология | 3 | 10… | 3… |
| Гендерные исследования | 6… | 1… | 11… |
| История социологии | 12 | 12 | 12 |
| Общественное здоровье | 13 | 11 | 13 |
Вторая группа интегральных показателей состоит из МП, качество которых можно считать примерно одинаковым. Полученные числовые оценки отличаются друг от друга незначительно, в пределах полученных оценок точности.
В отдельных случаях лицо, принимающее решение (ЛПР), наряду с рейтингами оцениваемых объектов, должно иметь возможность получать информацию о значениях весовых коэффициентов исходных показателей и, при необходимости, корректировать их значения (роль ЛПР в данном случае может быть играть и коллегиальный орган, например, Ученый совет.). Реализацию такой возможности для иерархических систем рассмотрена во втором параграфе третьей главы. В этом же параграфе показана возможность использования ОСППР АСПИД-3W для оценки выпускников университета на основе предложенной рейтинговой системы оценки человеческого, интеллектуального капитала выпускников.
В диссертационной работе показано, что рейтинги обучающихся можно рассматривать как элементы системы внутреннего аудита качества образования. В частности, для рейтинговой системы оценки человеческого (интеллектуального) капитала, приобретаемого студентами (выпускниками) в процессе обучения в университете, иерархию показателей можно представить в виде графа (см. рис. 3).
Рис. 3. Иерархия сводных показателей рейтинговой системы
оценки человеческого капитала выпускника вуза
Как видно из рис. 3, показатели 1-го уровня включают в себя исходные показатели (нулевого уровня), УЧЁБА: (текущая успеваемость, промежуточная успеваемость, итоговая аттестация), ЗДОРОВЬЕ: (здоровье), АКТИВНОСТЬ: (участие в НИРС, социальная активность, студенческая мобильность, дополнительное образование), ДОПОЛНИТЕЛЬНЫЕ КАЧЕСТВА: (уровень овладения иностранным языком, уровень самоорганизации, наличие водительских прав, степень владения компьютером). Для каждого показателя предлагается 2-х или 4-х балльная шкала оценивания. Данная рейтинговая система полностью подготовлена для её реализации с использованием оболочки АСПИД-3W.
В последнем параграфе разработана методика анализа сводных показателей качества для иерархических систем, иллюстрированная на конкретном примере. Суть проблемы здесь состоит в том, что известная ОСППР АСПИД-3W показывает значения исходных весовых коэффициентов только для одноуровневых систем. Вместе с тем достаточно часто у ЛПР, использующего иерархическую систему показателей, возникает естественное желание увидеть весь вектор весовых коэффициентов исходных показателей, (характеристик) предложенный моделью, рассматривая его как первичный, ориентировочный, позволяющий вносить в него коррективы, которые, по мнению ЛПР, более реально будут отражать стратегию оценки качеств объектов, в данном случае МП, в частности когда у ЛПР появляются сомнения в правильности назначенных моделью весовых коэффициентов или просто в силу человеческого любопытства, поскольку весовые коэффициенты оказывают сильное влияние на результат рейтинга.
Предлагаемый алгоритм анализа сводных показателей состоит в том, что после введения дополнительной ординальной информации с помощью функции программного модуля ОСППР АСПИД-3W «Весовые Коэффициенты», генерируются значения весовых коэффициентов сводных показателей всех уровней иерархии. Затем, путём перемножения полученных весовых коэффициентов, расположенных на каждой из веток графа показателей качества формируется вектор весовых коэффициентов исходных показателей качества.
Полученные весовые коэффициенты позволяют реализовать обратную связь между моделью и ЛПР путём внесения, при необходимости, коррективы в полученный набор весовых коэффициентов и увеличивают, тем самым, доверие ЛПР к используемой модели. Таким образом, методику анализа иерархической системы сводных показателей качества можно представить в виде следующей укрупнённой блок-схемы (см. рис. 4).
Рис. 4 Блок-схема анализа иерархической системы сводных показателей качества
В Заключении приводятся следующие основные результаты диссертационной работы, выносимые на защиту:
1. Разработана, исходя из представления учебного процесса как комплекса процедур изменения уровня «человеческого капитала» студентов, система моделей многокритериальной оценки качества различных компонентов учебного процесса в университете (уровня профессиональной подготовки студентов, эффективности работы отдельных подразделений, качества образовательных программ и т.д.).
2. Обоснована, учитывая неопределенность задания значимости отдельных характеристик учебного процесса, возможность применения метода рандомизированных сводных показателей (МРСП) для получения сводных оценок качества различных компонентов учебного процесса и самого учебного процесса в целом.
3. Разработана модель последовательного синтеза показателей качества компонентов образовательного процесса. На основе этой модели разработана конкретная методика, являющаяся модификацией известного метода рандомизированных сводных показателей (МРСП), отличающаяся от МРСП возможностью работать с иерархической системой характеристик и сводных показателей качества.
4. Разработана, на основе указанных в пункте 3 модели и методики, локальная система качества «Автоматизированная подсистема оценивания и управления качеством магистерских программ», которая позволяет использовать как числовые характеристики МП, так и нечисловую, неточную и неполную экспертную информацию о значимости различных оценок МП.
5. Апробированы разработанные в диссертации модель и методика построения сводных рандомизированных показателей качества на примерах оценки качества МП и других компонентов образовательного процесса в Санкт-Петербургском государственном университете с учётом существующей практики реализации процесса обучения и нормативных документов, регламентирующих эту практику.
6. Разработана, на основе конкретизации общеэкономической категории «человеческий капитал» в контексте проблем обучения специалиста в высшем учебном заведении (с использованием теории измерения потребительной ценности сложных экономических благ), технология адаптации метода рандомизированных сводных показателей (МРСП) для оценки уровня качества человеческого капитала обучающихся (выпускников вузов), приобретаемого ими в процессе обучения.
Публикации автора по теме диссертации
- Васенёв Ю.Б., Проблемы введения в вузах магистерских программ // Вестник СПбГУ. Сер. 5. Вып. 1. СПб., 2009. С. 135-143.
- Васенёв Ю.Б., Дементьев И.А., Михайлов М.В. Модели измерения показателей качества в системе менеджмента университета // Вестник СПбГУ. Сер. 5. Вып. 3. СПб., 2007. С. 47-57.
- Ботвин Г.А., Васенёв Ю.Б., Мильков В.А. Представление и обработка знаний в системах искусственного интеллекта: Учебн. пособие. СПб., 1993.
- Васенёв Ю.Б. Один из подходов к созданию систем контроля качества обучения в вузе // Управление качеством в современном вузе: Труды VI международной научно-методической конференции. Вып. 6. 19-20 июня 2008 г. М., 2008.
- Васенёв Ю.Б. Организация и управление учебным процессом вуза при переходе на ФГОС ВПО нового поколения. СПб., 2007.
- Васенёв Ю.Б. Эффективность учебно-воспитательного процесса в вузе и человеческий капитал. Экономическое развитие: теория и практика // Материалы международной научной конференции. СПб., 2007.
- Васенёв Ю.Б. О системе управления качеством образования в университете.// Образование и управление: Альманах по философии образования, эвристики, методологии и методике преподавания социогуманитарных дисциплин. – СПб. 2007. С.47-59.
- Васенев Ю.Б. К вопросу о проблемах контроля качества учебного процесса // Тезисы Всероссийской конференции. Университетское образование в России: проблемы и перспективы», СПбГУ, 5-6 июня 2001, СПб, 2001. С. 62.
- Васенёв Ю.Б. Использование квалиметрических шкал во внутривузовских системах контроля качества учебного процесса.// Материалы V Межрег. научно-практич. конф. Смольный 12–14 марта 2002 г.: Тез. докл. СПб., 2002.
- Васенёв Ю.Б., Григорьев И.М., Конюховский П.В. Модульно-цикловой принцип разработки учебных планов // Магистратура: Состояние и перспективы. Материалы научно-методической конференции. Вып.2. СПб., 2007. С. 91-93.
- Васенёв Ю.Б., Дементьев И.А. Проблемы разработки ГОС ВПО 3-го поколения.// Инф. бюллетень., УМО в области инновационных междисциплинарных образовательных программ. № 6. СПб, 2005. С.11-24.
- Васенёв Ю.Б., Дементьев И.А. Роль технических средств обучения и контроля в современном учебном процессе.// Инф. бюллетень №6: Матер. конф. КС и УМО вузов в области инновационных междисциплинарных образовательных программ, СПб., 2005.
- Васенёв Ю.Б., Дементьев И.А., Колесников А.Я. Методика оценки качества образования в вузе // Оценка качества образования в Российских вузах: опыт и проблемы: Материалы межвуз. семинара 28.10.2003, СПб., 2004. С. 73–85.
- Васенёв Ю.Б., Дементьев И.А., Колесников А.Я. Система зачетных единиц и возможные варианты ее применения.// Опыт внедрения системы зачётных единиц в учебный процесс: Межвуз. сб. №2 (27), Новосибирск, 2004. С.74–78.
- Васенёв Ю.Б., Друганов Б.Н., Заварзин Ю.В. Использование АСУ вуза для оценки качества подготовки специалистов.// Вопросы применения ЭВМ в учебном процессе: Научно-методич. сб. Л., 1977.
- Васенёв Ю.Б., Заварзин Ю.В. Вопросы оперативного управления учебным процессом.// Тезисы доклада конф. «Математическое и информационное обеспечение АСУ ВУЗ». Киев, 1976.
- Васенёв Ю.Б., Заварзин Ю.В. К вопросу повышения оперативности управления учебным процессом.// Вопросы применения ЭВМ в учебном процессе: Научно-методич. сб. Л., 1977.
- Васенёв Ю.Б., Касевич В.Б., Мурин И.В. Некоторые проблемы разработки ГОС ВПО и их внедрение: Доклад на Межвуз. научно-методич. конф.16–17 февраля 2000. СПб., 2000.
- Васенёв Ю.Б., Касевич В.Б., Мурин И.В. О создании региональных центров магистерской подготовки: Материалы V Межрегиональной научно-практической конференции. Смольный 12–14 марта 2002 г.: Тез. докл. СПб., 2002.
- Васенёв Ю.Б., Кежаев В.А. Методологические основы математического моделирования боевых действий: Учебн. пособие. СПб., 1995.
- Васенёв Ю.Б., Колесов Д.Н., Михайлов М.В. Влияние экспертной информации на точность и достоверность рандонизированных сводных показателей // Экономическое развитие: теория и практика: Матер. Междун. научной конф. СПб., 2007.
- Васенёв Ю.Б., Михайлов М.В. Проект подсистемы оценки качества магистерских программ // Материалы научно-методической конференции. Магистратура: состояние и перспективы. Вып. 2. СПб., 2007.
- Васенёв Ю.Б., Михайлов М.В. Рейтинговые системы в вузе. Их роль в оценке качества образования // Информационный бюллетень УМО вузов в области инновационных междисциплинарных образовательных программ. № 6. СПб, 2005. С. 52–63.
- Васенёв Ю.Б., Михайлов М.В., Хованов Н.В. Оценка деятельности субъектов учебного процесса // Информационный бюллетень УМО вузов в области инновационных междисциплинарных образовательных программ. № 6. СПб, 2005. С. 42–51.
- Васенёв Ю.Б., Михайлов М.В., Хованов Н.В. Проект № 28 «Комплекс магистерских программ по направлению «Экономика» // Приоритетный национальный проект «Образование»: Инновационная образовательная среда в классическом университете. СПб., 2007.
- Васенёв Ю.Б., Молитвин М.Н. Организация сотрудничества вузов и работодателей при реализации образовательных программ //Материалы научно-методической конференции. Магистратура: Состояние и перспективы. Вып.2. СПб., 2007. С. 97-99.
- Васенёв Ю.Б., Стригун А.И., Кочнев С.П., Елесин И.Н. Методика разработки обучающих программ и автоматизированных учебных курсов на мини- и макро-ЭВМ /Под общ. ред. Ю.Б. Васенёва Л., 1989.
- Высшее образование: Нормативные документы. Вып. 2. Магистратура в вузах России/ Сост. Сенашенко, М.П. Баранов, Ю.Б. Васенёв и др. СПб., 2003.
- Хованов Н.В., Бабурин Б.Г., Васенев Ю.Б., Михайлов М.В. Оценка потребительской ценности экономических благ по иерархической системе показателей качества // Применение математики в экономике. Вып.16: Сб.статей / Под ред. А.В. Воронцовского. СПб., 2006. С. 34-67.
Подписано в печать..2009. Формат 60х84/16. Печать ризографическая.
Заказ №. Объем 1,4 п.л. Тираж 100 экз.
Издательский центр экономического факультета СПбГУ.
193123, Санкт-Петербург ул. Чайковского, д.62.
