Определение конструкта при составлении тестов по чтению для академических целей
На правах рукописи
КОЖЕВНИКОВА ЛЮДМИЛА АЛЕКСАНДРОВНА
ОПРЕДЕЛЕНИЕ КОНСТРУКТА ПРИ СОСТАВЛЕНИИ ТЕСТОВ
ПО ЧТЕНИЮ ДЛЯ АКАДЕМИЧЕСКИХ ЦЕЛЕЙ
Специальность 13.00.02 — Теория и методика обучения и воспитания (иностранные языки)
АВТОРЕФЕРАТ
диссертации на соискание ученой степени
кандидата педагогических наук
Москва 2009
Работа выполнена на кафедре теории преподавания иностранных языков факультета иностранных языков и регионоведения Московского государственного университета им.М.В.Ломоносова
Научный руководитель: доктор педагогических наук, профессор
СОЛОВОВА Елена Николаевна
Официальные оппоненты: доктор филологических наук, профессор
ВЕРБИЦКАЯ Мария Валерьевна
кандидат педагогических наук, доцент
СИМКИН Виктор Николаевич
Ведущая организация: ГОУ ВПО «Московский педагогический
государственный университет»
Защита состоится «2» июня 2009 г. в 13 часов на заседании диссертационного совета Д 501.001.04 при Московском государственном университете им. М.В.Ломоносова по адресу:
119192 г. Москва, Ломоносовский проспект, д.31, корпус 1, факультет иностранных языков и регионоведения, ауд. 107-108.
С диссертацией можно ознакомиться в Фундаментальной библиотеке
МГУ им. М.В.Ломоносова.
Автореферат разослан « »___________ 2009 г.
Учёный секретарь диссертационного совета Е.В. Маринина
Общая характеристика работы
В современном обществе чтение является одним из важнейших средств получения информации, поэтому для современного человека важность умения читать на иностранном языке определяется потребностью адекватного включения в глобальное информационное поле. Для сегодняшнего студента это также означает возможность доступа к общеевропейской зоне высшего образования, где, как показывают исследования, чтение остается самым важным видом речевой деятельности. При этом в академической среде, как отечественной, так и зарубежной, на первый план выходит готовность студента к самостоятельной работе с большим, нелинейным потоком информации (термин Е.Н.Солововой), и значит, особое значение приобретают когнитивный и метакогнитивный аспекты чтения, которые обусловливают необходимость формирования и развития у студентов соответствующих умений и стратегий академического чтения, т.е. чтения литературы, относящейся к определенному функциональному стилю (научному, учебно-научному, научно-справочному), в контексте обучения в высшей школе.
Особенности процесса и содержания обучения чтению для академических целей должны найти отражение в формате и содержании контроля. Особое звучание данная проблема приобретает в условиях модернизации системы образования в России, к целям которой относится повышение мобильности студентов в Российской Федерации и в международном образовательном сообществе. Последнее предполагает обеcпечение сопоставимости критериев и методики оценивания качества обучения в отечественной и зарубежной системах образования. Однако анализ теоретико- методической литературы и действующих нормативных документов (стандартов, программ) выявляет в данной области ряд противоречий, а именно:
- противоречия между зарубежной и отечественной системами контроля коммуникативных умений: преобладание письменных тестовых форм контроля в зарубежных университетах и различных видов устного опроса в российских вузах
- несоответствие между терминологическими аппаратами, принятыми в отечественной и зарубежной практике организации контроля коммуникативных умений
- противоречие между необходимостью сравнивать и сопоставлять качество обучения студентов различных учебных заведений и отсутствием стандартизации процедуры оценивания, закрепленной в нормативных документах ГОС ВПО
- указание в нормативных документах на возможность применения тестирования в качестве одной из форм итогового контроля [Программа[1], 2004] и отсутствие методики детализированной разработки спецификаций лингводидактического теста
- указание в Программе на соответствие конечного уровня подготовки по иностранному языку параметрам «порогового уровня» Общеевропейских компетенций владения иностранным языком, и расхождение содержания контроля обученности владения чтением, обозначенное Программой, с параметрами уровня В1 (несоответствие реестра измеряемых умений, требований к характеристикам текстов и т.д.).
Положение усугубляется тем, что в отечественной системе непрерывного образования создание национальной системы языкового контроля, о необходимости которой говорят ведущие российские ученые (В.В.Сафонова, Е.Н. Соловова, М.В. Вербицкая, В.Н.Симкин, Р.П. Мильруд, и др.), находится на самой начальной ступени формирования. Анализ учебных и тестовых материалов для высших учебных заведений, проведенный в рамках данного диссертационного исследования, подтвердил, что отсутствие целостной системы тестирования уровня сформированности иноязычной коммуникативной компетенции на различных этапах обучения приводит к появлению тестов очень низкого качества, дискредитирующих тестирование как валидную и надежную форму контроля. Анализ также показал, что основной причиной появления такого рода тестов является неумение разработчиков тестов правильно сформулировать измеряемый конструкт. Надо отметить, что в зарубежной тестологии отсутствует единодушие по вопросу того, что входит в понятие «конструкт». В отечественной литературе в большинстве работ дается упрощенная трактовка данного понятия, которая сводится, в основном, к терминам психологического и педагогического тестирования.
В работе предлагается следующая формулировка данного термина: конструкт – это детализированное описание объекта контроля, а именно, выделение совокупности измеряемых характеристик в контексте лингводидактического тестирования, которые составляют суть измеряемого объекта контроля (например, умения, компетенции, вида речевой деятельности, т.д.) и дают возможность экстраполяции результатов теста на реальную жизненную ситуацию, в которой будет применяться измеряемый конструкт. Важно отметить, что формулировка и реализация (операционализация) тестового конструкта взаимосвязаны и взаимообусловлены.
Таким образом, наличие вышеназванных противоречий, недостаточная теоретическая и практическая разработанность основ национальной системы языкового контроля определяют актуальность выбранной темы исследования.
Объектом исследования данной работы является содержание и формат контроля чтения как самостоятельного вида речевой деятельности.
Предмет исследования составляют содержание тестового конструкта «чтение для академических целей» и определение характеристик чтения как измеряемого конструкта в контексте организации системы стандартизированного контроля в неязыковом вузе.
Цель диссертационного исследования состоит в разработке методики определения параметров тестового конструкта «чтение для академических целей», и создании примерной спецификации тестов с указанием номенклатуры умений, типологии текстов и видов заданий для «порогового уровня» владения английским языком по Общеевропейской шкале компетенций.
Гипотеза исследования сформулирована следующим образом: для валидной и надежной оценки уровня сформированности умения чтения для академических целей необходимо разработать методику определения тестового конструкта и выявить адекватные способы реализации (операционализации) заданного конструкта.
Цель, объект, предмет и гипотеза исследования обусловили необходимость решения следующих задач:
- Рассмотреть теоретические основы тестирования чтения как одной из форм контроля и привести в соответствие термины и понятия, используемые в отечественной и зарубежной практике тестирования
- Определить основные характеристики триады « читатель–текст–тестовое задание» и выявить те из них, которые являются релевантными для тестового конструкта «чтение для академических целей»
- Выделить параметры и критерии анализа тестов по чтению для академических целей.
- Проанализировать международные и отечественные экзамены с точки зрения реализации положений теории тестирования чтения как вида речевой деятельности, а также путей разработки тестового конструкта и способов его операционализации.
- Проанализировать имеющиеся шкалы компетенций, применяемые в международной практике тестирования для измерения умений академического чтения, и выявить номенклатуру умений, соответствующую «пороговому уровню» Общеевропейских компетенций.
- Разработать методику определения тестового конструкта «чтение для академических целей» для целей и задач контроля результатов обучения данному виду речевой деятельности в системе профессионального образования.
- Разработать примерную спецификацию раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в вузах неязыковых специальностей (170 – 240 аудиторных часов)
Научная новизна работы состоит в следующем:
- впервые научно обоснована и экспериментально проверена методика определения тестового конструкта «чтение для академических целей» для системы высшего профессионального образования. Данная методика разработана на основе сочетания отечественной и международной систем контроля коммуникативной компетенции
- определена номенклатура умений, соответствующих специфике академического чтения уровня В1 Общеевропейских компетенций владения английским языком
- разработан проект спецификации итогового экзамена за курс обучения иностранному языку в неязыковом вузе.
Теоретическая значимость исследования определяется тем, что предложена развернутая формулировка понятия «тестовый конструкт»; выявлены компоненты конструкта «чтение для академических целей» и обоснованы способы его реализации для спецификаций итогового экзамена в неязыковом вузе; выделены и систематизированы показатели сложности текста и тестовых заданий.
Практическая значимость работы состоит в предложенной методике определения конструкта для теста по чтению для академических целей, которая может найти широкое применение при организации контроля качества обучения чтению в системе разноуровневой подготовки по иностранному языку в вузах неязыковых специальностей. Практическую значимость для разработчиков тестов также имеют примерная спецификация тестов на проверку уровня сформированности умения чтения «порогового уровня» по окончанию курса иностранного языка в неязыковом вузе (170 – 240 часов аудиторных занятий); таксономия умений инференции; матрица определения сложности задания по параметру «убедительность дистрактора»; матрица определения уровня сложности тестовых заданий для академического чтения; типология заданий, применяемых для проверки разных видов академического чтения; сводная таблица характеристик текстов, учитываемых при отборе материала для тестирования уровня сформированности умений академического чтения.
Методологическую основу исследования составили положения по:
- теории, психологии и методике обучения чтению (И.М. Берман, В.А. Бухбиндер, И.Н.Верещагина, И.А.Зимняя, Е.И. Пассов, З.И.Клычникова, Г.В. Рогова, Б.А.Лапидус, А.А. Леонтьев, Р.П. Мильруд, Е.Н.Соловова, С.К. Фоломкина, Е. Bernhardt, M.A. Clarke, J. Coady, T. Duddley-Evans, M.J. St.John, R. Farr, F. Grellet, V. Just, P.A. Carpenter, J. Munby, C. Nuttall, и др.)
- лингвистике текста (Т.М. Дридзе, Л.И. Зильберман, О.Л. Каменская, Ю.А. Сорокин, З. Я. Тураева, К.Я. Филиппов, R. de Beaugrande, M. Bensoussan, P.L. Carrell, W. Kinsch, T.A. van Dijk, М.McCarthy, J.M.Swales и др).
- теории и практике тестирования (М.Б.Челышкова, В.А.Коккота, М.В.Вербицкая, В.Н.Симкин, Е.Н.Соловова, С.Alderson,С. Clapham, L.F. Bachman, A.S.Palmer, С. Chapelle, A.D. Cohen, J.D. Brown, T. Hudson, M.Canale, I. Chikalanga, D. Douglas, G.Fulcher, J.B.Heaton, A. Hughes, K. Koda, V.Ludo, J. de Jong, P. Mosenthal, J. W. Oller, E. Shohamy, M. Swain, S. Urquhart, C.Weir)
- теории и практике многоуровневого описания компетенций (В.В. Сафонова, И.Л.Бим, А.А. Миролюбов, C. Alderson, N. Jones, R.J. Tannenbaum, E.C. Wylie, R.L. Trammell, B.North, J.A. van Ek, J.L.M. Trim и др.)
Методы исследования: описательно-аналитический (сопоставительное изучение теоретических работ отечественных и зарубежных исследователей); гипотетико-дедуктивный (выдвижение рабочей гипотезы); экспериментальный (проектирование тестов, разработка, организация и проведение тестирования, анализ результатов); статистические методы.
Экспериментальная база исследования: гуманитарные факультеты Самарского государственного университета. Исследованием были охвачены студенты 1—3 курсов в течение 4 лет.
Апробация и внедрение.
Основные положения проведенного исследования отражены в публикациях по теме диссертации. Результаты исследования обсуждались на общероссийских и региональных конференциях (Ижевск, Самара, Москва, Саранск, Казань, Саратов, Ярославль, Рязань,Челябинск), а также на осенних и летних сессиях Международного Института повышения квалификации преподавателей английского языка: «Communication, Connection, and Collaboration» (Иркутск, 2004; Самара, 2005), «Materials development: from low-tech to high-tech» (ДВГУ, Владивосток, 2007), «All-Russia Autumn Testing Institute» (СГАУ, Самара, 2008).
По теме диссертации опубликовано 10 статей, из них три статьи вышли в изданиях, рекомендованных ВАК.
Достоверность и обоснованность результатов исследования обеспечивается исходными методологическими позициями, опорой на терминологический аппарат, на современные тестологические, психолингвистические и методические концепции; использованием теоретических и экспериментальных методов, соответствующих целям, задачам, предмету исследования; соблюдением норм и требований, предъявляемых к исследованию, а также объемом исследованного материала и результатами эксперимента.
На защиту выносятся следующие положения:
- Несмотря на то, что уровень B1(пороговый уровень) Общеевропейской шкалы уровней коммуникативной компетенции включает только умения работы с текстами в рамках повседневно-бытовой сферы общения, практика преподавания иностранных языков в российский неязыковых вузах показывает, что студенты – нефилологи на уровне В1 могут справляться с профессионально-ориентированными текстами, что дает основание расширить рамки номенклатуры умений в итоговом контроле, включив задания на контроль умений для работы с академическими текстами.
- Разработанная в данном исследовании примерная спецификация раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в вузах неязыковых специальностей (170-240 аудиторных часов) соответствует обозначенному целевому назначению итогового экзамена, ориентируется на национальные образовательные стандарты третьего поколения и общеевропейские тенденции развития языкового образования, устраняет существующие несоответствия Программы[2] в плане обозначенных в ней требований к итоговому контролю обученности владения этим видом речевой деятельности на уровне В1 Общеевропейских компетенций, содержит необходимые компоненты управления разработкой тестов и тестовых заданий, носит компетентностный характер.
- Правильное определение тестового конструкта является одним из условий надежности и валидности теста как формы контроля. Основу определения тестового конструкта «чтение для академических целей» составляет теоретически и эмпирически обоснованная совокупность характеристик триады «читатель – текст – тестовое задание» для целей и задач конкретного теста.
- Характеристики читателя включают: совокупность характеристик испытуемых (возраст, пол, наличие фоновых знаний и т.д.); совокупность измеряемых характеристик данного речевого умения, присущих читателю на уровне В1; адекватность мыслительных процессов, активизируемых испытуемыми в процессе работы над тестом.
- Совокупность факторов и характеристик, определяющих уровень сложности текстов, отбираемых для тестирования умений чтения в соответствии с заданным тестовым конструктом, включает: факторы содержания текста (тематика, функциональный стиль, жанр текста, его прагматическая функция, тип речи, регистр, сложность понятий, информационная насыщенность, плотность концепций); факторы структуры текста (глобальная и локальная связность); лингвистические факторы (синтаксические/ лексические трудности, аутентичность текста), статистические факторы (читабельность, т.е. сложность текста, вычисляемая по заданной формуле; соотношение знаменательных и служебных слов); факторы модальности (термин В.А.Коккоты[3] ): длина текста, удобочитаемость (шрифт, цвет, расстояние между строчками и т.д.)
- Совокупность факторов, влияющих на уровень сложности тестового задания в рамках измеряемого конструкта, включает способ его формулировки, тип запрашиваемой информации (конкретная/абстрактная, эксплицитно/имплицитно представленная информация), наличие или отсутствие дистракторов в заданной и запрашиваемой информации, локализация требуемой информации в тексте (в одном абзаце/ в нескольких абзацах, расположенных в начале/середине/конце текста).
Структура работы соответствует логике научного исследования и состоит из введения, трех глав, заключения, списка литературы и приложений. Содержание диссертации изложено на 197 стр. Список литературы содержит свыше 330 работ отечественных и зарубежных авторов.
Содержание работы.
Во Введении обосновывается актуальность темы диссертационного исследования, формулируется гипотеза, определяются цели и задачи, научная новизна, теоретическая и практическая значимость работы, перечисляются основные положения, выносимые на защиту.
В Главе 1 «Теоретические основы тестирования чтения как формы контроля речевых умений» анализируются подходы к рассмотрению чтения как вида речевой деятельности и как объекту тестовых форм контроля в отечественной и зарубежной тестологии и методике преподавания иностранных языков. Рассматриваются различные психолингвистические модели чтения, подходы к определению показателей того, что испытуемый овладел чтением в той или иной степени. В контексте структуры чтения как вида деятельности рассматриваются содержательный и процессуальный планы чтения. Их анализ дает нам возможность подтвердить утверждение ведущих российских ученых о том, что в отечественной и зарубежной методике нет серьезных разногласий в понимании того, какими видами чтения необходимо овладеть в процессе изучения иностранного языка, а отличия объясняются применением разного терминологического аппарата. Однако для того, чтобы разработать общее основание для сопоставительной валидности с целью сравнения результатов различных тестов, используемых в отечественной системе образования, либо для сравнения их с результатами международных экзаменов, необходимо эти отличия устранить. Для решения данной проблемы нами, в частности, составлена сопоставительная таблица наименований видов чтения, используемых в отечественной и зарубежной методике, уточнены понятия «перевод» и «интерпретация» текста, «вербальный протокол», «умения/ навыки» и «стратегии» чтения и др.
Исследуя проблему унитарного и многокомпонентного подходов к чтению, мы принимает точку зрения тех лингводидактов, которые считают, что для целей тестирования на базовом и пороговом уровнях развития языковой компетенции принципы многокомпонентного подхода позволяют выделить измеряемые умения и стратегии чтения. Изучение данного вопроса также показало, что в отечественной и зарубежной литературе выделяются различные группы умений и стратегий чтения. Сравнив данные группы и проанализировав их релевантность для целей тестирования, мы сделали вывод о том, что наиболее полная номенклатура представлена в работах С.К.Фоломкиной. Однако в свете современного состояния лингводидактического тестирования необходимо расширить и конкретизировать группу умений, связанных с пониманием информации, имплицитно представленной в тексте. Для решения этой проблемы нами предложена таксономия данной группы умений, получивших в тестологии название «умения инференции» (см. Таблицу 1).
Параграф 1 первой главы заканчивается перечнем основных качеств, которые должны быть присущи зрелому чтецу, и уточнением характеристик испытуемого, которые необходимо принимать во внимание при разработке теста по чтению.
Как известно, при отборе материала для тестирования умений чтения следует учитывать ряд факторов и характеристик текста, общий перечень которых был предложен В.А.Коккотой. В рамках данного исследования эти факторы были проанализированы, уточнены и детализированы в отношении текстов, отбираемых для контроля умений академического чтения (Таблица 2).
Таблица 1
Таксономия умений инференции[4]
| Тип инференции | Подтип | Умения | Тип импликации |
| Лексическо-грамматическая | – понять незнакомое слово – установить референт, субститут – понять эллипсис | Текстовый/ скриптовый | |
| Пропозицион-ная инференция на основе логико-семантических связей | Фактологичес-кий | понять имплицитно представленную информацию об антецедентах (antecedents) совершаемых действий (Кто?Что?); | Текстовый |
| Объяснительный | понять имплицитно представленную – пространственно-темпоральную информацию (Где? Когда?); – мотивационно-каузативную информацию (Почему?); – «инструментальную» (enablement) информацию (Как?) | ||
| Прагматическая (скриптовая) инференция на основе фоновых знаний | Фактологичес-кий | понять имплицитно представленную информацию об антецедентах (antecedents) совершаемых действий (Кто? Что?); | Скриптовый |
| Объяснительный | понять имплицитно представленную – пространственно-темпоральную информацию (Где? Когда?); – мотивационно-каузативную информацию (Почему?); – «инструментальную» (enablement) информацию (Как?) | ||
| Оценочный |
Далее, в п.3 первой главы, рассматриваются основные виды тестовых заданий для проверки уровня сформированности умений чтения и даются их сравнительные характеристики. Особое внимание уделяется тем способам тестирования, которые довольно редко используются в отечественной практике тестирования умений чтения, например, С-тест, Б-тест, cloze elide. Практическая значимость данной части работы определяется также анализом наиболее типичных ошибок в заданиях на множественный выбор, которые часто допускают их составители.
Таблица 2
Факторы и характеристики текстов, которые необходимо учитывать при отборе материала для тестирования умений академического чтения
| № | Факторы | Учитываемые характеристики |
| I | Факторы содержания текста |
|
| II | Факторы структуры текста |
|
| III | Лингвисти-ческие факторы |
|
| IV | Статистичес-кие факторы |
|
| V | Факторы модальности |
|
В ходе теоретического обоснования методики определения тестового конструкта рассматриваются тестовые стратегии, которые необходимо учитывать как при подготовке испытуемых к тестированию, так и при разработке и оценке результатов теста. Данный вопрос является чрезвычайно важным, поскольку проведенные зарубежными тестологами и психолингвистами исследования мыслительных, психических и иных процессов, активизируемых испытуемым при работе с тестом, выявили, что предположения составителей тестов и экзаменаторов относительно того, что тест измеряет, и фактические процессы, лежащие в основе ответов на тестовые задания, не всегда совпадают. Некоторые испытуемые настолько хорошо овладели тестовыми стратегиями, получившими в совокупности название «test-wiseness», что научились угадывать правильный ответ, не поняв при этом прочитанный текст. В работе предложена следующая номенклатура общих тестовых стратегий: метакогнитивные (например, планирование работы над заданием в условиях дефицита времени); когнитивные (анализ структуры текста, поиск в тексте ключевых слов или фраз, выражающие тему, основную мысль и т.д.); компенсаторные (использование мимики и жестов при отсутствии вербальных средств выражения при устном ответе); аффективные/эмоционально - психологические (готовность рисковать при выборе ответа из ряда предложенных в случае неуверенности в правильности своего ответа или его незнания); стратегии, относящиеся к «test wiseness», т.е. умению «обходить» трудности тестового задания (например, использование непреднамеренных подсказок или других типичных ошибок, допущенных составителем при разработке заданий на множественный выбор).
Проведенное исследование теоретических основ тестирования чтения как вида речевой деятельности позволило определить основополагающие принципы методики определения тестового конструкта. Для целей данного исследования базовым принципом при разработке теста по чтению выбрано целеполагание, поскольку оно помогает определить содержательный и процессуальный планы чтения. Именно от целеполагания зависит объем извлекаемой из текста информации и характер ее переработки, а также процессуальный план деятельности. Принцип многокомпонентного определения чтения позволяет выделить для целей тестирования умения и стратегии чтения, которые должны быть сформированы у испытуемого для практического овладения данным речевым умением на определенном уровне сформированности иноязычной языковой компетенции. При разработке конструкта обязательно учитывается и принцип целостности восприятия текста как коммуникативной единицы, который предполагает, что понимание прочитанного нельзя воспринимать как простую сумму мыслительных операций, которые, по предположению тестолога, будет выполнять испытуемый при выполнении теста.
Изучение теоретико-методологических основ тестирования чтения позволило также определить параметры и критерии анализа качественных тестов по чтению, которые были использованы во второй главе.
В Главе 2 «Анализ современной практики контроля чтения для академических целей в отечественных и международных экзаменах» рассматриваются основные экзамены по академическому английскому на предмет их соответствия современным требованиям тестологии, а также с целью выявления подходов к определению конструкта, принятых в отечественной и международной практике тестирования.
Сопоставление принципов разработки известных зарубежных экзаменов по академическому чтению International English Language Testing System (IELTS), Test of English as a Foreign Language (TOEFL) и Test of English for Educational Purposes (TEEP), анализ тестовых материалов, а также изучение отчетов о результатах проведения данных экзаменов за последние десять лет позволил сделать вывод о том, что они разработаны в полном соответствии с основными положениями теории лингводидактического тестирования чтения как вида речевой деятельности. В результате данного исследования было выявлено, что важнейшим этапом составления теста по чтению для академических целей является разработка тестового конструкта. Было установлено, что при разработке конструктов экзаменов TOEFL, IELTS и ТЕЕР используются такие общие подходы, как: тщательный анализ целей и задач системы образования США, Британии и ряда других англоязычных стран; теоретическое обоснование чтения как вида речевой деятельности; выявление наиболее типичных заданий по чтению, с которыми приходится сталкиваться студенту в академической среде; определение номенклатуры умений чтения, необходимых для успешного обучения в данных образовательных системах. Для реализации заданного тестового конструкта разрабатываются принципы отбора репрезентативных текстов на основе анализа корпуса текстов учебников, используемых в вузах, а также определяются типы тестовых заданий для измерения уровня сформированности умений академического чтения.
В результате анализа тестовых материалов экзаменов TOEFL, IELTS и ТЕЕР в рамках данного исследования было установлено, что определенные виды тестовых заданий наиболее часто используются для эффективной проверки уровня сформированности умений академического чтения. Дополнительный анализ тестов по академическому английскому, таких как Test of College Academic English (English Proficiency Testing System) и Michigan English Language Assessment Battery (MELAB), Canadian Academic English Language assessment(CAEL), English Proficiency Test Battery(EPTB), English Language Institute Placement Test battery (ELIPT, University of Hawaii at Manoa), а также изучение литературы по данному вопросу дало возможность сделать вывод о том, что для более эффективного измерения уровня сформированности умений в разных видах академического чтения необходимо разработать типологию тестовых заданий, что даст возможность разработчикам тестов выбирать именно те задания, которые будут наиболее качественно решать задачи измерения. Данная проблема была решена в Главе 3 (см. Таблицу 3).
Во второй главе также проводится анализ Федерального экзамена в сфере профессионального образования (URL: http://www.fepo.ru, дата обращения 11.2008), на основании которого делается вывод о том, что в отечественной практике крупномасштабного тестирования не разработаны подходы к созданию тестов как валидных и надежных инструментов измерения умений чтения для академических целей. Это проявляется не только в несоблюдении основных требований к тестовой документации, например, в отсутствии спецификации экзамена, которая должна содержать информацию о типах текстов, уровне сложности текстов и заданий, об уровне владения измеряемым умением, параметрах и критериях оценки его сформированности на разных этапах обучения. Основной проблемой данного теста является то, что разработчикам не удалось правильно сформулировать измеряемый тестовый конструкт.
Таблица 3
Типичные задания для проверки уровня сформированности умений чтения для академических целей
| Виды чтения | Проверяемые умения | Тестовое задание |
| Изучающее чтение | Умения, связанные с пониманием эксплицитно представленной информации: – выделять главную мысль; – отделять основные факты от второстепенных; – устанавливать эксплицитно представленные логические связи между фактами/причинно-следственными отношениями | - multiple choice - true/false/not given - (multiple)matching - information transfer - free recall |
| Умения, связанные с пониманием имплицитно представленной информации: – устанавливать имплицитно представленные логические связи между фактами/причинно-следственными отношениями; – отличать мнение от факта; – определять коммуникативную задачу автора – сделать вывод, предположить возможное развитие изложенного | - multiple choice - true/false/not given - (multiple)matching - short answer - gap filling | |
| Умение понимать незнакомые слова с помощью языковой догадки на основе (а) словообразования (б) логического контекста | - short answer - multiple choice | |
| Умение выявлять и понимать средства локальной связности (референцию, субституцию, лексическую когезию и т.д.) | - short answer - cloze - multiple choice | |
| Умение понимать синтаксическую структуру (на микроуровне) | -cloze(multiple choice, banked) -cloze elide -С-test | |
| Ознакомитель-ное чтение | Умения: понимать основное содержание текста, выделять основные факты/ основную линии доказательств, аргументации автора – распознавать структуру текста, выделять ее смысловые части (начало, основную часть, заключение) – распознавать смысловые связи внутри абзаца/между абзацами | - multiple choice - true/false/not given - (multiple)matching - (Gapped) summary - insert a sentence |
| Умение выделять синтаксическую структуру (на макроуровне) | -information transfer -sequencing | |
| Просмотровое чтение | Умение определять тему, подтему текста в опоре на заголовок/ названия разделов / иллюстрации Умение выявлять реестр рассматриваемых в тексте вопросов | -information transfer -sentence completion |
| Поисковое чтение | Умение осуществлять поиск и выявлять требуемую/ желаемую информацию, например, поиск нужной дефиниции, формулировки, цифровых или иных данных. | - multiple choice - sequencing - short answer /sentence completion - information transfer (e.g. flow chart) |
Именно поэтому в качестве объекта контроля в данном тесте выступает не чтение во всем многообразии его составляющих, а набор учебных элементов. При этом содержательная сторона текста как коммуникативной единицы также не выступает объектом контроля прочитанного, а неадекватность разработанных заданий приводит к разрушению целостности восприятия читаемого текста. Более того, во многих заданиях на множественный выбор обнаружены ошибки, которые обозначены в Главе 1 реферируемой работы как наиболее типичные для такого вида заданий. Разработчики теста также путают некоторые понятия, например, «идея» и «тема» текста, «умения чтения» и мыслительные операции, которые испытуемый проводит в процессе чтения (анализ, сопоставление и т.д.).
Изучение на сайте ФЭПО тестовых материалов по чтению в свете современной теоретико-методологической базы лингводидактического тестирования (Глава 1) и подходов к реализации положений данной теории в практике международного тестирования (Глава 2.1), дает возможность сделать вывод о том, что неверно обозначенный в кодификаторе ФЭПО измеряемый тестовый конструкт привел к тому, что данный тест не является надежным и валидным инструментом контроля уровня сформированности умений чтения. Поскольку форма и содержание контроля определяют содержание и методы обучения, напрашивается вывод о том, что данный экзамен может оказать отрицательное влияние на процесс обучения чтению в неязыковом вузе.
Анализ теоретических основ тестирования чтения как формы контроля речевых умений (Глава 1) и подходов к тестированию чтения для академичес-ких целей, принятых в отечественной и международной практике (Глава 2), еще раз подтвердил актуальность выбранной для данного исследования проблемы разработки методики определения тестового конструкта «чтение для академических целей» для системы отечественного профессионального образования.
В Главе 3 «Методика разработки тестового конструкта «Чтение для академических целей» в системе профессионального образования и подходы к его операционализации» предлагается авторская методика определения тестового конструкта, выявляются подходы к разработке спецификации раздела «Чтение» итогового экзамена за курс обучения иностранному языку в неязыковом вузе, выделяется возможный комплект ее компонентов для целей итогового экзамена, соответствующего стандартам третьего поколения и Программе курса обучения иностранному языку в неязыковом вузе (170-240 часов аудиторных занятий). Необходимо отметить, что конструкт для данного экзамена должен разрабатываться с учетом обозначенных в Программе характеристик испытуемого, таких как его возрастные особенности, когнитивное развитие, уровень владения языком. Задаваемый конструкт должен учитывать общие знания испытуемого, а также тот факт, что его профессиональные знания сформированы недостаточно, поскольку курс обучения иностранному языку при 170-240 часах аудиторных занятий, как правило, заканчивается в третьем, максимум, пятом семестрах. Именно поэтому отбираемые для целей тестирования тексты носят общенаучный и общегуманитарный характер и не содержат незнакомых для испытуемого культурных реалий.
Для теоретического обоснования тестового конструкта, измеряемого в рамках конкретного теста, необходимо определить соответствующую психолингвистическую модель чтения, что помогает выделить факторы, оказывающие влияние на измеряемый продукт чтения (понимание прочитанного), а также мыслительные процессы и операции, задействуемые испытуемым при выполнении этого теста. Для целей данного исследования в качестве основной модели используется процессуальная модель чтения Weir–Urquhart, созданная на основе когнитивных моделей чтения Кинча — ван Дейка и Джаста—Карпентера[5]. Согласно данной модели, понимание прочитанного происходит в процессе восприятия, осмысления и оценки информации, причем, данный процесс осуществляется на основе общих и профессиональных знаний читателя; целеполагание определяет объем, точность и глубину извлекаемой из текста информации, а проводимый испытуемым в процессе чтения самомониторинг позволяет ему отслеживать эффективность и правильность своих мыслительных операций. При этом стандартизированная по объектам контроля процедура тестирования, являясь косвенным способом создания разных алгоритмов чтения, приводит к активизации соответствующих мыслительных операций, способствующих эффективному решению поставленных задач. Показателем того, что испытуемый достиг заданного тестовым конструктом уровня сформированности умения читать на иностранном языке, является определенная степень понимания прочитанного аутентичного текста соответствующего уровня сложности. Поскольку основными характеристиками понимания, принятыми в отечественной методике, являются его полнота, точность и глубина, именно они, в сочетании с показателями скорости и гибкости чтения, должны стать краеугольным камнем при определении уровней сформированности умения читать академический текст на различных этапах обучения иностранному языку в неязыковом вузе.
Следующим этапом определяются характеристики академического чтения и номенклатура умений, которые соответствуют уровню В1. Данная работа проводится на основании теоретических положений тестологии и практических рекомендаций по приведению языковых экзаменов в соответствие с параметрами Общеевропейских компетенций владения иностранными языками, а также с учетом проведенного во второй главе анализа международных экзаменов по английскому для академических целей.
Далее формулируется измеряемый тестовый конструкт, т.е. выделяется совокупность измеряемых характеристик в контексте лингводидактического тестирования, которые составляют суть измеряемого объекта контроля, что дает возможность экстраполировать результаты теста на реальную жизненную ситуацию, в которой будет применяться измеряемый конструкт. Вследствие того, что формулировка и реализация тестового конструкта взаимосвязаны и взаимообусловлены, следующий этап разработки теста должен обеспечить соответствие текстового материала и тестовых заданий обозначенному тестовому конструкту. В рамках проведенного исследования было выявлено, что при отборе текстов необходимо руководствоваться следующими факторами: соответствие трудности текстового материала лингвистическому, когнитивному и профессиональному уровню студентов; соответствие характеристик текста проверяемым видам чтения; соответствие физических характеристик текста (длина, удобочитаемость) уровню В1. К факторам содержания текстов относятся релевантность тематики (общегуманитарные и общенаучные или научно-популярные тексты) и ее известность для испытуемого. При этом такие факторы, как профессиональные знания и знания культурных реалий страны изучаемого языка, должны быть сведены к минимуму. В языковом плане текст должен удовлетворять языковому материалу, который определен Программой, с учетом тех уточнений и дополнений, которые были сделаны в данной работе, с целью приведения его в соответствие с уровнем В1(Приложение 1).
Прагматическая составляющая текстов, отбираемых для целей тестирования умений академического чтения — информирование, убеждение, аргументация. Характер информации — конкретный, в предикациях III и IV уровней возможна информация абстрактного содержания. Тексты могут включать несколько функционально-смысловых типов речи, но превалирование отдельных типов, например, описательного, обязательно учитывается при решении вопроса о соответствии данного текста целям контроля умений определенного вида чтения. Тексты имеют четко выраженную логико-смысловую и логико-композиционную структуру. Маркированность и характер средств связи определен тестовым конструктом и оговаривается в примерной спецификации. С точки зрения информационной насыщенности тесты для изучающего чтения должны содержать дозированный объем информации, поскольку необходимо учитывать довольно ограниченный объем оперативной памяти чтеца уровня В1. Плотность единиц информации в текстах для всех видов чтения должна быть минимальной. Для изучающего чтения длина текста составляет 150— 250 слов, ознакомительного чтения —300 — 430 слов, поискового чтения — 180 — 200 слов.
Сформированность умений в разных видах чтения измеряется на разных текстах, при этом закладываемая скорость обработки информации соответствует нормативам, определенным в отечественной методической литературе по обучению чтению, а именно 50—60 сл/мин для изучающего чтения, для ознакомительного чтения —180—190 слов/мин, а для выполнения заданий поискового чтения — 500—550 слов/мин.
Следующий этап операционализации конструкта включает определение характеристик тестового задания, которые будут наиболее полно удовлетворять измеряемому конструкту. В число таких характеристик входят способ формулировки инструкции, способ выполнения задания (мыслительные операции, выполняемые испытуемым) и способ его оценки. Для адекватного измерения заданного конструкта «Чтение для академических целей. Пороговый уровень» инструкция должна быть написана на русском языке, формулировка должна быть простой и должна ориентировать испытуемого на необходимую степень полноты, точности, глубины понимания текста. Сложность тестового задания определяется сложностью запрашиваемой информации (конкретность/ абстрактность фактов, понятий и т.д.), способом идентификации правильного ответа, стратегией подбора правильного ответа и убедительностью дистрактора. Выявлено, что для заданного конструкта лучше всего подойдет комбинация заданий 1-го, 2-го и 3-го уровня сложности (см.Таблицу 4).
Таблица 4
Характеристики заданий 1-го, 2-го и 3-го уровней сложности
| Уровень | Описание заданий |
| 1 | Тип информации. Конкретная, эксплицитно представленная информация (Кто? Что? Где? Куда? Когда?). Стратегия поиска: Локализация слова или фразы, которые будут идентичны или синонимичны запрашиваемой информации в задании. Дистракторы в тексте: отсутствуют Формулировка задания: простая |
| 2 | Тип информации. Конкретная, эксплицитно представленная информация о количестве, времени, качестве, типе или виде чего-либо, месте расположения, классе или группе людей, о процедуре или действии. Лексическая инференция. Определение (а) незнакомого слова: по синониму(or), простой дефиниции (means, is), сходству с родным языком; (б) анафорического референта (личного местоимения) в микроконтексте (1-2 предложения). Пропозиционная инференция. Понимание имплицитно представленной информации в ответ на вопросы Кто?Что? Где? Когда? на основе локальных логико-смысловых связей (микроконтекст 1-2 предложения). Стратегия поиска: Локализация Дистракторы: имеются для заданной или запрашиваемой информации, но в тексте эти дистракторы не находятся в том же абзаце, что и ответ. Формулировка задания: простая |
| 3 | Тип информации: Конкретная, эксплицитно представленная информация относительно последовательности, образа действия, каузации (because, since). Лексическая инференция. Определение (а) незнакомого слова по примеру (for example), микроконтексту, а также на основе упоминания известного факта или распространенного явления (б) связи между антецедентом и субститутом, который выражен местоимениями one/ones, that (of). Стратегия поиска: Локализация и последовательный отбор. Некоторые задание этого уровня предполагают поиск несколько правильных ответов на поставленный вопрос, причем их количество определено в инструкции. Дистракторы: имеются для заданной или запрашиваемой информации. Расположены они, как правило, в разных абзацах, но не в том абзаце, где находится ответ Формулировка задания: простая |
Если инструкции и задания сформулированы правильно, а текст подобран в соответствии с поставленной целью тестирования и измеряемым конструктом, то можно делать предположение относительно того, как будет данный испытуемый справляться с аналогичными видами текстов в реальной жизни. Другими словами, мы транслируем абстрактную психологическую и педагогическую цель (в данном случае, проверку понимания прочитанного), в систему конкретных поведенческих задач. Именно этот процесс и лежит в основе использования тестов как способа измерения эффективного чтения.
В Заключении подводятся основные итоги исследования и определяются пути развития лингводидактического тестирования умений чтения в неязыковом вузе.
Приложение содержит примерную спецификацию раздела «чтение для академических целей» итогового экзамена за курс обучения иностранному языку в неязыковых вузах, типологию структурных характеристик типов текста, таблицу определения уровня сложности заданий, примеры вопросов и заданий для запрашиваемой информации разного уровня сложности, а также типологию заданий, применяемых для проверки разных видов академического чтения.
Перспективность данного исследования состоит в том, что, по мере
разработки новых модулей Программы курса иностранного языка для неязыковых вузов в соответствии со стандартами третьего поколения, возникает необходимость определения тестового конструкта для итогового экзамена данных модулей. Определение конструкта «чтение для профессиональных целей» поможет обосновать содержание кандидатского экзамена по иностранному языку. Дальнейшая детализация подходов к разработке формата экзаменов по иностранному языку на основе выявления факторов и механизмов, способствующих сближению российской и европейской систем контроля, помогут достижению баланса между отечественными и европейскими традициями в оценке качества обучения.
Основные положения диссертации отражены в следующих публикациях:
- Кожевникова Л.А. Параметры тестового задания для измерения уровня сформированности умений // Вестник Самарского государственного университета. Выпуск №3 (53). – Самара: Изд-во Самарского гос.ун-та, 2007. С.216 – 222.
- Кожевникова Л.А. Основные параметры тестового задания для измерения уровня сформированности умений (на примере чтения).// Иностранные языки в школе. – М.: 2008, №6. Ч.2. С.14 – 20.
- Кожевникова Л.А. Тестология чтения: сравнительные характеристики тестовых заданий.// Вестник Московского университета. 19 серия. Лингвистика и межкультурная коммуникация. – М.: Изд-во МГУ, 2009. № 1. C. 36 – 45.
- Кожевникова Л.А., Ивахник С.А Основные характеристики тестовых форм контроля в оценке качества сформированности коммуникативных умений на иностранном языке. // Вестник Учебно-методического совета СамГУ, серия «ЕГЭ и качество набора студентов». – Самара: Изд-во Самарского гос. ун-та, 2004. С.86 – 90. (авторский вклад 90%).
- Кожевникова Л.А. О наиболее типичных ошибках, допускаемых при составлении заданий множественного выбора. // Сборник материалов и тезисов докладов XII межрегиональной научно-практической конференции «Обучение иностранным языкам: настоящее и будущее». –Самара: Изд-во Самарского гос. аэрокосмического ун-та, 2006. С.112 – 119.
- Кожевникова Л.А. Учет структурных характеристик текста при составлении теста. // Сборник «Язык, образование и культура». – Саратов: ИЦ «Наука», 2007. С.94 – 100.
- Кожевникова Л.А. Учебные и тестовые стратегии. Ученые записки Российской международной академии туризма (Казанский филиал). – Казань: Издательство Универсум, 2007. Выпуск 3, том 2. С.8 – 15.
- Кожевникова Л.А. Особенности определения конструкта «Чтение для академических целей» (на примере экзаменов iBT TOEFL и IELTS) // Сборник научных статей Международного форума специалистов в области лингвистики и иноязычной коммуникации «XXI век: содружество лингвокультур».– Самара: Изд-во МГПУ, 2008. С.121–127.
- Кожевникова Л.А. Определение индекса сложности текста // Сборник статей межвузовской конференции «Практика преподавания иностранных языков на неязыковых специальностях вуза». – Самара: Изд-во Самарской гуманитарной академии, 2008. С.25–31
- Кожевникова Л.А. Моделирование параметров измерения умений чтения для академических целей.// Сборник научных статей «Современные проблемы лингвистики, теории и практики преподавания ИЯ». Серия: Дискуссионный клуб FLT: современные тенденции и опыт профессионалов. Вып. 7. – М.: МАКС Пресс, 2009. С.364 – 371.
[1] Программа курса иностранного языка для вузов неязыковых специальностей (170 – 240 часов аудиторных занятий/ под ред. проф. К.Г. Павловой.– Москва, 2004. 77 с.
[2] Программа курса иностранного языка для вузов неязыковых специальностей…
[3] Коккота В.А. Лингводидактическое тестирование. М. :Высшая школа, 1989.С.87
[4] В разработке таблицы использовались подходы, предложенные в статье Chikalanga I. A suggested taxonomy of inferences for the reаding teаcher.//Reаding in a Fоrеign Language, № 8(2), 1992.P.697-709.
[5] Weir, C.J. Language Testing and Validation: An Evidence-based Approach. Oxford: Palgrave, 2005. 272 p.
