Основы методологии экспертизы качества тестовых материалов

Теория и практика экспертизы качества тестов получила свое научное обоснование в рамках сравнительно молодой науки-экспертологии. Экспертология представляет собой комплексную дисциплину, включающую в себя совокупность методов, приемов, средств экспертной и оценочно - аналитической деятельности.

Основу методологии экспертизы качества тестовых материалов составляют методы:

- теории измерения изучаемых объектов, заимствованные у психометрики;

- теории квалиметрии и метрологии; S теории экспертных оценок;

- теории эффективности применяемых процедур оценивания и критериев оценки качества объектов;

- теории информативности и полезности применяемых процедур.

Под экспертизой в общем виде понимают исследование какого-либо вопроса, требующего специальных знаний, с представлением мотивированного заключения. Термин экспертиза происходит от латинского expertus, что означает опытный. Эффективность применения экспертизы во многом зависит от принципов ее организации и проведения, к таковым относятся:

- принцип системности экспертизы предполагает системную организацию экспертной деятельности, ее нормативного и методологического обеспечения.

- принцип комплексности экспертизы позволяет выявить все структурные элементы исследуемого объекта, тем самым реализовать многокомпонентный и многофакторный анализ объектов экспертизы. Соблюдение данного принципа при организации и проведении экспертизы позволяет получить наиболее достоверную информацию об объекте.

- принцип объективности экспертизы основывается на надежности, достоверности и полноте получаемой в ходе экспертной деятельности информации.

- принцип независимости мнений экспертов является одним из важнейших принципов, обеспечивающих объективность экспертизы.

- принцип профессиональной компетентности экспертов. Профессиональная компетентность привлекаемых экспертов оценивается объемом их знаний, стажем работы в профессиональной сфере и умением применять свои знания на высшем уровне анализа исследуемого объекта.

- принцип преемственности этапов в проведении экспертизы означает, что каждый последующий этап включает в себя информацию от предыдущего этапа. Итоговое заключение об исследуемом объекте формируется кумулятивно к заключительному этапу экспертизы.

- принцип необходимости контроля за соблюдением процедур экспертизы. Во избежание неэффективности полученных результатов экспертизы необходимо четко и строго соблюдать последовательность технологических процессов экспертизы. С этой целью разрабатываются инструкции по проведению экспертизы, экспертные карты, анкеты-опросники и пр.

- Субъект оценивания. В качестве субъектов оценивания качества ТМ выступают эксперты и тестологи. Экспертная деятельность направлена на получение экспертных оценок. В процессе экспертной деятельности эксперту необходимо вынести суждение об оцениваемом объекте. В научной литературе по экспертологии экспертные суждения трактуются как экспертные оценки. По сути своей экспертные оценки предстают как ответ эксперта по поставленному вопросу. Данный факт подразумевает, что в процессе экспертной деятельности экспертом проводится исследование свойств и характеристик оцениваемого объекта. Эти исследования могут проводиться в виде цепочки логических умозаключений, аналитических исследований, проверочных расчетов, экспериментов, моделирования или их комбинации. Сформированные в процессе проведения экспертизы, экспертные оценки могут быть представлены в виде содержательной, качественной или количественной оценки исследуемого объекта.

- Объект оценивания. В качестве объектов оценивания выступают ТЗ, тесты и сопутствующая этапу разработки нормативная документация: спецификация, кодификатор, инструкции для тестируемых и инструкции для организаторов тестирования.

- База оценивания. В качестве базы оценивания качества ТМ выступает сбалансированная система критериев качества и соответствующие им базовые значения показателей. В связи с тем, что целью экспертизы качества ТМ, является выявление степени соответствия оцениваемых объектов предъявляемым требованиям, возникает необходимость описать критерии качества. Согласно стандартам ИСО 9000: 2000, ИСО 9001: 2000 критерий оценки качества есть совокупность требований, которые используются как основа для сравнения.

В научной литературе по дидактической тестологии нет единого мнения о том, каким количеством критериев качества характеризуются тестовые материалы, так ряд авторов выделяют два элемента системы критериев-надежность и валидность и др., другие рассматривают в качестве критериев качества теста надежность, валидность и объективность и др., третьи-надежность, валидность, объективность, экономичность и полезность и др.

Рассмотрим наиболее часто применяемые критерии качества тестовых материалов.

Надежность (reliability) - критерий качества тестов, отражающий точность педагогических измерений, степень постоянства, стабильности, устойчивости результатов тестирования. Надежным считается тест, который дает постоянные результаты, оценки при повторных предъявлениях. От того, как составлен тест, как подобраны задания с точки зрения их согласованности и степени соответствия целям тестирования, насколько данный тест считается диагностическим, насколько технологичен в обработке и интерпретации результатов зависит точность и объективность применения тестовых измерителей для контроля уровня учебных достижений студентов. Надежность по своей структуре представляет собой комплексный критерий качества тестовых измерителей. Он складывается из частных критериев объективности (в психодиагностике данный критерий определяется как показатель константности, т.е. относительная независимость результатов от личности экспериментатора), надежности применяемых методик и относительной стабильности контролируемых уровней учебных достижений.

Валидность - критерий качества ТМ, отражающий обоснованность, значимость его результатов, адекватность теста целям измерения (т. е. тест дает ответ на вопрос: измеряют ли задания то, что хотели их составители). Как разновидность валидности наибольшее значение для характеристики качества ТЗ и тестов имеет содержательная валидность (валидность по объему), которая представляет собой, степень представленности в тесте содержания программы, учебника, набора ситуаций и т. п.. Так А.Г. Шмелев, характеризуя содержательную валидность в области психодиагностики отмечает, что «содержательная валидность теста автоматически требует представленности в нем моделей всех разнообразных феноменов, из которых складывается измеряемая область поведения». По мнению ряда исследователей, содержательная валидность педагогического теста отражает степень соответствия, широты трактовки того, что именно должно проверяться и измеряться данным тестом. Содержательная валидность характеризуется через концептуальную и куррикулярную (программную) валидность. Под концептуальной валидностыо понимается соответствие теста или тестового задания, во-первых, содержанию, во-вторых, структуре и, в-третьих, терминологии учебного материала. Обеспечение высокой степени концептуальной валидности теста или тестового задания может быть достигнуто за счет полной систематизации учебных программ и государственных образовательных стандартов. Каждый учебник, учебное пособие или государственный образовательный стандарт представляют собой отражение определенной концепции учебной дисциплины.

Помимо содержательной валидности выделяют очевидную валидность (очевидная валидность характеризует целесообразность, значимость теста с точки зрения испытуемого), функциональную валидность - соответствие теста контролируемым уровням усвоения учебного материала. Конструктная валидность дидактического теста - это отражение в нем теоретической модели курса, его структурных пропорций и основных компонентов на всех уровнях - вплоть до учебных элементов. Следующий не менее важный критерий качества тестов - критериальная валидность. В психодиагностике критериальная валидность рассматривается как возможность суждения по результатам теста об интересующем аспекте поведения индивида в настоящем и будущем. На основании этого различают текущую валидность и прогностическую валидность. Критерий прогностической валидности дидактического теста предназначен для оценки прогнозирования успеваемости студентов. Особенность прогностической валидности дидактических тестов заключается в том, что она должна отражать возможные профессиональные достижения в будущем. По мнению А. Анастази, для педагогических тестов наиболее подходящей является текущая валидность. В отличие от прогностической, текущая валидность оценивает фактический уровень учебных достижений студентов, что позволяет оценить степень отставания студентов от планируемого уровня усвоения учебной дисциплины. По сути своей, текущая валидность имеет прогностическую направленность, но эта направленность несет в себе качественно иную характеристику. Поэтому целесообразно оценивать текущую валидность для тестов рубежного контроля, а прогностическую - для тестов входного контроля. При этом, применяя тест с высокой степенью прогностической валидности, для входного контроля появляется возможность по результатам выполнения теста дифференцировать студентов по разным уровням для дальнейшего обучения, что используется наиболее часто для лингводидактического тестирования.

Технологические этапы включают в себя следующие процедуры экспертизы:

- Формирование цели экспертизы качества ТЗ и тестов.

- Классификация свойств ТЗ и тестов, определяющих критериальную базу оценивания качества ТМ.

- Декомпозиция комплексных критериев качества тестов и ТЗ.

- Формирование процедур и алгоритмов оценивания, выбор методов экспертного оценивания, апробационного тестирования и шкалирования с целью получения итоговых комплексных показателей качества ТЗ.

- Формирование процедур и алгоритмов оценивания, выбор методов экспертного оценивания, апробационного тестирования и шкалирования с целью получения итоговых комплексных показателей качества целых сформированных тестов.

- Формирование базовых (нормативных) значений показателей качества ТЗ и тестов.

- Нормирование показателей качества ТЗ и тестов, приведение их к стандартному виду.

- Перевод количественных показателей качества ТЗ и тестов в их качественные аналоги.

Особую значимость в процедуре формирования логики экспертизы качества ТМ приобретает проблема определения нормативных значений показателей качества. Нормативный показатель качества ТМ - это значение показателя качества, принятое за основу при оценивании качества объекта экспертизы. Базовые показатели качества ТМ могут быть установлены несколькими способами:

- в результате заимствования из зарубежных и отечественных источников;

- в результате проведения апробационного тестирования на выборочной совокупности тестируемых, соответствующих свойствам и характеристикам репрезентативной выборки;

- в результате формирования «эталонного теста» из совокупности использованных тестов при проведении тестирования. Особенность, а вместе с ней и методическая сложность экспертизы ТМ, заключается в том, что показатели качества ТМ обладают разнородной выраженностью, т.е. часть показателей может быть выражена числом, а часть - лингвистическими переменными. В связи с этим, в логике оценивания качества ТМ, необходимо предусматривать процедуры формализации, нормирования и интеграции показателей качества ТМ. Данная проблема может быть решена только в рамках комплексного оценивания качества ТМ. Можно сделать вывод о том, что представляя экспертизу как процессную деятельность этапа разработки тестов достижений обучающихся, формирование перечня критериев оценки качества и установление базовых значений к показателям - это необходимые условия проведения и регламентации процедур экспертизы качества ТМ.

АВТОР: Максимова О.А.