15.06.2012 10658

Характеристика педагогических тестов, применяемых для контроля и диагностики образовательных достижений в системе профессионального образования

 

Научными основами разработки и применения педагогических тестов занимается наука, называемая дидактической тестологией. Тестология - наука, о принципах разработки, научной апробации и эффективном применении тестов, проведении тестирования и анализа результатов в различных областях человеческой деятельности.

Разработка и применение педагогических тестов в системе образования является предметом исследований в работах А. Анастази, B.C. Аванесова, Т.М. Балыхиной, В. И. Звонникова, Н.А. Гулюкиной, С.В. Клишиной, В.Ю. Переверзева, М.Б. Челышковой, Н.Ф. Ефремовой, Д.Эденборо, К. Денека, W.N. Angoff, G. Rasch, F. Lord Trevor G. Bond, Christine M. Fox и др.

В теории дидактической тестологии различают две группы тестов: тесты достижений и тесты способностей. В свою очередь, тесты достижений представлены двумя разновидностями: широко ориентированные тесты и тесты достижений по конкретным учебным предметам.

Широко ориентированные тесты достижений ориентированы на оценку навыков по основным целям обучения (например, тесты на понимание научных принципов).

Тесты достижений по конкретным предметам ориентированы на оценку усвоения элементов учебных дисциплин, конкретных тем, уровня овладения навыками. По мнению М.Б. Челышковой, такие тесты выполняют несколько функций: выступают как средство оценки знаний, выявляют недостатки обучения, подсказывают направление последующего обучения, обеспечивают мотивацию студента, помогают приспособить обучение к потребностям индивида, дают информацию об уровне знаний, усвоенных студентами.

Таким образом, главная цель применения педагогических тестов - систематическое измерение и получение достоверных сведений о качестве результатов учебной деятельности. На сегодняшний день тесты достижений являются лидером в системе средств педагогического контроля в профессиональном образовании за счет ряда преимуществ перед традиционными формами, к таковым можно отнести: технологичность, оперативность, объективность, систематичность, комплексность, полифункциональность, универсальность, элиминирование негативного восприятия со стороны обучаемого на преподавателя.

Для контроля и оценки учебных достижений обучающихся в системе профессионального образования применяется большое разнообразие педагогических тестов. В первую очередь, педагогические тесты различаются по времени предъявления: тесты для входного (предварительного) контроля, которые служат основой для установления исходного уровня подготовленности обучающихся; для текущего контроля - осуществляют оперативную функцию обратной связи в ходе изучения дисциплины; для рубежного контроля - оценивание объема накопленных знаний и тесты для итогового контроля, которые позволяют установить уровень овладения материалом изученной дисциплины.

С точки зрения диагностической направленности тесты бывают нормативно-ориентированные (позволяют сравнивать уровень достижений отдельных испытуемых друг с другом) и критериально-ориентированные (оценивание степени овладения необходимым учебным материалом). В настоящее время в практике профессионального образования наибольшее применение нашли две разновидности критериально-ориентированных педагогических тестов: domian-referenced test (используется для оценивания доли от полного объема учебного материала) и mastery tests (квалификационные тесты).

По процедуре создания тесты бывают стандартизированные (педагогические тестовые измерители) и нестандартизированные (тестовые материалы или предтесты). Под стандартизацией понимается процесс создания теста, его экспериментальная проверка и апробация среди большого контингента испытуемых для выявления соответствия теста требованиям единого стандарта, а также выявления эффективности тестовых материалов при контроле заданных параметров. Стандартизация теста осуществляется на большой репрезентативной выборке испытуемых того типа, для которого предназначен тест. Процедуры стандартизации тестовых материалов базируются на стандартах, содержащих в себе требования к содержанию, к форме, к статистическим данным о результатах выполнения теста и т.д.

По содержанию тесты бывают гомогенные, проверяющие уровень знаний по отдельной дисциплине; гетерогенные - по нескольким смежным дисциплинам; интегративные - по нескольким учебным дисциплинам.

По цели тестирования выделяют: тесты достижений (в свою очередь, тесты достижений могут различаться по задачам измерения, в этом случае различают тесты общей результативности, степени усвоения знаний, общего развития, интеллектуальных способностей и т.д.); тесты способностей (тесты общего интеллекта).

В зависимости от расположения заданий в тесте различают тесты: возрастающей сложности (каждое последующее задание, труднее предыдущего); смешанные (задания в тесте располагаются в соответствии с логикой изучения дисциплины); адаптивные (очередность предъявления задания зависит от успешности выполнения предыдущего, если тестируемый выполнил задание верно, ему предъявляется задание более высокого уровня сложности, если не справился с заданием, предъявляется задание более «легкое»).

По количеству испытуемых, для которых предназначено использование теста, различают: индивидуальные тесты и групповые.

По технологии предъявления выделяют компьютерные и бланковые тесты. При компьютерном тестировании текст заданий, варианты ответов и поля для верных ответов располагаются на мониторе персонального компьютера, при бланочном тестировании - на специальных бумажных бланках. По мнению, В.И. Нардюжева компьютерное тестирование обладает рядом преимуществ, которые позволяют:

- применять новые адаптивные алгоритмы тестового контроля;

- использовать в тестах мультимедийные возможности компьютеров;

- уменьшить объём бумажной работы и ускорить подсчёт результатов,

- упростить администрирование и проводить тестирование круглый год;

- обеспечить комфортные условия работы для каждого тестируемого;

- повысить секретность и оперативность передаваемой информации;

- снизить затраты на организацию и проведение тестирования.

Главным составляющим элементом теста является тестовое задание.

Общепризнанной классификацией видов тестовых заданий в отечественной практике является классификация, предложенная B.C. Аванесовым, которая включает в себя 4 основных типа тестовых заданий:

- задания с выбором ответа (закрытые задания) - к заданию предоставляются готовые ответы, один или несколько из которых правильные и «отвлекающие» варианты ответов (дистракторы). Основная цель заданий закрытой формы - быстро проверить ориентированность студента в данной учебной дисциплине по профориентированной работе для самопроверки. При этом используется выборочность ответа на поставленный вопрос;

- задания открытой формы - представляют собой утверждение с неизвестной переменной и используются для проверки основных понятий, законов, фактов. Ответ заданной формы тестового задания определяется в виде одного (реже двух) ключевого термина, значение которого является обязательным;

- задания на установление правильной последовательности - предназначены для проверки правильного владения последовательностью действий, процессов, операций, суждений, вычислений. Эти задания используются, преимущественно, для оценки уровня профессиональной подготовки, а также для контроля знаний основных понятий и законов изучаемой учебной дисциплины;

- задания на установление соответствия - это задания, в которых необходимо установить соответствие элементов одного множества элементам другого. Каждый вид тестового задания подразделяется на подтипы, основанием для выделения которых является форма представленности вариантов правильных ответов.

Несмотря на многообразие видов, типов тестов и тестовых заданий и очевидную привлекательность тестовых технологий в целом, применение их в практике образования до сих пор не стало масштабным по ряду причин:

- педагогические тесты, являясь измерительным инструментом, предназначены для оценивания учебных достижений обучающихся с некоторой долей погрешности, которая устанавливается эмпирически;

- достоверность оценки учебных достижений обучающихся зависит не только от качества педагогического теста, но и от качества технологии разработки и применения педагогических тестов в целом;

- процесс разработки стандартизированного педагогического теста достаточно длителен по времени и трудоемок, требует специально подготовленных специалистов;

- отсутствие интеграции тестовых технологий и традиционных форм контроля в процессе обучения и аттестации обучающихся.

В этой связи возникает необходимость в поиске путей повышения качества педагогических тестов с целью обеспечения достоверной оценки учебных достижений обучающихся.

Изначально качество педагогического теста задается на этапе их разработки посредством соблюдения рекомендуемых этапов. Процедура разработки едина для всех видов педагогических и психологических тестов. В методической литературе по дидактической тестологии авторы описывают разное количество этапов данной процедуры, так М.Б. Челышкова выделяет 18 этапов конструирования педагогических тестов, А, Анастази, B.C. Аванесов, А.Н. Майоров, В.Ю. Переверзев и т.д. Количество выделяемых этапов у разных авторов зависит от степени их укрупненности.

Наиболее полное описание процедуры разработки тестов представлено М.Б. Челышковой. Она выделяет и описывает следующие этапы:

- Определение цели тестирования, выбор вида теста и подхода к его созданию.

- Анализ содержания учебной дисциплины.

- Определение структуры теста и стратегии расположения заданий.

- Разработка спецификации теста, априорный выбор длины теста и времени его выполнения.

- Создание предтестовых заданий.

- Отбор заданий в тест и их ранжирование согласно выбранной стратегии предъявления на основании априорных авторских оценок трудности заданий.

- Экспертиза содержания предтестовых заданий и теста.

- Экспертиза формы предтестовых заданий.

- Переработка содержания и формы заданий по результатам экспертизы.

- Разработка методики апробационного тестирования.

- Разработка инструкций для учеников и для преподавателей, проводящих апробацию теста.

- Проведение апробационного тестирования.

- Сбор эмпирических результатов.

- Статистическая обработка результатов выполнения теста.

- Интерпретация результатов обработки в целях улучшения качества теста. Проверка соответствия характеристик теста научно обоснованным критериям качества.

- Коррекция содержания и формы заданий на основании данных предыдущего этапа. «Чистка» теста и добавление новых заданий для оптимизации диапазона значений параметра трудности и улучшения системообразующих свойств заданий теста. Оптимизация длины теста и времени его выполнения на основании апостериорных оценок характеристик теста. Оптимизация порядка расположения заданий в тесте.

- Повторение      этапа апробации для выполнения очередных шагов по повышению качества теста.

- Интерпретация данных обработки, установление норм теста и создание шкалы для оценки результатов испытуемых.

В процессе конструирования педагогического теста средством оценки его качества является процедура экспертизы. Главная цель экспертизы - выявление некачественных тестовых материалов. Проблема заключается в том, что экспертиза, являясь обязательным этапом разработки тестовых материалов, до сих пор методологически полностью не исследована, не описаны возможности и роль экспертизы качества тестовых материалов с точки зрения системного и квалиметрического подходов. Отсутствие методической и технологической стороны экспертизы качества тестовых материалов на практике приводит к тому, что экспертиза очень часто пропускается и в результате для тестирования применяются некачественные тестовые материалы.

Основополагающим вопросом в методологии экспертизы качества тестовых материалов является определение «качества» тестовых материалов. Согласно международным стандартам ИСО 9000-2001, ИСО 9001-2000 и ИСО 9004-2000 под качеством в общем смысле понимается «степень, с которой совокупность собственных характеристик выполняет требования». Качество объекта обнаруживается в совокупности его свойств, но объект не состоит из свойств, а обладает ими. При этом категория качества не сводится к отдельным свойствам, а является целостной характеристикой существенного, выражает внутреннюю и внешнюю определенность, относительную устойчивость объекта, его отличие от других объектов или сходство с ними. Следовательно, качество тестовых материалов можно рассматривать как соответствие совокупности требований к качеству тестовых материалов. Для описания совокупности требований к качеству тестовых материалов необходимо выявить свойства, характеризующие данный объект. Традиционно тест рассматривается как средство педагогического измерения. В рамках данного подхода под тестом понимается «инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств и свойств личности, измерение которых возможно в процессе систематического обучения». В соответствии с данным определением «тест должен содержать как минимум назначение (диагностические цели и задачи в операциональных терминах конкретных действий); точные сведения об авторах-разработчиках; данные об особенностях и репрезентативности выборки контингента обследуемых, на котором апробировался тест; краткое описание основных нормативов, критериальных оценок или получаемых при апробации результатов (по разным выборкам, если их было несколько); сведения о надёжности теста, о его валидности; инструкции организаторам по проведению процедуры тестирования, обработке данных результатов тестирования». Помимо традиционного подхода существует и иной, который характеризует тест как результат применения теста как метода измерения. В последнее время в работах исследователей по дидактической тестологии и др. наметился качественно иной подход к определению теста с позиций системного и квалиметрического подходов, согласно которому тест рассматривается как измерительное средство, представляющее собой стандартизированную систему калиброванных заданий специфической формы, позволяющее надежно и объективно оценить уровень учебных достижений испытуемых и выразить результат в числовом эквиваленте. Применение квалиметрического и системного подходов позволило выявить ряд специфических свойств, присущих тестовым материалам. С позиций квалиметрического подхода тестовые задания (ТЗ) и тест в целом детализируют в логике системо-деятельностного подхода требования к результатам подготовки обучающихся, которые выступают в качестве базы сравнения при оценке индивидуальных образовательных достижений. С позиций системного подхода - тест рассматривается как система, состоящая из подсистем - тестовых заданий, обладающий рядом свойств, характерных для системы в целом: целостность, неаддитивность, эмерджентность, синергизм, обособленность, совместимость и адаптивность.

Целостность теста характеризуется рядом свойств и особенностей. Многогранность целостности отражается наличием у теста общей цели - гарантии оценки качества подготовки обучающихся и характеризуется дифференциацией, интеграцией и асимметрией тестовых заданий, решающих различные задачи для достижения заданной цели.

Неаддитивность означает появление нового качества теста как системы, возникающее в результате интеграции ТЗ в единое целое. При этом интеграция ТЗ во многом определяется их совместимостью - взаимосвязанностью внутри теста в логике совместимости самого теста с элементами других систем, входящих в систему обучения:

- требованиями государственного образовательного стандарта и образовательной программы к содержанию и результатам подготовки обучающихся;

- программой и кодификатором учебной дисциплины;

- другими контролирующими (оценочными) материалами (контрольными заданиями, опросниками, заданиями на выполнение лабораторных работ и пр.).

При успешной интеграции ТЗ тест проявляет свойство синергизма, что означает одно направленность действий тестовых заданий и теста в целом.

Эмерджентность означает появление у теста эмерджентных свойств, которые не присущи составляющим ее элементам - ТЗ.

Обособленность теста как системы заключается в некоторой его изолированности системы от взаимодействия с другими контролирующими (оценочными) материалами в общей иерархии построения системы обучения, контроля и оценки образовательных достижений обучающихся.

Адаптивность - свойство теста как системы, характеризуется возможностью применения теста в изменяющихся внешних и внутренних условиях вследствие коррекций в целях обучения и содержания учебных дисциплин.

Таким образом, тест характеризуется совокупностью внутренних и внешних свойств. Внутренние свойства отражаются во взаимодействии в системе «объект-объект» во внутренней структуре теста и являются качественными неотъемлемыми характеристиками (атрибутами), стабильными и не зависящими от исследуемого контингента учащихся. Они имманентно присущи тестовому заданию. К таковым можно отнести: содержание и форму ТЗ, логичность структуры, тематическую принадлежность и пр. В отличие от внутренних свойств внешние свойства теста отражают взаимодействие в системе «субъект - объект». При этом внешние свойства ТМ представляют собой динамический элемент качества, проявляющийся во взаимодействии внутри теста - источник появления новых свойств у качества теста по отношению к качеству его частей (тестовых заданий) и во взаимодействии вне теста, либо с другими измерителями оценки образовательных достижений, либо внешней средой (группа испытуемых и условия проведения тестирования) - источник изменения свойств во времени. Внешние свойства тестовых заданий и тестов характеризуются количественными характеристиками, полученными в результате обработки результатов тестирования. В соответствии с выше изложенным, под качеством тестового материала будем понимать интегральное свойство содержательных, формальных, функциональных и структурно - логических характеристик, обусловливающих достоверность оценки образовательных достижений обучающихся.

Таким образом, выявление внутренних и внешних свойств качества тестовых материалов дает возможность описать основные требования к качеству тестовых материалов, тем самым определить методологическую базу оценки качества.

 

АВТОР: Максимова О.А.