Тест как средство диагностики и контроля при определении уровня сформированности фонетических навыков
Определения и классификация тестов в отечественной и зарубежной науке. О тестах, как о разных видах проверки и экзамена, говорится давно. Рассмотрение тестирования в качестве научного метода измерения связано с именем английского психолога Ф.Гальтона и французского невролога и психолога А.Бине. Ф.Гальтон (1822-1911), под влиянием работ Ч.Дарвина ввел в психологию идею наследственности, пытаясь с ее помощью определить различия людей. Он разработал некоторые приемы диагностики способностей, которые положили начало тестологическим испытаниям. Ф.Гальтон разработал также методы статистической обработки данных и методы применения массового анкетирования. А.Бине (1857-1911), являясь пионером в применении экспериментальных методов при изучении высших психических функций индивида, считается основоположником тестологического движения.
Опираясь на теоретические положения и практические выводы вышеперечисленных ученых, зарубежные и отечественные специалисты предприняли попытку дать определение психологическим тестам
(Бернштейн, 1968; Гильбух, 1986, Cattel,1890; Анастази,1982 и др.). В силу многозначности понятия «тест» (от англ. test - проба, проверка, испытание, эксперимент) разные исследователи в области психологии вкладывают в это понятие не всегда идентичное содержание а именно: систематизированная процедура для наблюдения и описания поведения индивида с помощью шкалы или понятной схемы (Бернштейн, 1968), объективное и стандартизованное измерение выборки поведения индивида (Анастази, 1982) и т.д. Принимая во внимание сказанное, можно констатировать тот факт, что наряду с установленными отличительными особенностями тестов (систематизированность, объективность, наличие шкалы оценок) достаточно точного определения термина «тест» в психологии нет. Зарубежными психологами и специалистами в области психолингвистического тестирования выделены следующие категории тестов: тесты фактических знаний, тесты достижений, тесты предрасположенности к изучению иностранного языка и так называемые диагностирующие тесты; созданы разные модификации основных классификаций тестов (Бернштейн, 1968; Гильбух, 1986; Allen,Devis,1977;. Анастази, 1982 и др.).
В отечественной литературе по проблемам тестирования отмечается, что в настоящее время существует пять наиболее точных определений теста, имеющих ряд общих и дополняющих друг друга черт. Из определений теста следует, что тест - это кратковременное, технически просто обставленное испытание (Воскерчьян, 1963), централизованный, формализованный письменный контроль (Цатурова, 1971), длительность и характер которого строго соотнесены с объективными факторами (Штульман, 1972), совокупность его вопросов и заданий составлены в соответствии с требованиями, предъявляемыми к тесту, условия выполнения одинаковы для всех, а результаты выполнения заданий поддаются количественной оценке, на основе которой происходит их качественная интерпретация (Кок-кота, 1989). Каждое из указанных определений включает в себя требования, предъявляемые к тесту, но имеет ряд неточностей. Определение С.И.Воскерчьяна является слишком упрощенным. Автор считает тест кратковременным испытанием, в то время как определенные стандартизованные тесты могут длиться час, два и более. И. А.Цатурова называет тестом только письменный контроль, но в настоящее время уже имеются и достаточно четко разработаны тесты устной речи, например, тест - интервью (термин И.Томпсон, 1990). Как и в определении Э.А.Штульмана, здесь опущено упоминание о процессе подготовки и разработки теста (планирование, составление, апробирование), что присутствует в определении В.А.Коккота (1989).
Наиболее убедительным и приемлемым представляется определение теста, данное И.А.Рапопортом, которое послужило основой при определении нами фонетического теста. По мнению автора «тест - это самым тщательным образом в соответствии с определенными разработанными правилами, прошедшая предварительную экспериментальную проверку и специальную процедуру для ее улучшения, имеющая достаточные характеристики своей эффективности, совокупность вопросов и заданий, предъявляемых испытуемому с целью квалиметрического выявления (измерение уровня учебных достижений испытуемых, оценка качественных характеристик этих достижений с помощью количественных методов - Е.К.) психических и психофизиологических характеристик его личности, отличающаяся формализацией ответов испытуемых, выделением в них части, несущей наибольшую информационную нагрузку, что ускоряет, облегчает и объективизирует их последующий анализ, обработку и интерпретацию» (Рапопорт, 1987, с. 90). Другими словами, языковый тест должен быть подготовлен в соответствии с определенными требованиями, пройти предварительное апробирование с целью получения показателей его качества и выявления у тестируемых степени их языковой (лингвистической) и речевой (коммуникативной) компетенции, а результаты тестовых заданий должны быть дифференцированы и оценены по заранее установленным критериям.
Что касается классификации тестов, то она не нашла единого выражения в тестологической литературе; в работах большинства теоретиков тестирования нет единого мнения по вопросу категориальности языковых тестов, а также по вопросу критериев выделения тестов в определенные группы (Штульман, 1972; Цатурова, 1972; Рапопорт, 1987; Schonnel,1950; Анастази, 1982 и др.). В исследованиях по проблемам тестирования предпринята попытка выделения четырех категорий тестов:
- Тесты предрасположенности/способности к изучению иностранного языка, определяющие способности экзаменующегося по иностранному языку и время, необходимое ему для овладения языком (aptitude tests). Эту категорию иногда называют тестами прогнозирования, что, на наш взгляд, является наиболее удачным, так как в данном случае дается прогноз на будущее в связи с овладением языковой системой изучаемого иностранного языка.
- Тесты фактических знаний - не ориентированы на программу, с их помощью определяется уровень владения иностранным языком (general proficiency tests).
- Тесты достижений, которые ориентированы на программу определяют достижения в знаниях, навыках и умениях, приобретенных в процессе обучения за определенный период времени (achievement tests). Тесты достижений, по нашему мнению, могут носить характер контролирующих тестов, так как для обеих категорий важен конечный (положительный или отрицательный) результат: и тесты достижений, и контролирующие тесты определяют степень владения языком, уровень сформированности фонетических и лексико-грамматических навыков в разных видах речевой деятельности. Тесты учебных достижений составляются точно по программе или по пройденному языковому материалу и используются, как правило, для осуществления итогового контроля. Основной интерес в них сосредоточен на том, «что индивид может знать и делать к настоящему времени» (Анастази, 1982, с.183). Кроме того, тесты достижений помогают приспособить определенный курс обучения к потребностям индивида. Вышеуказанные тесты можно использовать и как средство оценки, усовершенствования и постановки задач обучения, т.к. тесты достижений дают информацию о соответствии знаний, навыков и умений, приобретенных учащимися, тому, что они действительно должны были усвоить. С помощью подобных тестов можно четко проанализировать степень реализации цели обучения и проконтролировать адекватность содержания и методов поставленным целям и задачам.
- Диагностирующие тесты, ориентированные на учебную программу, ставят своей целью выявление наиболее слабых сторон знаний (что не знают) и навыков учащихся для того, чтобы принять меры для их устранения (diagnostic tests). Диагностика преследует цель получения возможно более полной информации об отдельном учащемся и использования ее для эффективности обучения каждого. Применительно к области иностранного языка вообще и русского как иностранного, в частности, это означает выявление в процессе обучения уровня сформированности речевых навыков с тем, чтобы не только своевременно провести их коррекцию, но и в случае необходимости изменить методику обучения. Диагностирующие тесты имеют важное значение и предназначены для преподавателя, так как проводятся для того, чтобы выявить слабо усвоенные разделы программы (Штульман, 1972). Другими словами, диагностирующие тесты необходимы для определения уровня сформированности речевых навыков, а также для необходимой коррекции заданий контролирующего теста.
В настоящем исследовании нас интересуют следующие категории тестов: диагностирующие тесты, тесты достижений в качестве контролирующих тестов и тесты предрасположенности к изучению иностранного языка, в которых мы выделяем языковую чувствительность, как вариант тестов способности к изучению иностранного языка.
Таким образом, до настоящего времени в методической и тестовой литературе основными дискуссионными вопросами остаются три вопроса: проблема определения теста и его категорий, а также вопрос о критериях выделения тестов в отдельные группы (Суворов, 1970; Штульман, 1972; Дадыкина, 1974 и др.).
Понятие «фонетический тест» и его назначение. Методика преподавания русского языка как иностранного чрезвычайно значимой рассматривает проблему формирования слухопроизносительных навыков как одну из наиболее важных. Данная проблема является частью общего актуального для методики вопроса формирования речевых навыков и умений у студентов - иностранцев. При этом диагностика и контроль являются необходимым и неотъемлемым условием в процессе обучения. В настоящей работе рассматривается применение фонетических тестов только как средства диагностики и контроля.
В отечественной тестологической науке проблема тестирования слухопроизносительных навыков была затронута в ряде работ (Сорокина, 1973; Галеева, Соколова, 1974; Федотова, 1989 и др.).
Наиболее близкой к теме нашего исследования является работа Е.В.Сорокиной (1973), в которой автор рассматривает вопрос о принципах составления фонетических тестов и их оценке на начальном этапе обучения. В практической части нашего исследования мы опираемся на теоретические выводы, сделанные Е.В.Сорокиной, о а) связи стадиальности проведения контроля за уровнем сформированности фонетических навыков с этапами их формирования и б) учете специфики родного языка учащихся при составлении системы фонетических тестов диагностирующего и контролирующего характера.
За рамками этой и других вышеуказанных работ остаются такие важные вопросы как классификация фонетического теста, его критерии и содержание, принципы отбора языкового материала, учет языковой и психологической личности учащихся. Данные вопросы стали предметом нашего исследования. Для решения названных проблем, прежде всего, необходимо дать определение терминам «пред-тест» и «фонетический тест». В общем виде в данной работе пред тест - это предварительная экспериментальная проверка вопросов уже разработанного теста с целью дальнейшей коррекции как заданий самого теста, так и языкового материала, входящего в него. В аспекте нашего исследования пред тестом является экспериментальная проверка заданий фонетического теста с тем, чтобы отобрать наиболее удачные формулировки заданий теста и входящий в них фонетический материал.
Под фонетическим тестом в нашей работе понимается комплекс заданий, прошедший предварительную проверку в пред-тесте, построенный с учетом особенностей фонетической системы родного языка учащихся и стадиальности формирования фонетических навыков, позволяющий выявить языковую чувствительность обучаемых и степень сформированности фонетических навыков.
При проведении контроля с помощью фонетических тестов выявляется уровень владения навыками фонетического оформления иноязычной речи и определяется объем усвоенных учащимися фонетических сведений о звуковой системе изучаемого языка. Цель контролирующего тестирования при обучении произношению - точное выявление общих и индивидуальных трудностей в процессе овладения звуковой стороной изучаемого языка, установление иерархической зависимости слуховых и произносительных навыков, определение наиболее легких и трудных позиций для слухового восприятия (Сорокина, 1973). В процессе обучения кроме поэтапного контроля слухопроизносительных навыков, предложенного Е.В.Сорокиной (1973), необходимо проводить, на наш взгляд, и диагностирующие фонетические тесты, которые должны быть выполнены учащимися за две недели до контролирующих тестов. Их цель - выявление неусвоенных или плохо усвоенных отрезков фонетического материала и дальнейшая коррекция заданий контролирующих тестов.
Классификация фонетических тестов построена нами на основе предложенной И.А.Рапопортом (1987) классификации языковых тестов по иностранному языку и сформулированных автором критериев этой классификации. Фонетическая классификация включает в себя две большие группы тестов: 1) по функциональным и содержательным критериям, 2) по формальным критериям и представляется наиболее законченной и отвечающей всем уже имеющимся критериям деления языковых тестов на определенные группы. Большая часть включенных нами в фонетическую классификацию видов и типов фонетических тестов подробнее охарактеризована ниже. Сущность других ясна из их названия.
Как свидетельствуют данные, классификация фонетических тестов включает два вида: 1) по функциональным и содержательным признакам, 2) по формальным, т.е. внешним признакам. Первый вид тестов, в свою очередь, объединяет тесты по виду контроля, по статусу контролируемой программы, по объекту контроля, по характеру контролируемой деятельности. По виду контроля фонетические тесты делятся на текущие, промежуточные и итоговые (подробнее см. Шатилов,1985). По статусу контролируемой программы тесты по фонетике представляют собой не стандартизованные тесты. В общем плане не стандартизованные тесты составляются для контроля знаний, навыков, умений учащихся одним-двумя преподавателями и имеют целью, как правило, проверку усвоения небольших фрагментов учебного языкового материала. Фонетические не стандартизованные тесты проверяют поэтапное усвоение фонетического материала, а также уровень сформированности слухопроизносительных навыков в течение всего периода обучения. Их экспериментальная проверка проводится лишь один раз, в то время как стандартизованные тесты составляются многочисленной группой специалистов (филологов, методистов, психолингвистов, дидактов, тестологов, математиков, психологов), охватывают довольно значительные разделы учебного курса или курса в целом (так называемая «батарея тестов» - Рапопорт и др., 1987) и несколько раз подвергаются тщательным поэтапным экспериментальным проверкам. В результате таких проверок определяются основные характеристики его качества. Тип тестов по объекту контроля включает в себя измеряющие слуховую и имитационную чувствительность учащихся, а также диагностирующие и контролирующие тесты, проверяющие усвоение фонетического материала и сформированность слухопроизносительных навыков. Фонетические тесты языковой чувствительности помогают преподавателю выявить степень слуховой и имитационной способности конкретного учащегося к восприятию и порождению звуков неродного языка. В процессе же последующего обучения полученные данные дают возможность преподавателю подобрать для каждого учащегося специальный комплекс упражнений, развивающий его способность к восприятию звучащего речевого потока на неродном языке. По характеру контролируемой деятельности фонетические тесты делятся на тесты лингвистической и коммуникативной компетенции.
Второй вид тестов по фонетике (по формальным признакам) объединяет следующие типы: по направленности тестовых заданий, по структуре и способу оформления ответов, по гомогенности заданий, по способу презентации речевого стимула, по характеру ответов ленидст в фонетические тесты состоят из заданий дискретного характера (discrete items), т.е. самостоятельных, независимых друг от друга, порядок и последовательность которых могут быть изменены без ущерба для эффективности теста. Например: 1) вычеркните знаком неправильное ударение в словах, 2) подчеркните знаком «-» слова, соответствующие данным схемам ритмических моделей, 3) прочитайте текст, соблюдая правильную интонацию, и др. По гомогенности заданий фонетические тесты могут быть простыми или сложными, состоящими из все более усложняющихся заданий. По структуре и способу оформления ответов данные тесты являются избирательными, т.е. такими, которые предполагают выбор одного правильного ответа из предложенных трех-пяти и более альтернатив. Работа над вопросами и заданиями с предложенными на выбор ответами дает учащимся пищу для размышлений, заставляет их сравнивать языковой материал, мобилизовать все свои знания и навыки для нахождения правильного ответа. Таким образом осуществляется управление процессом мышления. Конечно, попытки некоторых учащихся угадать ответ полностью не исключаются, но вероятность получения положительной оценки за такие ответы можно существенно уменьшить (Рапопорт и др.,1987). Необходимо отметить, что некоторые исследователи высказывают свое отрицательное отношение к избирательным тестам в связи с тем, что они вместе с правильными ответами предлагают и неправильные. Выражается опасение, что учащиеся могут запомнить неправильные ответы, хотя трудно допустить возможность обострения непроизвольной памяти учащихся во время работы над тестовыми заданиями до такой степени, чтобы некоторые из неправильных ответов запомнились. Кроме того, задания фонетических тестов строятся на различном, все более усложняющемся фонетическом материале, поэтому запоминание неправильных ответов, на наш взгляд, полностью исключается. B основу данных фонетических диагностирующих и контролирующих тестов составляют субтесты множественного выбора и клоуз-тесты или тесты восстановления.
Под субтестом в данном исследовании понимается часть теста, задание (задания), которой проверяют конкретные знания и/или навыки, где учащимся предлагается выбрать один правильный ответ из нескольких предложенных на выбор вариантов. Субтесты множественного выбора, применяемые наиболее часто для контроля усвоения учащимися языкового материала (фонетического, лексического, грамматического) или развития речевых умений. Субтесты множественного выбора основываются на элементарной психической функции узнавания, которая представляет собой начальную ступень процесса усвоения. Узнавание происходит благодаря тому, что в предъявляемом объекте обнаруживаются существенные признаки, которые позволяют отличить данный объект от сходного с ним. Учащемуся необходимо овладеть умением вычленять эти отличительные признаки и на этой основе уметь выделять данное языковое явление от остальных.
Однако процесс усвоения отличительных, признаков - это не есть еще процесс узнавания. Осмысление дифференцированных признаков происходит во время ознакомления с новым явлением. Что касается собственно узнавания, то оно представляет собой использование этих дифференцированных признаков для выяснения того, относится ли предъявляемый объект к объектам данного класса. Следовательно, опознавательный процесс можно определить как использование отличительных признаков в целях классификации предъявляемого объекта.
Для того чтобы произошло узнавание, в памяти учащегося должны быть зафиксированы образы (следы) воспринятых объектов. При опознавании сначала актуализируется, а затем включается в опознавательный процесс не обязательно лишь тот след, который соответствует предъявляемому объекту. В сложном взаимодействии следов и поступающей информации выясняется, какой именно след соответствует воспринятой информации.
При узнавании следы актуализируются не в отсутствие раздражителей, под воздействием которых они образовались, а тогда, когда эти раздражители вновь действуют на индивида. Таким образом, процессы узнавания функционально отличаются от более сложных процессов воспроизведения, при которых искомый объект отсутствует, но он должен быть найден, воспроизведен. Несмотря на генетически раннее происхождение, узнавание функционирует на высших проявлениях сознания: с одной стороны, оно граничит с восприятием, с другой - с мышлением (Величковский и др., 1973).
С помощью субтестов выборочного характера достаточно адекватно может быть осуществлен контроль сформированности действий узнавания: как и требуется для узнавания, в выборочных тестах искомый объект выражен во внешнем плане и представлен среди других объектов, предложенных в условиях множественного выбора. Для выполнения узнавания учащемуся нужно отличить, сопоставить, соотнести имеющийся в его памяти след с воспринимаемым объектом, а далее с другим, третьим, с тем, чтобы на основании использования дифференцирующих признаков выбрать тот ответ, который в полной мере отвечает всем условиям.
При этом следует отметить, что выполнение таких тестов требует не простой подстановки, а выбора, основанного на осознанном анализе предлагаемых вариантов ответа.
Клоуз-тест (от англ. «closure» - закрытие, смыкание; термин предложил У.Л.Тейлор) на русский язык переводится как подстановочный тест или тест восстановления и предполагает дополнение, восстановление, в нашем случае дописывание пропущенных букв в слове. Отметим, что рассмотрение фонетического теста восстановления как средства измерения языковой компетенции, соответствует его причислению к дискретным тестам, в противопоставление так называемым интегральным тестам, которые служат для измерения коммуникативной компетенции. Примером клоуз-теста может служить следующее задание, предъявляемое учащимся на специальном листе для Ответов:
Клоузтест несет в себе понятие избыточности (Соомере, 1986), что означает ситуацию, когда изучающий, который плохо знает изучаемый язык, нуждается в большой избыточности, чтобы понять сообщение, чем изучающий, который знает язык лучше, требуется меньшее число намеков и ключей, чтобы восстановить деформированное сообщение. Именно эта возможность воспользоваться избыточностью измеряется в тесте восстановления (Соомере, 1986), что предполагает следующее:
- Чем более избыточным является текст для испытуемого, тем легче он его понимает и тем успешнее он его восстанавливает. Таким образом, легкость/сложность понимания текста-теста может быть приравнена к дифференцированности в его избыточности.
- Чем лучше испытуемый владеет языком, на котором написан тест, тем более избыточным последний является для него и тем успешнее он его восстанавливает. Таким образом, тест восстановления всегда адекватен, если с его помощью измеряется объект «уровень владения языком» (Соомере, 1986, с.53).
Способ предъявления деформированного фонетического теста характеризуется тем, что данный клоузтест предъявляется испытуемому только в письменном виде, так как тест восстановления является одним из способов проверки сформированности у учащихся в вукобуквенных или фонемографических соответствий (Соомере, 1986).
Согласно другой точке зрения, степень сформированности слухопроизносительных навыков целесообразно проверять лишь в трех видах речевой деятельности - чтении, аудировании и говорении, опуская столь важный вид речевой деятельности как письмо (Аллен, Дэвис, 1977). Позволим себе не согласиться с указанным утверждением. На наш взгляд на начальном - этапе, особенно в первые месяцы обучения студентов - иностранцев русскому произношению, необходима обязательная проверка у учащихся фонемографических (звукобуквенных) соответствий, о которых говорилось выше. Кроме того, очевидно, что редукция русских гласных, а также оглушение и озвончение русских согласных представляют определенную трудность для иностранных учащихся, в частности, для китайских студентов. Поэтому качественная проверка указанных аспектов возможна как с помощью устного, так и с помощью письменного контроля, а именно с помощью письменных фонетических тестов.
Новое справедливое понимание соотношения письменного фонетического теста и квиза («маленький тест»), под которым понимается обычная поурочная проверка фонетических навыков в течение 5-10 минут, выдвинул А.Конен (1980). Как полагает автор, тест и квиз имеют ряд объединяющих их моментов - это проверка, включающая во многом сходные виды и формы, а также несколько различных параметров - частота, продолжительность и объем проверяемого материала.
Квиз, который можно соотнести с отдельным заданием или основным моментом занятия, легче составлять и просчитывать в силу ограниченного объема заданий, зона проверки в квизе достаточно узкая, в отличие от теста, где контролируется значительно больший отрезок языкового материала. С педагогической и методической точки зрения, квиз служит для преподавателя стимулом и основой для составления и проведения фонетического теста. Таким образом, квиз является незаменимым помощником преподавателя (Cohnen, 1980). На наш взгляд, квиз не является обязательным компонентом на занятиях по фонетике (он используется по желанию преподавателя), несмотря на предложение А.Конена вводить задания квиза в контролирующий тест. Необязательность использования квиза при обучении иностранных учащихся объясняется тем, что тест, при наличии или отсутствии в нем заданий квиза, проходит предварительную предтестовую проверку, которую в нашем случае выполняют диагностирующие фонетические тесты.
Показатели качества тестов. В зарубежной и отечественной литературе по тестированию (Шульман,1972; Цатурова, 1972, 1973; Рапопорт, 1987,1988; Коккота,1989; Анастази, 1982 и др.) отмечается, что показателями качества теста являются экономичность, практичность, легкость подсчета результатов, а также валидность и надежность.
Экономичным следует считать такой текст, который при заданных условиях дает максимум достоверной информации о проверяемых знаниях и навыках тестируемых с минимальными затратами времени и усилий на его составление, проведение и обработку.
Практичность теста определяется четырьмя его составляющими: 1) доступность инструкции теста и содержания его заданий для понимания тестируемыми; 2) простота организации тестирования; 3) возможность проведения теста в обычных условиях; 4) простота проверки, подсчета результатов и подведения итогов.
Для легкости подсчета результатов важно то, чтобы сохранялась возможность однозначной оценки ответа (Коккота,1989).
Главными показателями эффективности теста вообще и фонетического в частности являются валидность и надежность, поэтому представляется важным описать данные характеристики подробнее.
Валидность как одна из важнейших характеристик эффективности теста в самом общем виде может быть определена как качество, которое показывает, что измеряет тест и насколько хорошо он это делает. Иными словами, эта характеристика теста показывает большую или меньшую степень производительности теста для его использования с определенной целью.
Вопросы валидности предполагают, какие и насколько правильные заключения могут быть сделаны на основе полученных результатов, т.е. валидность соприкасается с обоснованностью выводов из тестовых оценок. Множество проблем относящихся к валидности можно свести к следующему: какие выводы следует сделать о том, что измерялось тестом.
Валидность в зарубежной и отечественной литературе (Рапопорт, 1987; Коккота,1989; Allen,Devls,1977 и др.) представлена различными видами. Наиболее важными характеристиками видов валидности для педагогических языковых тестов являются содержательный, критериальный и конструктный виды.
Другими словами, содержательная валидность педагогических языковых тестов определяется тем, насколько полно и всесторонне тест охватывает учебный материал, для проверки усвоения которого он сконструирован. Кроме того, содержательная валидность зависит от глубины предварительно проведенного составителями теста анализа учебного плана, учебников, учебных пособий.
При анализе содержательной валидности, на наш взгляд, необходимо обратить серьезное внимание на так называемую внешнюю валидность, а именно: тестируемые должны воспринимать тест в целом и отдельные его задания как обычные и естественные проверочные вопросы и не видеть в них ничего экстраординарного - «тест не только должен быть валидным, но и казаться таковым» (Рапопорт, 1987, с.144).
Для определения качества тестов важное значение имеет так называемая критериальная валидность (иногда ее называют статистической или прогностической), которая показывает насколько точно результаты по данному тесту могут быть использованы для определения существующего состояния (статуса) или же прогноза эффективности деятельности испытуемых в той или иной области.
Обратимся к рассмотрению еще одной разновидности валидности - конструктной. По мнению А.Анастази (1982), конструктная валидность - это степень обоснованности утверждения о том, что данный тест измеряет «типическое свойство или состояние, отображаемое в данном конструкте» (Анастази, 1982, с. 113). Сточки зрения лингводидактических языковых тестов конструктная валидность определяется подбором типа заданий, адекватных целям измерения данного конструкта. Другими словами, задания языковых тестов должны включать в себя тот языковый материал, с помощью которого могут быть проверены уже приобретенные языковые навыки. В случае рассматриваемых нами фонетических тестов задания каждого из них направлены на проверку уровня сформированности слухопроизносительных навыков на определенной стадии обучения.
Конструктная валидность, определяющаяся подбором точных и нужных для данного теста гаданий, включает в себя понятие дифференцирующей силы вопроса, которая позволяет отобрать лучшие задания для окончательного варианта теста.
При определении качества тестовых вопросов в зависимости от величины индекса дифференцирующей силы принято руководствоваться следующими критериями. Если D равно 0.40 и более, то вопрос (задание) считается очень хорошим, при D - 0.20-0.39 вопрос (задание) считается малопригодным, подлежащим улучшению, при D равном 0.19 и менее вопрос (задание) в тест включать нельзя (Рапопорт, 1987). Подобная экспериментальная проверка представляется крайне необходимой, так как наличие неудачных, неудовлетворительных вопросов или заданий снижает валидность теста, а замена неудачных вопросов (заданий) может быть осуществлена только по результатам статистического анализа экспериментальных данных. Анализ полученных данных дает возможность ответить на вопрос, приемлемым или неприемлемым является каждый отдельный тестовый вопрос (гадание) и насколько точно он сформулирован.
Надежность является вторым главным показателем эффективности и пригодности теста. В широком плане под надежностью понимается «такая сторона предметов, явлений, процессов и систем, которая характеризует степень эффективности и устойчивости становления, функционирования и развития» (Пушкин,1975, с. 122). Применительно к тестам надежность определяется постоянством, с которым тест выполняет функцию измерительного инструмента. Иными словами, чтобы быть надежным, тест должен давать постоянные результаты с минимальным числом ошибок при выполнении его различными группами или одной и той же группой в разное время.
Надежность языковых тестов - это, прежде всего, согласованность результатов теста, получаемая при повторном его применении к тем же испытуемым в различные моменты времени с разным набором эквивалентных заданий или при изменении других условий обследования (Рапопорт и др.,1987).
На понятии «надежность» основывается вычисление ошибки измерения, которая служит для указания вероятных пределов колебания измеряемой величины, возникающих под действием случайных постоянных факторов. К числу таких факторов, по мнению И.А.Рапопорта (1987), можно отнести умение выполнять тесты, влияние поддержания и методики проведения тестов, самочувствие испытуемых во время тестирования и степень усталости, интерес, мотивацию, условия проведения теста, элементы случайного угадывания правильного ответа и т.д. Учет подобных факторов крайне необходим для правильного определения надежности теста, которая показывает, в какой степени индивидуальные различия в тестовых результатах оказываются «истинными», а в какой могут быть предписаны случайным ошибкам.
Другими словами, измерение надежности теста позволяет оценить величину общей дисперсии тестовых показателей, являющейся дисперсией ошибки.
Метод определения дисперсии ошибки, указывающий на надежность теста, не может в полной мере предсказать степень этой надежности, поэтому существуют и другие, дополняющие друг друга методы определения надежности теста.
Метод повторного тестирования, который состоит в том, что тест проводится дважды в одной и той же группе испытуемых, определяет стабильность теста. Период между первым и вторым тестированием не должен быть продолжительным. Но указанный метод, на наш взгляд, является не совсем адекватным формам языкового тестирования по весьма важным причинам:
- Двух кратное применение одного и того же теста вдвое уменьшает количество контрольных вопросов, с помощью которых проверяется усвоение учебного материала учащихся, при этом повторное тестирование не дает преподавателю никакой новой информации о степени усвоения учащимися данного материала.
- После проведения контрольной работы любого типа, и тестовой проверки в том числе, учащиеся обычно обсуждают ее, вновь рассматривают наиболее трудные, вопросы и т.д. Таким образом, многие учащиеся оказываются наиболее подготовленными к повторному тестированию, чем к первому.
- Выполнение одного и того же теста значительно снижает интерес учащихся к выполнению теста.
Следующий метод - метод эквивалентных форм исключает вышеуказанные причины и состоит в том, что вместо одного теста подготавливают два, примерно одинаковых по охвату материала и степени трудности, однако не идентичных. Он дает более интегральную характеристику надежности, так как учитывает не только стабильность результатов, но и постоянство ответов испытуемых. Однако использование метода эквивалентных форм часто оказывается весьма затруднительным по той причине, что, если составление теста дело весьма трудоемкое, то составление двух эквивалентных форм теста требует значительно большего времени и искусства составителей (Рапопорт и др.,1987). Ведь каждый вопрос первого теста должен иметь точный аналог во втором тесте, но он не должен быть абсолютно тождественным ему.
Поэтому наиболее приемлемым методом определения надежности теста, на наш взгляд, является метод внутренней согласованности форм теста. Суть его заключается в том, что испытуемые выполняют один тест, однако для подсчета результатов он разбивается на два субтеста, и подсчет тестовых баллов проводится для каждого испытуемого отдельно по первому и второму субтесту.
Из текстологической литературы известно, что минимальной величиной коэффициента надежности педагогических тестов следует считать 0.92 (Рапопорт и др., 1987).
Таким образом, показателями качества тестов являются экономичность, практичность, легкость подсчета результатов, а также надежность и валидность. Два последних показателя - надежность и валидность, принадлежат к главным и определяющим характеристикам эффективности всего теста. Далее логично и целесообразно перейти от теоретических вопросов тестирования к описанию этапов практического применения фонетических тестов в китайской аудитории.
АВТОР: Кислицына Е.А.