Технология многофакторной оценки сложности учебных заданий по физике (О.Э. Наймушина)
На правах рукописи
Наймушина Ольга Эдуардовна
ТЕХНОЛОГИЯ МНОГОФАКТОРНОЙ ОЦЕНКИ СЛОЖНОСТИ УЧЕБНЫХ ЗАДАНИЙ ПО ФИЗИКЕ
13.00.02 – теория и методика обучения и воспитания (физика, уровень общего образования)
Автореферат диссертации на соискание учёной степени кандидата педагогических наук
Екатеринбург – 2010
Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Уральский государственный педагогический университет»
Научный руководитель доктор педагогических наук, профессор Стариченко Борис Евгеньевич
Официальные оппоненты: доктор педагогических наук, профессор Бабина Светлана Николаевна, кандидат физико-математических наук, доцент Сабирзянов Александр Аделевич
Ведущая организация ГОУ ВПО «Пермский государственный педагогический университет»
ОБЩАЯ ХАРАКТЕРИСТИКА ИССЛЕДОВАНИЯ
Актуальность исследования. Модернизация российского образования обусловливает необходимость поиска новых подходов к повышению его качества. Один из них связан с развитием современных методов оценки качества учебного процесса. Объективное оценивание может осуществляться только на основе педагогических измерений, отражающих текущее состояние и результаты процесса обучения, в частности, обучения физике. Текущее состояние процесса обучения предполагает организацию мониторинга, который позволяет педагогу осуществлять управление учебным процессом. Итоговые измерения производятся в соответствии с требованиями государственных образовательных стандартов.
Обучение и последующий контроль усвоения учебного материала осуществляется посредством системы учебных заданий, построенных в соответствии с определенными дидактическими принципами. Одним из них является принцип последовательного усложнения заданий, реализация которого предполагает возможность дифференциации заданий по их сложности и, следовательно, измерение или оценку сложности. Однако в практике школьного образования методы оценки сложности заданий по физике отсутствуют. Учитель осуществляет эту оценку только на основании собственного педагогического опыта, что не обеспечивает ее объективности. В связи с этим одной из приоритетных целей педагогических исследований становится создание технологии оценки сложности заданий.
В настоящее время в качестве дидактической характеристики учебного задания многие исследователи рассматривают его трудность (И.Я. Лернер, Я.А. Микк, А.А. Столяр, Н.Г. Рыженко, О.К. Тихомиров). В их работах трудность учебного задания рассматривается как функция двух составляющих: сложности задания и подготовленности учащегося. Следовательно, она не носит объективного характера. Для организации учебного процесса и построения системы заданий учителю важно знать статистическую трудность, основанную на математической обработке результатов педагогических измерений и отражающую фактические затруднения учащихся при выполнении заданий. Однако эти данные он может получить лишь после завершения процесса обучения и обработки результатов контроля. В связи с этим учитель вынужден строить систему учебных заданий на основе собственных оценок трудности, которые далеко не всегда совпадают с фактическими затруднениями ученика.
Как отмечают многие педагоги и психологи, в качестве объективной дидактической характеристики учебного задания может быть принята его сложность. В работах Г.А. Балла, А.Т. Рогова, А.И. Уемова и ряда других исследователей сложность связывается с количеством операций при решении задания. Возникновение и развитие психологических и педагогических теорий тестов привело к появлению работ по расчету сложности, в основу которых были заложены уровни мышления и усвоения материала. Эти идеи нашли отражение в работах Б. Блума, В.П. Беспалько, В.Н. Максимовой, В.П. Симонова, С.Д. Смирнова. Однако в разработанных методах определения сложности учебного задания не учтены все существенные факторы сложности заданий по физике. Кроме того, количественные оценки значимости факторов, влияющих на сложность учебного задания, носят вероятностный характер и не опираются на объективные статистические данные результатов педагогических измерений.
Применяемые в настоящее время в практике школьного образования методы оценивания текущей и итоговой успешности обучения имеют преимущественно интегральный характер; результат выполнения учебного или контрольного задания оценивается единой отметкой. Полученная отметка отражает степень достижения учеником уровня требований программы дисциплины в целом и не позволяет локализовать затруднения учащихся, а в дальнейшем ликвидировать их. При этом учитель также не имеет возможности выяснить, носят ли эти затруднения индивидуальный или массовый характер. Отсутствие необходимой информации не позволяет строить управление процессом обучения.
Вместе с тем, в каждой учебной дисциплине, в том числе и по физике, можно выделить инвариантные обобщенные компоненты знаний и умений, которые оказываются «сквозными» и используются в ходе всего изучения дисциплины. Так как обобщенные компоненты знаний связаны с уровнями мыслительной деятельности и, следовательно, с факторами сложности, для педагога становится возможным не только проследить динамику формирования компонентов, но и при необходимости произвести целенаправленную коррекцию, а также составить системы учебных заданий для формирования определенных компонентов. При этом, итоговая отметка, выводимая на основе оценки усвоения обобщенных компонентов знаний, будет иметь объективный характер.
Таким образом, знание априорной оценки сложности учебных заданий, то есть оценки, предшествующей решению учебного задания учащимися и прогнозирующей статистическую трудность, необходимо учителю, с одной стороны, для построения системы заданий с заданными дидактическими характеристиками; с другой стороны, для объективной оценки текущих и итоговых результатов обучения, на основании которых строится управление ходом обучения. При этом для обеспечения однозначности оценок и удобства практического использования процедура оценивания должна быть реализована на технологическом уровне с применением средств информационно-коммуникационных технологий (ИКТ).
Обобщение результатов анализа научно-методической, методологической и психолого-педагогической литературы, теоретических подходов и практических разработок по данному вопросу позволили выявить следующие противоречия:
– на социально-педагогическом уровне: между потребностями современной системы образования в объективизации результатов педагогических измерений и недостаточным развитием методов измерений и оценивания качества обучения;
– на научно-педагогическом уровне: между необходимостью введения характеристики учебного задания по физике, априорно отражающей вероятность его выполнения учащимися, и недостаточной разработанностью теоретических основ построения подобных характеристик;
– на научно-методическом уровне:между возможностью построения объективной оценки результата выполнения учащимися учебных заданий по физике на основе известных факторов сложности этих заданий и отсутствием методов соответствующего оценивания в практике школьного образования.
Необходимость разрешения перечисленных противоречий обусловливает актуальность настоящего исследования и определяет его проблему: какова должна быть технология априорной оценки сложности учебных заданий по физике, чтобы она обеспечила объективное измерение результатов обучения? В рамках указанной проблемы нами определена тема исследования: «Технология многофакторной оценки сложности учебных заданий по физике».
Объект исследования: процесс оценивания дидактических характеристик учебных заданий по физике.
Предмет исследования: технология многофакторной оценки сложности учебных заданий по физике.
Цель исследования: теоретически обосновать и разработать технологию априорной объективной оценки сложности учебных заданий по физике.
При достижении поставленной цели мы руководствовались следующей гипотезой: разработка технологии априорной оценки сложности учебных заданий по физике должна осуществляться на основе:
– выделения группы значимых факторов сложности заданий по физике, отражающих количество и характер умственных действий, необходимых для решения задания нормативным способом (когнитивную, техническую, дополнительную);
– установления весовых коэффициентов факторов сложности в процессе статистической обработки значительных по объему выборок результатов педагогических измерений;
– использования информационно-коммуникационных технологий для обеспечения однозначности реализации алгоритма оценивания.
На основании цели исследования и рабочей гипотезы были поставлены следующие задачи исследования:
1. Произвести анализ психолого-педагогической и методической литературы, результатов научно-педагогических исследований с целью выявления существующих подходов к оценке характеристик учебных заданий по физике.
2. Сформулировать и последовательно осуществить этапы педагогического проектирования технологии оценки сложности: выявить факторы, влияющие на сложность физических задач, и определить весовые коэффициенты этих факторов на основе статистической обработки больших по объему выборок педагогических измерений и др.
3. Разработать технологию многофакторной оценки сложности учебных заданий по физике с учетом выделенных в процессе проектирования факторов сложности.
4. На основе анализа государственных образовательных стандартов и учебных программ по физике выделить инвариантные обобщенные компоненты знаний и умений, выявить их связь с факторами сложности и разработать метод покомпонентной оценки знаний и умений по физике с учетом выделенных факторов сложности учебного задания.
5. Разработать критериальный аппарат, позволяющий оценить результативность применения предложенных в работе технологии оценки сложности и алгоритма покомпонентного оценивания результатов обучения. Осуществить экспериментальную проверку результативности их использования.
Методологическую основу исследования составили работы в области:
– методологии педагогических исследований (В.И. Загвязинский, В.В. Краевский);
– системного подхода к педагогическому проектированию (В.Ф.Венда, Л.В. Воронина, Т.К. Смыковская).
Теоретическую основу исследования составляют работы в области:
– теории и методики педагогических измерений (В.С. Аванесов, В.С. Бабаев, Е.Ю. Карданова, В.И. Тесленко);
– теории учебных задач (Г.А. Балл, А.М. Сохор, Н.Н. Тулькебаева);
– теории и методики обучения (В.П. Беспалько, И.Я. Лернер, Н.Ф. Талызина);
– теории и методики обучения физике (В.П. Орехов, И.К. Турышев, А.В. Усова, Т.Н. Шамало);
– теории педагогического проектирования (Л.В. Моисеева, Е.А. Тупичкина, Н.О. Яковлева);
– организации педагогических исследований и статистической обработки их результатов (Б.Е. Стариченко, Т.Н. Тягунова).
Для решения поставленных задач привлекались следующие методы исследования: изучение и анализ научно-методической, психолого-педагогической, учебной и специальной литературы, материалов научно-практических конференций и ресурсов интернета по теме исследования, анализ государственных стандартов основного и среднего (полного) общего образования, программ, учебных пособий и методических материалов; педагогическое проектирование; обобщение и систематизация материалов и исходных данных исследования, качественный и количественный анализ результатов исследования, методы математической статистики, используемые при анализе результатов; методы педагогических измерений и диагностики, адекватные задачам тестирования (поэлементный анализ, тестирование), анкетирование, педагогический эксперимент, метод экспертных оценок.
Научная новизна исследования заключается в следующем:
– в отличие от работ М.А. Лепика, Л.Г. Соколовой и ряда других исследователей, в которых методы расчета сложности не учитывали ее значимые составляющие, в настоящей работе обосновывается возможность построения технологии объективной оценки сложности учебного задания по физике на основе выделения факторов сложности, учитывающих характер умственных действий учащегося и особенности представления и обработки данных при выполнении задания;
– впервые разработана и реализована средствами ИКТ технология априорной оценки сложности учебных заданий по физике, в которой весовые коэффициенты каждого фактора определены на основе статистической обработки результатов педагогических измерений;
– предложен метод объективного оценивания успешности освоения учащимися курса физики, основанный на выделении обобщенных компонентов физических знаний и умений: знать и понимать смысл физических величин; знать аналитические выражения, описывающие физические законы, принципы, постулаты; понимать смысл физических законов, явлений, постулатов и принципов; уметь обрабатывать информацию, представленную в табличной и графической формах; уметь осуществлять интеграцию знаний.
Теоретическая значимость исследования:
1. Определен термин «сложность учебногозадания», под которым понимается объективная многофакторная количественная дидактическая характеристика учебного задания, отражающая вероятность выполнения задания учащимся и определяемая числом и характером умственных действий, необходимых для его решения нормативным способом.
2. Выделены и научно обоснованы значимые факторы сложности заданий по физике: техническая сложность (количество действий при решении задач), когнитивная сложность (знание формулы, геометрическое представление, работа с графиками, выделение составляющих, представление о процессе, творческое применение), дополнительная сложность (выделение искомой величины из формулы, большой текстовый объем, различные разделы, производная, система уравнений, геометрические характеристики тел, квадратное уравнение, пропорции, редкая задача, избыточность данных).
3. Выделены этапы проектирования технологии оценки сложности учебных заданий по физике: диагностика противоречий и выявление педагогической проблемы; формулировка цели проектирования; формулировка требований к результату проектирования; обоснование и отбор для построения проекта базовых подходов и методов на основе их оптимальности; построение алгоритма нахождения весовых коэффициентов факторов сложности на основе большой статистической выборки результатов педагогических измерений; построение алгоритма оценивания сложности; описание способов проверки эффективности применения разработанной технологии.
Практическая значимость исследования состоит в том, что в образовательную практику обучения физике в общеобразовательных учреждениях могут быть включены следующие полученные в ходе диссертационного исследования материалы:
– интерактивная компьютерная форма «Расчет сложности заданий по физике», позволяющая учителю произвести оценку сложности по выделенным факторам;
– интерактивная компьютерная форма «Карта уровней усвоения», позволяющая по результатам контрольного мероприятия определить доли усвоения учащимися каждого из выделенных обобщенных компонентов знаний и умений и получить интегральные отметки за работу в целом;
– методические рекомендации для учителей физики по применению алгоритма оценки сложности при построении систем учебных заданий, а также схемы покомпонентного оценивания уровня учебных достижений и организации мониторинга успешности освоения физики.
Достоверность результатов исследования и обоснованность сформулированных на их основе выводов обеспечиваются опорой на основополагающие теоретические положения в области педагогики и методики обучения физике, непротиворечивостью логики исследования, значительным объемом экспериментальных выборок, адекватностью применяемых методов математической статистики целям и задачам исследования, подтверждением гипотезы исследования в ходе опытно-поисковой работы, воспроизводимостью основных результатов работы, признанием педагогической научной общественностью и практиками образования базовых идей и результатов исследования.
Апробация и внедрение основных идей и результатов исследования осуществлялась в 2005 – 2010 гг. на базе Технологического института-филиала «Национальный исследовательский ядерный университет «МИФИ» и общеобразовательных учреждений г. Лесного Свердловской области. В исследовании приняли участие 10 учителей и преподавателей физики. Материалы диссертационного исследования докладывались и обсуждались на следующих научных конференциях: IV международной научно-методической конференции «Новые образовательные технологии в вузе» (г. Екатеринбург, 2007 г.), V межотраслевой научно-технической конференции «Автоматизация и Прогрессивные технологии» (г. Новоуральск, 2007 г.), V Российской научно-методической конференции преподавателей вузов и учителей школ «Школа и вуз: достижения и проблемы непрерывного физического образования» (г. Екатеринбург, 2008 г.), III международной научной конференции «Информационно-математические технологии в экономике, технике и образовании» (г. Екатеринбург, 2008 г.), межвузовской научной конференции-семинаре молодых ученых по результатам исследований в области психологии, педагогики и социологии (г. Красноярск, 2009 г.), I Всероссийской дистанционной научно-практической конференции «Инновации в образовательных системах» (г. Челябинск, 2009 г.), Международной научно-практической конференции «Реализация национальной образовательной инициативы ”Наша новая школа” в процессе обучения физике, информатике и математике» (г. Екатеринбург, 2010 г.).
На защиту выносятся следующие положения:
1. Потребности образовательной практики в управлении процессом обучения физике и необходимость объективного измерения уровня учебных достижений учащихся обусловливают актуальность разработки технологии оценки сложности учебного задания как объективной характеристики, которая может быть получена априори, до использования данного задания в учебной работе.
2. Технология многофакторной априорной оценка сложности учебного задания по физике предусматривает выделение значимых факторов, учитывающих характер умственных действий учащегося и особенности представления исходных данных при выполнении задания нормативным способом. Основными группами факторов сложности являются техническая, когнитивная и дополнительная группы. Значение сложности учебного задания определяется суммой групп факторов.
3. Количественные оценки значимости факторов сложности в технологии априорной оценки сложности учебного задания по физике должны производиться на основе обработки значительных по объему статистических выборок результатов педагогических измерений, выполненных в течение нескольких лет.
4. Использование выделенных при изучении школьного курса физики обобщенных компонентов знаний и умений, инвариантных для всех разделов курса (знать и понимать смысл физических величин, единицы их измерения в СИ; знать аналитические выражения, описывающие физические законы, принципы, постулаты; понимать смысл физических законов, явлений, постулатов и принципов; уметь обрабатывать информацию, представленную в табличной и графической формах; уметь осуществлять интеграцию знаний), позволяет осуществлять локализацию затруднений учащихся в процессе обучения физике.
5. Связь обобщенных компонентов знаний и умений с факторами сложности обеспечивает возможность построения метода объективной оценки успешности обучения физике.
Структура и объем диссертации. Диссертация изложена на 211 страницах, состоит из введения, трех глав, заключения, библиографического списка, включающего 195 источников, 8 приложений.
ОСНОВНОЕ СОДЕРЖАНИЕ ИССЛЕДОВАНИЯ
Во «Введении» обосновывается актуальность, определяются цель, объект и предмет исследования, формулируются задачи исследования, его методологические и теоретические основы, раскрываются методы исследования, его научная новизна, теоретическая и практическая значимость, приводятся основные положения, выносимые на защиту.
Первая глава «Теоретические основы оценки сложности учебных заданий по физике» посвящена терминологическому анализу, обоснованию необходимости определения априорной оценки сложности учебных заданий по физике и описанию проектирования ее технологии.
Многие исследователи в своих работах используют такую дидактическую характеристику учебного задания, как трудность, которая может быть экспертной или статистической. Экспертная трудность, как правило, оценивается учителями и методистами. Недостаток ее использования заключается в том, что она носит субъективный характер, так как связана с параметрами не только самой задачи, но и с уровнем подготовки учащихся. Статистическая оценка трудности основывается на математической обработке результатов контроля.
В исследованиях Г.А. Балла, В.Ф. Венды, Я.И. Микка, А.М. Сохора в качестве объективной дидактической характеристики учебного задания рассматривается его сложность. Анализ работ этих авторов позволил определить базовый для нашей работы термин «сложность учебного задания», под которым понимается объективная многофакторная количественная дидактическая характеристика учебного задания, отражающая вероятность выполнения задания учащимся и определяемая числом и характером умственных действий, необходимых для его решения нормативным способом.
По мнению многих педагогов и психологов, на сложность как на объективную характеристику учебного здания влияют две основные группы факторов: уровни мыслительной деятельности и усвоения материала, определяющие знание, умение и понимание, и количество операций, зависящее от числа логических звеньев в цепочке рассуждений. Кроме того, учебные физические задания обладают специфическими особенностями, которые необходимо учитывать при выявлении факторов сложности и разработке технологии многофакторной оценки сложности:
1. Физика является количественной комплексной наукой, на результат решения физических учебных заданий влияет уровень освоения учащимися математического аппарата. Поэтому расчет сложности физического задания должен учитывать наличие математических компонентов сложности.
2. Определенная часть заданий содержит в условии табличную или графическую информацию в виде схем, графиков и рисунков, которые заменяют текст в условии задачи или поясняют условия; многие задания в ходе решения предполагают построение схем и рисунков. Поэтому учащиеся должны уметь извлекать нужную информацию из приведенных в условии задачи таблиц и графических объектов.
3. Большинство задач дисциплины находится на уровне «применение» ввиду различных формулировок и алгоритмов решения.
Разработанные в настоящее время методы расчета сложности заданий по физике не могут использоваться учителями-практиками, поскольку, во-первых, не учитывают рассмотренную выше специфику физических задач; во-вторых, носят умозрительный характер, отражая частные мнения исследователей и не опираясь на объективные статистические данные; в-третьих, эти методы описаны лишь на теоретическом уровне и не реализованы технологически в школьном учебном процессе.
В то же время знание количественной характеристики сложности заданий и факторов сложности позволяет педагогу:
– производить априорную оценку сложности заданий, проверять их соответствие требованиям рабочих программ и образовательных стандартов;
– формировать системы заданий в соответствии с правилом дидактики «от легкого к трудному, от простого к сложному»;
– однозначно интерпретировать результаты контроля знаний и умений и на основании этой информации управлять ходом обучения;
– посредством целенаправленного подбора заданий с определенными факторами сложности разрабатывать методику обучения, ориентированную на развитие соответствующих типов мыслительной деятельности;
– объективно оценивать уровень учебных достижений учащихся;
– производить детализированное (пофакторное) сопоставление результатов контроля разных групп учащихся или осуществлять факторный мониторинг результатов обучения одной группы.
Таким образом, требования управления процессом обучения физике и объективности измерения уровня учебных достижений учащихся обусловливают актуальность разработки технологии многофакторной оценки сложности учебных заданий. Следовательно, требуется построение технологии априорной оценки сложности учебных заданий, научными основаниями которой являлся бы анализ, с одной стороны, статистических данных, применяемый в современных теориях учебных задач и педагогических измерений, а, с другой стороны, особенностей мыслительной деятельности учащихся при решении задач по физике. Вместе с этим, для учителя-практика необходима технологическая реализация данного алгоритма в виде интерактивной экранной формы, обеспечивающей автоматизированную обработку данных.
Для решения поставленных задач было осуществлено проектирование технологии оценивания сложности учебных заданий в соответствии со следующими этапами: диагностика противоречий и выявление педагогической проблемы; формулировка цели проектирования; формулировка требований к конечному продукту – результату проектирования; обоснование и отбор для построения проекта базовых подходов и методов на основе их оптимальности; построение алгоритма нахождения весовых коэффициентов факторов сложности на основе большой выборки результатов педагогических измерений; построение алгоритма оценивания сложности; описание прогнозируемого результата проектирования и способы проверки эффективности применения разработанной технологии.
В результате проведенного анализа были выделены основные группы сложности учебных заданий по физике: техническая, связанная с количеством умственных действий при решении задач (ТС); когнитивная, обусловленная их характером (КС); дополнительная, включающая факторы, влияющие на увеличение сложности при фиксированных значениях факторов сложности, входящих в предыдущие группы (ДС).
Во второй главе «Реализация технологии оценки сложности учебных заданий по физике» приводится описание выделения обобщенных компонентов знаний и умений по физике, разработки алгоритма нахождения весовых коэффициентов в рамках априорной оценки сложности учебных заданий и рекомендации по использованию покомпонентного метода оценивания уровня знаний и умений.
В настоящее время основным методом оценивания является выставление интегральной оценки, которая носит субъективный характер и фиксирует факт полного или неполного усвоения материала, но не позволяет локализовать затруднения учащихся и в дальнейшем их ликвидировать. Используемая при итоговой аттестации поэлементная схема оценивания не позволяет на основании анализа освоения элементов знаний одного раздела дисциплины делать какие-либо заключения и вводить корректирующие меры по ходу изучения последующих тем (элементов, разделов).
Поэтому представляется актуальной разработка методов оценивания текущих учебных достижений учащихся, обеспечивающих учителя детальной и достоверной информацией о фактическом уровне знаний каждого ученика (группы учеников) с возможностью индивидуальной (групповой) коррекции в процессе всего периода изучения дисциплины.
Одним из возможных решений является оценка инвариантных обобщенных компонентов знаний и умений, которые оказываются «сквозными» и используются в ходе всего изучения дисциплины. Достоинства такого покомпонентного подхода выражаются в следующих возможностях:
1. Отслеживание формирования компонента в разных разделах дисциплины. Так как компонент является инвариантным и используется в большинстве разделов дисциплины, развитие знаний и умений тесно связаны с динамикой его формирования.
2. Конкретизация пробелов знаний и умений для последующей коррекции. При анализе ошибок, допущенных в ходе решения учебной задачи, соотнесение этой ошибки с недостаточным освоением обобщенного компонента позволяет принять конкретные меры коррекции при дальнейшем освоении материала.
3. Объективизация интегральной оценки. Интегральная оценка, построенная на основе выделенных компонентов, отражает освоение существенных элементов знаний и умений и поэтому является объективной.
Выделение обобщенных компонентов производилось на основе требований, предъявляемых к выпускникам образовательных учреждений. В результате анализа составляющих знаний и умений, которые заложены в Федеральном компоненте государственного образовательного стандарта основного и среднего (полного) общего образования по физике (базовый и профильный уровень) и контролируются при решении задач, были выявлены следующие компоненты:
1. Знание и понимание смысла физических величин, единиц их измерения в СИ. Решение учебного задания будет связано с компонентом в том случае, если в исходных данных содержатся физические величины, выраженные в единицах измерений, отличных от Международной системы, или в такую систему должна быть переведена искомая величина.
2. Знание аналитических выражений, описывающих физические законы, принципы, постулаты. Задание будет включать данный обобщенный компонент в том случае, если для решения необходимо записать аналитическое выражение, т.е. перевести исходные данные задачи из вербальной формы на язык физических символов. При этом знание формулы применяется формально и не требует понимания физического процесса, с которым связана данная формула.
3. Понимание смысла физических законов, явлений, постулатов и принципов. Компонент присутствует в задании в том случае, если в процессе решения необходимо не только записать формулу, но и применить ее к конкретной ситуации для описания физического процесса или явления.
4. Умение обрабатывать информацию, представленную в табличной и графической формах. Присутствие компонента обусловлено наличием указанной информации, приведенной в условии задачи или изображенной самим учащимся, если без нее решение задачи невозможно.
5. Умение осуществлять интеграцию знаний. Содержание компонента проявляется в использовании при решении задачи знаний и умений, приобретенных в ходе освоения ранее пройденных разделов и тем дисциплины.
На основе обобщенных компонентов были подробно рассмотрены группы сложности и выделены факторы каждой группы. Для нахождения весовых коэффициентов факторов в качестве баз заданий и результатов использовался статистический материал по итогам централизованного тестирования в Свердловской области. База заданий включала 320 тестов, база результатов педагогических измерений – более 3 тыс. измерений. Расчет весовых коэффициентов каждого фактора проводился в соответствии со следующим алгоритмом: после составления матрицы ответов и расчета статистической трудности тестовые задания по каждому году были сгруппированы по наличию в них различных факторов когнитивной и дополнительной групп сложности. Для одного года с учетом технической сложности и средних значений статистической трудности по каждому фактору были вычислены весовые коэффициенты сначала для когнитивной группы, а затем для дополнительной. Затем принятые весовые коэффициенты факторов сложности верифицировались по тестам других годов. Соответствие факторов и их весовых коэффициентов объективным данным педагогических измерений проверялись с помощью коэффициентов корреляции.
Кроме выделенных факторов сложности, в ходе исследования были выявлены некоторые разделы физики, которые усваиваются учащимися с большими затруднениями. Трудность заключалась, как правило, в знании формул и в понимании явлений и процессов, относящихся к этим разделам. Поэтому были введены поправочные коэффициенты (ПК), связанные с трудностью освоения этих тем и отраженные в дополнительной группе сложности.
В ходе исследования были сформулированы следующие правила для расчета сложности применительно к каждой группе факторов:
– техническая сложность равна количеству действий, которое связано с числом формул для каждого объекта (состояния), фиксируемых учащимся при решении задания;
– когнитивная сложность при наличии в задании одного фактора равна его весовому коэффициенту. При наличии в задании нескольких факторов когнитивная сложность определяется по весовому коэффициенту фактора с наибольшим номером. Исключение составляет 3-й фактор сложности: при его наличии он вносит вклад в когнитивную сложность и учитывается как прибавление единицы, если высший фактор задания имеет номер 4 и ниже; в противном случае его вес в сложности не учитывается;
– дополнительная сложность при наличии в задании одного фактора и/или поправочного коэффициента равна весовому коэффициенту этого фактора/поправочного коэффициента. При наличии в задании нескольких факторов и/или поправочных коэффициентов дополнительная сложность определяется как сумма весов этих факторов/поправочных коэффициентов.
Интегральный показатель сложности задачи вычисляется как линейная комбинация факторов при суммировании трех групп сложностей – технической, когнитивной и дополнительной (с учетом поправочных коэффициентов в последней). Факторы сложности и их весовые коэффициенты представлены в табл.1.
Основным критерием эффективности разработанной технологии оценки сложности учебных заданий является высокая корреляция полученных значений априорной сложности заданий и статистической трудности. В табл. 2 приведены значения коэффициентов корреляции для различных лет наблюдения, материалы которых использовались в исследовании, с выделением частей теста.
Как видно из таблицы, имеет место высокая по значению корреляция между сложностью и статистической трудностью. Следовательно, выделенные ранее факторы сложности обладают качеством достаточности, т.е. отражают основные содержательные особенности заданий по физике. Описанная выше технология оценки сложности с учетом весовых коэффициентов выделенных факторов позволяет априори с высокой достоверностью прогнозировать вероятность выполнения задания учащимися, что обеспечивает построение измерительных материалов с наперед заданными характеристиками. Кроме того, наблюдается временнáя устойчивость результатов, что свидетельствует о том, что они носят не случайный и не частный характер, и что предложенные подходы и алгоритм оценивания сложности представляют собой установленную научную истину. На основе расчета весовых коэффициентов факторов сложности была разработана интерактивная форма «Расчет сложности заданий по физике».
Сопоставление факторов сложности с выделенными ранее базовыми компонентами знаний и умений по физике представлено в табл. 3.
Методы оценивания, применяемые в настоящее время в школьной практике, имеют существенный недостаток – выставленная оценка лишь констатирует уровень усвоения учебного материала учащимися, но не позволяет локализовать и далее ликвидировать его незнание. Если же оценивать каждый из обобщенных компонентов, выделенных на основе требований ГОС и рассмотренных ранее, то, поскольку набор компонентов остается неизменным на протяжении всего изучения дисциплины, становится возможным выявление динамики изменения уровня усвоения отдельных компонентов у каждого ученика и группы в целом. При этом возможны два варианта организации измерений. В первом преподаватель сначала подбирает измерительные материалы (контрольные задания или тесты), а затем в каждом задании указывает, какие обобщенные компоненты оно содержит. Достоинство этого варианта в том, что можно использовать существующие наборы измерителей; недостатком является неопределенность и невысокая надежность установления компонентов. Альтернативный вариант состоит в том, что преподаватель сначала формулирует, какие компоненты и в каком содержательном поле должны быть проверены, после чего подбираются или строятся задания. Удобство этого варианта состоит в надежности оценки усвоения компонента, которую педагог может повысить, предусмотрев его неоднократное появление в заданиях.
Для получения покомпонентной оценки уровня усвоения необходимо выполнить операции, представленные на рис. 1 в виде алгоритма.
Предлагаемый подход построения алгоритма покомпонентной оценки был реализован в виде интерактивной формы «Карта уровней усвоения» и может быть использован педагогом в следующих ситуациях:
1. Подготовка системы заданий с заданными характеристиками. Формируя систему заданий, педагог может целенаправленно задаваться вопросом, какие знания и умения текущего раздела (в виде обобщенного компонента) он будет проверять, чтобы получить достоверную информацию об уровне усвоения компонента.
2. Диагностика групповых и индивидуальных пробелов в освоении компонентов. Так как выделенные компоненты являются инвариантными, их неполное освоение необходимо как можно раньше диагностировать для принятия оперативных коррекционных мер.
3. Отслеживание динамики освоения компонента. Для получения информации об изменении уровней освоения и оценки эффективности коррекционных мер, предпринятых учителем, необходимо периодически после проведения контрольного мероприятия производить сравнительный анализ нескольких последних результатов измерений освоения обобщенных компонентов.
4. Повышение объективности выставленной интегральной оценки. Интегральная оценка, проставленная после работы программы на листе «Карта усвоения», учитывает уровень освоения каждого компонента и поэтому будет объективной.
В третьей главе «Организация опытно-поисковой работы и ее результаты» описаны этапы проведения опытно-поисковой работы, приведены результаты исследования и их анализ.
Исследование проводилось в ТИ НИЯУ МИФИ в 2005-2010 гг. В эксперименте были задействованы десять учителей школ г. Лесного Свердловской области и преподавателей ТИ НИЯУ МИФИ. Опытно-поисковая работа проводилась в три этапа.
На констатирующем этапе (2005 – 2008 гг.) опытно-поисковой работы осуществлялся теоретический анализ философской, педагогической, психологической, технической и методической литературы, нормативных документов по теме исследования, накапливался материал наблюдений, анализировались тесты централизованного тестирования по физике и обрабатывались данные педагогических измерений по результатам тестирования. В результате исследований было установлено, что используемые в настоящее время экспертные оценки трудности учебных заданий по физике, применяемые учителями, носят субъективный характер, что приводит к неточному прогнозированию вероятности выполнения задания учащимися. Это обусловило необходимость выделения объективной характеристики учебных заданий, позволяющей более точно осуществлять подобное прогнозирование, а также построения технологии ее оценивания.
Таким образом, была обоснована актуальность исследования и сформулирована его проблема, состоящая в поиске теоретических и методических подходов, реализация которых позволяет разработать технологию объективной априорной оценки сложности учебных заданий по физике.
На данном этапе исследования решались следующие задачи:
– анализ научной литературы в области оценки дидактических характеристик учебных заданий, а также выявление базовых теоретических подходов, на основании которых может быть реализована технология многофакторной оценки сложности учебных заданий по физике;
– анализ уровней мыслительной деятельности учащихся в процессе усвоения учебного материала по физике;
– анализ структуры и процесса решения физических задач с целью выявления групп факторов, влияющих на сложность физических задач;
– сбор и обработка результатов педагогических измерений по результатам централизованного тестирования за 2001 – 2008 гг.;
– обоснование этапов проектирования технологии оценки сложности учебных заданий по физике и разработка модульной схемы алгоритма нахождения весовых коэффициентов факторов сложности заданий.
На поисковом этапе (2008 – 2009 гг.), основываясь на государственные образовательные стандарты и программы школьного курса физики, были выявлены обобщенные компоненты знаний, в соответствии с которыми в каждой группе сложности был выделен набор факторов. На основе алгоритма расчета оценки, полученного в результате проектирования, были разработаны интерактивные формы расчета сложности учебных заданий по физике и уровней усвоения компонентов знаний.
В результате анализа ГОС и учебных программ по школьному курсу физики были выделены инвариантные компоненты, являющиеся «сквозными» практически для всех разделов дисциплины: знать и понимать смысл физических величин, единицы их измерения в СИ; знать аналитические выражения, описывающие физические законы, принципы, постулаты; понимать смысл физических законов, явлений, постулатов и принципов; уметь обрабатывать информацию, представленную в табличной и графической формах; уметь осуществлять интеграцию знаний.
Так как инвариантные обобщенные компоненты объективно определяются структурой и содержанием задания, а сложность является объективной характеристикой, отражающей возможность выполнения задания, было высказано предположение о существовании связи между факторами сложности и обобщенными компонентами. Поэтому на поисковом этапе на основе обобщенных компонентов были выделены факторы сложности и разработана технология априорной оценки сложности учебных заданий по физике. Расчет весовых коэффициентов факторов сложности производился на основании данных статистической обработки педагогических измерений с большим объемом выборки (более 3 тыс. измерений). В результате были получены 6 когнитивных и 10 дополнительных факторов сложности, их весовые коэффициенты, а также выделены 5 тем, наиболее трудных для учащихся при обучении, для которых были установлены поправочные коэффициенты. Была разработана интерактивная форма по расчету сложности учебных заданий по физике, написанная на языке программирования VBA в MS Excel, а также произведена ее апробация. Рассчитанные ранее весовые коэффициенты всех факторов сложности были заложены в программу.
Затем был разработан метод покомпонентной оценки уровней усвоения. Так как контроль усвоения обобщенных компонентов позволяет проследить динамику их формирования и при необходимости произвести целенаправленную точечную коррекцию, разработанный метод должен быть ориентирован не только на расчет интегральной оценки на основе компонентов, но и на оценку уровней освоения самих компонентов как отдельными учащимися, так и всего класса в целом. Для реализации схемы на этом этапе опытно-поисковой работы в MS Excel была разработана интерактивная форма. На этом же этапе была произведена апробация программы.
Важным результатом описываемого этапа было обоснование выделения комплекса критериев результативности. Результаты данного этапа позволили корректно организовать и осуществить экспериментальную часть исследования.
Формирующий этап опытно-поисковой работы (2009 – 2010 гг.) был посвящен проведению педагогического эксперимента, апробации разработанной технологии многофакторной оценки сложности учебных заданий во время педагогического эксперимента и обсуждению его результатов. В ходе педагогического эксперимента и по его окончании были произведены измерения критериальных показателей, обработаны данные анкетирования, произведена статистическая обработка результатов и их интерпретация.
В исследовании приняли участие 10 учителей и преподавателей физики, которые были ознакомлены с технологией оценки сложности учебных заданий и алгоритмом покомпонентного оценивания результатов выполнения заданий учащимися. Для проверки им предоставлялись результаты одной и той же контрольной работы, выполненной группой учащихся.
Для оценки объективности и достаточности выделенных в работе факторов сложности учебных заданий по физике преподавателям, участвовавшим в эксперименте, были даны соответствующие разъяснения, после чего предложена оценочная анкета. Анализ результатов анкетирования показал, что объективность факторов отметили 5 участников (100 %). 4 педагога (80 %) указали в анкете достаточность выделенных факторов, 1 участник (20 %) указал на их недостаточность и выделил еще 2 фактора. Однако при обсуждении выяснилось, что, по сути, они сводятся к уже имеющимся. Таким образом, можно считать, что перечень выделенных факторов сложности получил поддержку экспертов.
Достаточность выделенных факторов сложности, правильность значений весовых коэффициентов отдельных факторов и корректность технологии оценки сложности в целом доказываются существенно большим коэффициентом корреляции между статистической трудностью (как мерой фактических затруднений учащихся при выполнении заданий) и сложностью, оцененной экспертами по предложенной технологии, по сравнению с корреляцией между статистической трудностью и трудностью, оцененной экспертами до знакомства с разработанной технологией. На основе первичных протоколов экспертной оценки трудности и сложности заданий, оцененных участниками, в табл. 4 приведены соответствующие коэффициенты корреляции.
Разброс оценок, данных экспертами, количественно может быть охарактеризован дисперсией. Ввиду различной сложности заданий все значения дисперсий были нормированы по квадрату средних значений для каждого задания. Среднее значение дисперсий по всем заданиям экспертной трудности составило 0,33, сложности – 0,04. Существенное уменьшение дисперсии и ее малая абсолютная величина, т.е. близость оценок разных экспертов, свидетельствуют об объективности предложенной технологии оценки сложности.
Объективность и достаточность выделенных обобщенных компонентов также выявлялись путем анкетирования экспертов. Согласно результатам анализа анкетирования, объективность и достаточность обобщенных компонентов отметили 5 преподавателей физики (100 %).
Корректность предложенного в работе алгоритма покомпонентного оценивания успешности выполнения задания проверялась следующим образом: каждый эксперт проверял по 21-ой ученической контрольной работе дважды: в первом случае – в соответствии со своим педагогическим опытом и личными критериями и установками, второй раз – в соответствии с покомпонентным методом. Из данных, представленных в табл. 5, следует, что разброс экспертных оценок, характеризуемый дисперсией, при использовании предложенного метода значительно сокращается, что свидетельствует, с одной стороны, о корректности выделенных компонентов и их связи с факторами сложности, а с другой стороны показывает возможность объективного оценивания учебных достижений учащихся.
Таким образом, в процессе исследования полностью подтвердились все экспериментальные гипотезы, что свидетельствует о справедливости исходной гипотезы, состоящей в том, что разработанная технология позволяет априорно произвести оценку сложности учебных заданий по физике и на ее основе объективно оценить успешность обучения.
ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
В процессе исследования полностью подтвердилась исходная гипотеза, решены поставленные задачи и получены следующие результаты и выводы:
1. Актуальность разработки технологии оценки сложности как объективной характеристики учебного задания обусловлена потребностями образовательной практики в управлении процессом обучения физике и необходимости объективного измерения уровня учебных достижений учащихся.
2 Сложность учебного задания трактуется в работе как объективная многофакторная количественная дидактическая характеристика, определяемая числом и характером умственных действий, необходимых для его выполнения нормативным способом.
3. Значение сложности учебного задания определяется суммой групп факторов сложности (когнитивной, технической и дополнительной), которые включают 17 значимых факторов, учитывающих характер умственных действий учащегося и особенности представления исходных данных при выполнении задания нормативным способом.
4. Весовые коэффициенты факторов сложности учебного задания определены посредством статистического анализа значительных по объему выборок результатов педагогических измерений. На их основе построена технология оценки сложности любого учебного задания по физике, для которого установлен нормативный способ решения.
5. Анализ государственных образовательных стандартов и учебных программ позволяет выделить в школьном курсе физики обобщенные компоненты знаний и умений, инвариантные для всех разделов курса: знать и понимать смысл физических величин, единицы их измерения в СИ; знать аналитические выражения, описывающие физические законы, принципы, постулаты; понимать смысл физических законов, явлений, постулатов и принципов; уметь обрабатывать информацию, представленную в табличной и графической формах; уметь осуществлять интеграцию знаний.
6. Связь обобщенных компонентов знаний и умений с факторами сложности учебного задания обеспечивает возможность построения метода объективной оценки успешности обучения физике и позволяет учителю осуществлять управление ходом обучения.
7. Апробация положений и идей исследования показала, что факторы сложности и обобщенные компоненты знаний и умений по физике выделены корректно, обладают качеством достаточности и соответствуют содержанию школьного курса физики. Предложенная в работе технология оценки сложности обеспечивает, с одной стороны, хорошую согласованность со статистической трудностью и, с другой стороны, малая дисперсия оценок сложности, произведенных разными педагогами.
ОСНОВНОЕ СОДЕРЖАНИЕ ИССЛЕДОВАНИЯ ОТРАЖЕНО В ПУБЛИКАЦИЯХ:
Работы, опубликованные в ведущих научных журналах, включенных в реестр ВАК МОиН РФ
- Наймушина, О. Э. Результаты централизованного абитуриентского тестирования 2006 г. по основным образовательным предметам и предметам повышенной сложности / А. В. Мальцев, О. Э. Наймушина // Известия Уральского гос. ун-та. – 2007. – № 52. – С. 73-78 (авторских 50 %).
- Наймушина, О. Э. Тестология в образовании: вчера, сегодня, завтра /А. В. Мальцев, О. Э. Наймушина // Известия Уральского гос. ун-та. – 2008. – № 60. – С. 7-14 (авторских 50 %).
- Наймушина, О. Э.Измерение уровня усвоения компонентов знаний по физике на основе многофакторной оценки сложности контрольных заданий / О. Э. Наймушина, Б. Е. Стариченко // Мир науки, культуры, образования. – 2009. – № 7 (19). – С. 106-109 (авторских 50 %).
- Наймушина, О. Э. Многофакторная оценка сложности учебных заданий / О. Э. Наймушина, Б. Е. Стариченко // Образование и наука: Известия УрО РАО. – 2010. – № 2 (70). – С. 58-70 (авторских 50 %).
Работы, опубликованные в других изданиях
- Наймушина, О. Э. Результаты централизованного тестирования абитуриентов 2006 года разных региональных представительств Свердловской области /А. В. Мальцев, О. Э. Наймушина // Новые образовательные технологии в вузе: сб. материалов IV междунар. науч.-метод. конф. , Екатеринбург, 5-8 февр. 2007 г. / УГТУ-УПИ. – Екатеринбург, 2007. – С. 376-377 (авторских 50%).
- Наймушина, О. Э.Сравнение результатов бланкового и компьютерного тестирования Свердловской области по основным образовательным предметам / А. В. Мальцев, О. Э. Наймушина // Автоматизация и прогрессивные технологии: труды V межотраслевой науч.-технич. конф. , Новоуральск, 26-28 сент. 2007 г. / Новоуральский гос. тех. институт – Новоуральск, 2007. – Т. 2. – С. 137-139 (авторских 50%).
- Наймушина, О. Э.Анализ результатов централизованного тестирования по физике и физике повышенной сложности в Свердловской области / А. В. Мальцев, О. Э. Наймушина // Школа и вуз: достижения и проблемы непрерывного физического образования: сб. трудов V российской науч.-метод. конф. преподавателей вузов и учителей школ / УГТУ-УПИ. – Екатеринбург, 2008. – С. 155-158 (авторских 50%).
- Наймушина, О. Э.Анализ результатов централизованного тестирования 2006 года по основным образовательным предметам / А. В. Мальцев, О. Э. Наймушина // Психологический вестник Уральского государственного университета. – Екатеринбург: Изд-во Уральского гос. ун-та, 2008. – Вып. 6. – С. 172-183 (авторских 50%).
- Наймушина, О. Э.Различие тестовых технологий в образовании / О. Э. Наймушина // Информационно-математические технологии в экономике, технике и образовании: тез. докл. III междунар. науч. конф. / УГТУ-УПИ. – Екатеринбург, 2008. – С. 312-314.
- Наймушина, О. Э. Многофакторная оценка сложности контрольных заданий по физике / О. Э. Наймушина // Межвуз. науч. конф.-семинар молодых ученых по результатам исследований в области психологии, педагогики и социологии: сб. трудов, Красноярск, 25 дек. 2009 г. / Научно-инновационный центр. – Красноярск, 2010. Ч. 2. – С. 67-69.
- Наймушина, О. Э. Дифференциальная оценка уровней усвоения компонентов знаний / О. Э. Наймушина // Инновации в образовательных системах: материалы I всеросс. дистанционной науч.-практ. конф. , Челябинск, 25 дек. 2009 г. – Челябинск: Изд. центр ЮУрГУ, 2009. – С. 65-69.
- Наймушина, О. Э.Многофакторная оценка сложности заданий по физике / О. Э. Наймушина, Б. Е. Стариченко // Материалы междунар. науч.-практ. конф. «Реализация национальной образовательной инициативы «Наша новая школа» в процессе обучения физике, информатике, матемактике» / Урал. гос. пед. ун-т, – Екатеринбург, 2010. – Ч. I. – С. 135-142 (авторских 50%).