Проанализировать результаты работы.
Теоретико-методологическая основа курсовой работы: исследования Аванесова В.С., Агапова В.Ю., Мишаковой Л.В., Колеченко А.К., Ковалёвой Г.С., Майорова А. Н..
Теоретическая значимость исследования заключается в том, что данное исследование позволяет изучить и уточнить методику создания тестовых заданий.
Практическая значимость данной работы заключается в разработке тестовых заданий.
Дипломная работа состоит из введения, трёх глав, заключения и списка используемой литературы. Первая глава посвящена методическим основам создания тестовых заданий, вторая - подбору материала для тестовых заданий, третья глава состоит из разработанных тестовых заданий.
ГЛАВА 1. МЕТОДОЛОГИЧЕСКИЕ ОСНОВЫ СОЗДАНИЯ ТЕСТОВЫХ ЗАДАНИЙ
.1 Особенности тестовых заданий
Тесты как измерительный инструмент используются в большинстве стран мира. Их разработка и использование основано на мощной теории и подтверждено многочисленными эмпирическими исследованиями. Тестология как теория и практика тестирования существует более 120 лет, и за это время накоплен громадный опыт использования тестов в различных сферах человеческой деятельности, включая образование. Тесты не являются универсальным средством, границы использования тестирования достаточно хорошо известны, и это знание дает уверенность в том, что качественно подготовленный и использованный тестовый инструмент даст качественную и надежную информацию, соответствующую реальному положению дел.
Критики недостатков традиционных способов аттестации учащихся приведено достаточно много. Основной недостаток - низкая объективность оценивания, о которой говориться уже много лет. Приведем еще несколько доводов. По сведениям А.Н. Кимберга (Создание систем оценки качества знаний учащихся. Краснодар, 1994) в 1994 году в Москве из 50 тысяч выпускников получили золотые медали 110, а в Новосибирске из 8 тысяч - 55.
Педагогический тест - это система тестовых заданий, ранжированных в рамках определенной стратегии предъявления и позволяющих эффективно оценить качество знаний и умений обучаемых. В случае гомогенных тестов принято располагать задания по нарастанию трудности (см., например, [1-2]). Этому требованию достаточно хорошо удовлетворяют тесты единого государственного экзамена по всем предметам.
Предметом нашего рассмотрения будут тесты, но не все и не всякие тесты, а в первую очередь тесты учебных достижений (другие синонимичные названия: тесты школьных достижений, педагогические, дидактические и т.д.).
Современное понимание тестов и тестирования можно развести по трем уровням:
Первый - «бытовой» уровень. Здесь тест понимается как набор вопросов с вариантами ответов, который стоит в одном ряду с кроссвордами, головоломками и служит в большей степени для развлечения и удовлетворения познавательных интересов. Педагоги с таким пониманием тестирования считают тестирование очень ненадежным, ограниченным, а создание тестов простейшим делом.
Второй уровень понимания тестирования можно назвать «словарным». В этом понимании выделяются основные составляющие понятия тестирования. При этом не учитываются особенности процедуры создания, использования, анализа, специфичные для той или иной сферы применения. Для этого понимания характерны разночтения и противоречия в понятиях и определениях. Современное состояние развития тестологии находится именно на этом уровне. Многие понятия до конца не определены, многие авторы трактуют по-разному одни и те же понятия и, в свою очередь, одно явление может иметь несколько названий. Это вполне естественный этап развития молодого научно-практического феномена, когда понятийный аппарат находится в стадии становления, а часть терминов и понятий иноязычны и в разных переводах приобретают отличающиеся значения. (Например, само понятие тестирование в русском языке имеет значение «испытания с использованием тестов», в английском тестирование может использоваться как эквивалент экзамена, любого испытания.) Субъективными причинами такого положения являются попытки отечественных авторов вводить свои определения взамен устоявшихся в смежных областях науки, особенно в психодиагностике. Например, достаточно устойчивое понятие психодиагностики «дискриминативность» в отечественной педагогической литературе часто заменяется на понятие «дифференцирующая способность». Исходя из сложившейся ситуации, мы попытаемся дать максимально большой спектр различных синонимов, которые могут встретиться в литературных источниках.
Третий уровень понимания может быть назван научным. Он наиболее точен, учитывает особенности тестов и отражает требования к тестам, которые появляются в процессе развития и научного обоснования тестирования. К этому уровню, вероятно, и следует стремиться.
1.2 Классификация тестовых заданий
Педагогический тест как измерительный инструмент должен удовлетворять определенным требованиям качества. Он должен обладать достаточно высокой дифференцирующей способностью, быть валидным и надежным. Оценка качества педагогического теста проводится по результатам его апробации с использованием, как классической теории тестов, так и современных математических методов [5; 28]. Разработка педагогического теста, удовлетворяющего определенным критериям качества, представляет собой весьма сложную задачу, решение которой требует участия опытных специалистов-предметников, хорошо представляющих содержание учебных стандартов, программ и учебников, владеющих методикой преподавания учебной дисциплины и знающих основы тестологии.
Классификацию педагогических тестов можно провести по различным признакам.
1.По характеру интерпретации результатов:
а) критериально-ориентированные тесты;
б) нормативно-ориентированные тесты.
2.По содержанию:
а) гомогенные тесты (касаются содержания отдельной учебной дисциплины;
б) гетерогенные тесты (по совокупности дисциплин);
в) интегративные (ответы на поставленные вопросы требуют знания учебного материала по двум и более дисциплинам).
3.По этапам контроля:
а) входной (проверка готовности к обучению, установление того, что знают обучаемые из содержания новой дисциплины);
б) текущий (в т.ч. диагностический);
в)тематический, г) рубежный, д) итоговый.
4. По средствам предъявления:
-бланковые (тесты «бумага и карандаш»), эти тесты в свою очередь можно разделить на два вида:
а)с использованием тестовых тетрадей, в которых находятся
тестовые задания и в которых испытуемый фиксирует результаты;
б)с использованием бланков, в которых испытуемые отмечают или вписывают правильные ответы (фиксируют ответы). Бланки предъявляются отдельно от заданий;
- предметные - в которых необходимо манипулировать материальными объектами, результативность выполнения этих тестов зависит от скорости и правильности выполнения заданий;
- аппаратурные - тесты с использованием устройств для изучения особенностей внимания, восприятия, памяти и мышления;
- практические - появившиеся относительно недавно эти тесты сходны с известными у нас лабораторными работами (по химии, физике, биологии и пр.), однако снабженные соответствующими инструкциями и имеющие тестовое оснащение);
- компьютерные.
Критериально-ориентированный подход рассчитан на интерпретацию результата тестирования каждого участника по отношению к некоторой содержательной области, которая принимается за полный, планируемый к усвоению объем. Это тесты для выявления уровня овладения стандартом. Т.е. КОТ предназначены для того, чтобы оценить, на сколько учащиеся достигли заданного уровня знаний, умений, определенного как критерий. В этом случае оценка конкретного ученика не зависит от того, какие результаты получили другие ученики. Оценка показывает, соответствует ли уровень достижений данного ученика социально-культурным нормам, требованиям стандарта или другим критериям. Используемые при этом «тесты» не соответствуют подлинно тестовым методам. Используются по существу не тесты в традиционном их понимании, а совокупности заданий в тестовой форме. [3;67]
Главная цель теста - установить отношение порядка между испытуемыми по уровню проявляемых при тестировании знаний, и на этой основе определить место или рейтинг каждого обучаемого на заданном множестве тестируемых. В этом случае в тест отбирается такое минимально достаточное количество заданий, которое позволяет сравнительно точно определить, образно говоря, не «кто что знает», а «кто знает больше».
При создании комплексных междисциплинарных тестов, предназначенных для решения задач аккредитации вузов по качеству подготовки студентов, предпочтение рекомендуется отдавать нормативно ориентированным тестам.
1.3 Критерии качества теста
Как инструмент для проведения педагогического измерения тест должен удовлетворять определенным критериям качества.
. Дифференцирующая способность теста
Кривая распределения тестовых баллов должна быть достаточно широкой. Существуют статистические методы оценки того, на сколько каждое задание теста способствует выполнению данного критерия.
2. Валидность теста.
Валидность означает пригодность тестовых результатов для той цели, ради чего проводилось тестирование. Высокая валидность теста означает, что тест свободен от субъективных факторов и беспристрастно измеряет то, для чего он предназначен. Можно выделить множество различных составляющих общего понятия «валидность». Рассмотрим валидность по содержанию.
Содержательная валидность теста означает, что задания теста полностью охватывают, и при том в нужной пропорции, все основные аспекты той области знания, подготовленность в которой этот тест оценивает, измеряет.
Составить тест валидный по содержанию могут только опытные специалисты-предметники, хорошо представляющие соответствующие учебные стандарты и программы, учебники, методику преподавания, а также владеющие основами тестологии. Оценить валидность по содержанию могут только независимые опытные эксперты.
. Надежность теста.
Надежность понимается как мера одинаковости, повторяемости или связанности двух измерений одного и того же качества одним и тем же тестом или его параллельными вариантами.
На практике используются три основных метода оценки надежности теста:
1.Повторное тестирование (ретестирование).
2.Параллельное тестирование.
.Расщепление теста на части.
Первый метод состоит в проведении повторного тестирования через некоторый интервал времени теми же заданиями. Надежность теста вычисляется как мера корреляции между результатами двух проверок.
Недостаток метода: неопределенность интервала времени (от двух недель до 6 месяцев), испытуемые знают содержание теста, интеллектуально выросли за прошедшее время и т.д.
Второй метод - повторное тестирование по параллельному тесту. Интервал времени может быть минимальным.
Метод расщепления теста на части применяется тогда, когда повторное тестирование нежелательно, и существует только один вариант теста. Самое простое деление - на две части. При этом распределение оценок за выполнение всего теста в целом должно быть близко к распределению оценок при выполнении частей теста. Надежность определяется качеством заданий, условиями проведения тестирования, психологическим состоянием тестируемых и др. факторами. [5;70]
Основными формами тестовых заданий являются следующие:
- Задания закрытой формы, в которых испытуемые выбирают правильный ответ из данного набора ответов к тексту задания. Привлекательная сторона заданий этого типа состоит в их технологичности, допускающей использование в процедуре тестирования компьютерных технологий без опаски неправильной обработки введенного ответа. Недостатком, однако, является возможность угадывания, которая уменьшается с ростом числа предложенных ответов.
- Задания открытой формы, требующие при выполнении самостоятельного формулирования ответов. Эти задания являются для испытуемых более трудными, чем задания в закрытой форме. Легче выбрать правильный ответ, основываясь иногда не на знаниях, а на интуиции, чем самому его сформулировать. Но именно это свойство делает открытые задания очень привлекательными для педагога. (Растет надежность педагогического измерения). При использовании заданий этого типа легче обеспечить параллельность тестов по содержанию, трудности. Недостаток рассматриваемого типа заданий связан с проблемами, возникающими при компьютерном предъявлении заданий. В этом случае необходимы мощные средства обработки информации.
- Задания на соответствие, выполнение которых связано с установлением соответствия между элементами двух множеств. Одно множество, например, представляет собой перечень физических величин, другое множество - единицы их измерения.
- Задания на установление правильной последовательности. В этом случае требуется указать правильный порядок действий или процессов, перечисленных в задании.
Выбор формы задания зависит от целей тестирования и от содержания контролируемого материала.
Общие требования к заданиям разного типа
- Задания должны быть направлены на проверку значимых элементов содержания, а не тех, которые проще формулируются или просты в обработке.
- К каждой серии заданий даются инструкции определенной формы («Выберите 1 правильный ответ», «Дополните», «Установите соответствие», «Установите правильную последовательность»).
- Каждому заданию присваивается свой порядковый номер, установленный согласно объективной оценке трудности задания и выбранной стратегии тестирования.
- Задания формулируются (преимущественно) в логической форме высказывания, которое становится истинным или ложным в зависимости от ответа испытуемого.
- Текст задания должен исключать всякую двусмысленность и неясность формулировок.
- Текст задания формулируется предельно кратко, т.е. освобождается от всякого постороннего материала, и должен иметь предельно простую синтаксическую конструкцию.
- В задании не используются слова, вызывающие различное понимание у испытуемых, а также слова, являющиеся подсказкой, например, «иногда», «часто», «всегда», «все», «никогда».
- В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы правильность выполнения одного задания не зависела от правильности выполнения другого задания данной группы.
- В заданиях, носящих составной характер (например, в группе заданий, относящихся к одному тексту), необходимо обеспечить, чтобы в заданиях не дублировался объект контроля.
- В тексте задания исключается двойное отрицание.
- Терминология в заданиях не должна выходить за рамки учебной литературы, используемой в образовательном учреждении.
Дополнительные требования к заданиям закрытой формы
- Формулировка основной части задания должна быть законченной, т.е. испытуемый должен из ее содержания понять, какую задачу ему предстоит выполнить, до анализа предложенных вариантов ответа.
- В ответы целесообразно включать не более двух-трех важных ключевых слов, при этом правильный ответ не должен отличаться какими-либо формальными признаками от неправильных ответов (дистракторов).
- Из текста задания исключаются все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки.
- Следует избегать формулировок заданий с отрицанием. Если таковое используется, то соответствующее слово выделяется, например, «не зависит», «не является» и т.д. В утвердительных формулировках отрицание не используется.
- Задания должны иметь дистракторы, одинаково привлекательные для выбора.
- Из числа неправильных ответов исключаются ответы, вытекающие один из другого или дополняющие друг друга.
- Из ответов, как правило, исключаются все повторяющиеся слова путем ввода их в основной текст задания.
- Все ответы должны быть приблизительно одинаковой длины.
- Положение правильного ответа должно быть случайным, не подчиняться какой-либо закономерности.
- Все ответы должны быть грамматически согласованы с основной частью задания.
- Если ответ выражен в форме числа, то, как правило, эти числа должны располагаться упорядоченно от меньшего к большему или наоборот. При этом, если в ответе имеются числа 1, 2, 3, 4, 5, то они должны стоять под соответствующими номерами ответов.
- Все ответы должны быть перечислены либо строго друг под другом, либо в одну строку с тем, чтобы испытуемые не тратили времени на ориентировку в разнообразии возможных способов пространственного размещения ответов.
- Из числа тестовых заданий исключаются задания, требующие оценочных суждений и мнений испытуемого по какому-либо вопросу.
Дополнительные рекомендации к заданиям открытой формы
1.Задание начинается со слова «Дополните…:».
2.Для выполнения задания требуется добавить одно - два слова или одну цифру.
3.Для лучшего понимания задания добавляемое слово (цифру) следует располагать ближе к концу задания.
Дополнительные рекомендации к заданиям на установление соответствия
- Задания на установление однозначного или множественного соответствия начинаются с инструкции: «Установите соответствие…»
- Задание формулируется так, чтобы все содержание можно было выразить в виде двух множеств с соответствующими названиями.
Элементы первого столбца обозначаются цифрами и располагаются слева, а элементы второго обозначаются буквами русского алфавита и располагаются справа. При этом число элементов в первом и втором столбце не следует делать более 7 в каждом.
- Для каждого столбца вводится определенное название, обобщающее все элементы столбца. Название столбца записывается заглавными буквами.
- Элементы столбцов должны быть выбраны по одному основанию.
- Для заданий на однозначное соответствие необходимо, чтобы второй столбец имел на 1-2 элемента больше, чем первый.
- Каждому элементу первого столбца должен соответствовать один элемент второго. При этом один элемент второго столбца может соответствовать нескольким элементам первого (для заданий с множественным выбором) или не соответствовать ни одному элементу первого столбца (для заданий однозначного соответствия).
- Целесообразен следующий формат ответов на задания этого типа:
1234567
Дополнительные рекомендации к заданиям на установление последовательности
- Задание начинается со слов «Установите последовательность…».
- В условии перечисляются под буквенными обозначениями (следующими в алфавитном порядке) все элементы.
- Формулируется критерий упорядочивания.
- Рекомендуется следующий формат ответов на задания данного типа:
Этапы создания педагогического теста
Процедура разработки педагогического теста является весьма трудоемкой. В ней могут быть выделены следующие этапы:
- Определение целей тестирования.
- Анализ содержания учебной дисциплины. Выделение элементов знаний и умений.
- Составление плана теста и его специфики. Отображение содержания дисциплины в содержании теста.
- Создание заданий в тестовой форме.
- Первоначальный отбор заданий для теста, их ранжирование по трудности на основе субъективных оценок разработчика.
- Экспертиза качества заданий теста, его валидности.(Привлекаются несколько экспертов из числа опытных учителей-предметников, методистов).
- Составление инструкций для испытуемых и для преподавателей, проводящих тестирование.
- Апробация теста на репрезентативной выборке. Сбор эмпирических данных (составление матрицы тестовых баллов).
- Статистическая обработка результатов тестирования с использованием специальной компьютерной программы, например, программы «STATPAK» НИИ Проблем качества подготовки специалистов.
- Параметрическая оценка качества заданий теста и уровня знаний испытуемых на основе классической теории тестов или современной математической модели.
- Совершенствование теста путем удаления части заданий, добавления новых заданий.
- Повторение всех этапов, начиная с восьмого.
- Разработка рекомендаций по применению теста, по шкалированию результатов.
1.4. Экспертиза тестовых заданий
Экспертиза тестовых заданий является обязательным условием для создания тестов вне зависимости от уровня их применения. Даже оценка заданий одним экспертом дает гарантии отсутствия целого ряда недостатков.
Для тестов достижений локального применения достаточно из одного-двух экспертов; для тестов, применение которых планируется в широких масштабах, количество экспертов должно быть не менее 3-5.
Оценка заданий в рамках скрининга проводится по 6 разделам. Экспертам выдается специальный оценочный лист, основное содержание которого приведено ниже (названия терминов приведены в соответствии с имеющимся переводом):
. Уместность
- Ясно ли из вопроса, какой предмет, навык или умение тестируется?
- Можно ли ответить на вопрос, применяя другой навык, в отличие оттого, который требуется?
- Есть ли в вопросе какая-либо ловушка или головоломка, т.е. представляет ли он собой несущественную проблему? То есть, смогут ли просто «очень опытные в тестах» экзаменуемые ответить правильно на вопрос?
- Имеет ли вопрос достаточную степень трудности для предназначенного типа школы?
- Не увеличивается ли степень трудности вопроса лишней информацией (т.е. балластом)? Соответствует ли- тип вопроса цели теста?
- Приемлема ли степень трудности теста в целом для данного типа школы?
- Отвечает ли тест в целом целям, установленным для тестовой программы?
2. Применение языка
- Сформулирован ли вопрос в соответствии с грамматическими правилами?
- Содержит ли вопрос усложненный синтаксис?
- Содержит ли вопрос двойное отрицание? Содержит ли вопрос ненужные трудные слова?
- Содержит ли вопрос ненужные предложения в скобках? Есть ли необходимость формулировать вопрос негативно? Не может ли изложение вопроса привести к затруднению понимания?
- Есть ли опасность в значительном искажении смысла из-за сдвига ударения?
3. Информация
- Содержит ли вопрос достаточно информации для правильного ответа?
- Достаточно ли информации в вопросе для получения ответа требуемой длины и формы?
- Отчетливо ли изложены вопросы и их подпункты? Ясно ли и последовательно ли представлен цифровой порядок вопросов?
- Соблюдаются ли действующие условности при использовании символов, пунктуации и т.д.?
- Проверены ли таблицы и т.д. на наличие ошибок? Правильны ли сноски в вопросах к текстам, чертежам, таблицам и т.д.?
4. Вопрос и ответ
- Прочтите и ответьте на вопрос без прочитывания альтернативных вариантов.
- Соответствует ли Ваш ответ ключу, данному к вопросу?
- Есть ли ваш правильный ответ среди вариантов ответа?
- Нет ли более одного правильного ответа среди вариантов?
- Есть ли другие правильные ответы, помимо тех, которые даны среди альтернатив?
5. Варианты ответа (для закрытых заданий)
- Вероятна ли каждая из альтернатив?
- Свободен ли ключ от повторения, взятого из вопроса?
- Нет ли наличия таких определяющих, как «всегда» или «никогда»?
- Свободно ли сочетание вопроса и альтернативных ответов от двойного отрицания?
- Нет ли взаимно исключающих себя вариантов?
- Являются ли варианты ответа приблизительно одной длины?
- Являются ли варианты ответа грамматически и схематически приемлемыми продолжениями вопроса?
- Может ли быть понят вариант ответа без чтения других вариантов?