Архив публикаций

Тезисы

XVI-ая конференция

Автоматизация экспертизы качества тестовых материалов

Муратова Е.А.

Россия, 634050, Томск, пр. Ленина, 30, тел.: (382)256-46-70, e-mail: muratova@tpu.ru

Экспертиза качества тестовых материалов (ТМ) достаточно трудоемкая и дорогостоящая процедура. Необходимость и актуальность ее проведения обусловлены тем, что качественный фонд контролирующих и оценочных средств является ведущим показателем образовательного потенциала вуза и позволяет осуществлять полноценный квалиметрический контроль результатов обучения.

Основная задача экспертизы качества ТМ – это оценка ключевых свойств тестовых заданий: 1) конгруэнтность элементу содержания (значимость содержания задания для проверки; работоспособность дистракторов; корректность «эталонного ответа», уровень измерения); 2) технологическое качество задания (наличие инструкции, соответствие выбранной форме задания, технологичность, избыточность информации, сложность/простота формулировки, логическая форма высказывания, параллельность вариантов, наличие статистических характеристик и др.).

Анализ существующих программных продуктов, поддерживающих проведение экспертизы в различных предметных областях, показал возможность её автоматизации с учетом особенностей исследуемой проблемной области. Кроме того, известные нам программные продукты предполагают только разработку, хранение и предъявление ТМ без учета существующих в теории педагогических измерений требований, и тем более не осуществляют автоматизированную экспертизу качества ТМ. Поэтому считаем, что разработка интеллектуальной информационной системы экспертизы качества тестовых материалов является актуальной.

Анализ результатов апробационого тестирования подтвердил необходимость проведения тестологической экспертизы перед апробацией теста, что в свою очередь позволит снизить затраты на разработку и внедрение эффективных диагностических тестов в образовательный процесс.

Кроме того, анализ требований, предъявляемых при разработке ТМ, показал возможность их полной или частичной автоматизации. Для этого разрабатываются эвристические алгоритмы, основанные на интеллектуальном анализе текста и данных.

На данный момент построена функциональная модель экспертизы качества ТМ, с учетом которой разработана архитектура программного комплекса; разрабатывается прототип информационной системы. По результатам апробации будет оптимизирована функциональная модель и архитектура программного комплекса.

Автоматизация тестологической экспертизы и ее использование на этапе разработки тестовых материалов позволит усовершенствовать ТМ, сократить сроки разработки квалиметрического теста и улучшить качество образования.

Работа выполнена при финансовой поддержке РГНФ (проект № 08-06-12122в) .

• открыть в PDF формате