Scientific journal
Научное обозрение. Педагогические науки
ISSN 2500-3402
ПИ №ФС77-57475

THE EXPERIENCE OF COMPUTER TESTING IN THE EDUCATIONAL PROCESS

Evstigneeva N.A. 1
1 Moscow Automobile and Road Construction State Technical University
Questions of improvement of learning quality by means of application of computer testing and self-testing of students are considered. The experience of the department “Technosphere safety” of the Moscow Automobile and Road Construction State Technical University (MADI) in the use of computer testing for current and final quality control in discipline “Life Safety” is represented. The advantages of using the automated systems of online testing which improve the effectiveness of organization of independent students’ work in the educational process are disclosed. The possibilities of system Scientia for online testing which was created by MADI Specialists are described. Specialists from department of MADI “Informational and technical tools of education” continuously develop, improve and supplement system Scientia. But it still does not meet all the needs of the testing organizers. Disadvantages of Scientia system which lead to the loss of time in organizing extracurricular testing are marked.
learning quality
objective assessment
computer testing
independent students’ work
extracurricular online testing.

Введение

Существующая система обучения в высшей школе в значительной мере рассчитана на высокий уровень сознательности и допускает несистематичность в работе обучающихся. Согласно результатам социологического опроса, приведённым в [18], «только 9,6% студентов … обычно готовятся к экзаменам в течение семестра и во время сессии только просматривают материал»; остальные, как правило, заново изучают материал всего курса во время сессии. Этому способствует традиционная система оценки уровня освоения студентами дисциплин, ориентированная на контроль главным образом в период экзаменационной сессии и не позволяющая дифференцированно оценить успехи каждого студента в межсессионный период [1]. Ясно, что один из путей повышения качества образования заключается в совершенствовании системы контроля освоения студентами программы подготовки.

Модернизация учебного процесса в соответствии с положениями Болонской декларации предусматривает новый подход к оценке качества образования посредством балльно-рейтинговой системы (далее – БРС).БРС имеет перед традиционной системой оценки знаний ряд преимуществ, которые заключаются в систематичности проведения контрольных мероприятий, позволяющих учитывать все виды учебной деятельности обучающихся как в течение всего семестра, так и в период сессии; в более объективном оценивании за счёт использования балльной шкалы; в возможности формирования индивидуально-ориентированных траекторий обучения и использования стандартизированных (объективных) средств оценивания [3-5, 20, 21]. Одной из наиболее востребованных и актуальных форм контроля результатов обучения в высшей школе является тестирование с использованием современных компьютерных технологий [6].

Основная часть

Кафедра «Техносферная безопасность» МАДИ (далее – кафедра ТБ) осуществляет подготовку студентов всех направлений по дисциплине «Безопасность жизнедеятельности» (далее – БЖД) с использованием БРС. В соответствии Примерной программой дисциплины (курса) БЖД, утверждённой Научно-методическим советом по БЖД Минобрнауки 17.11.2009 г. и рекомендованной для всех направлений высшего образования (бакалавриата и специалитета), рабочие программы дисциплины построены по модульному принципу. В табл. 1 приведены названия образовательных модулей дисциплины и виды учебной работы, предусмотренные рабочими программами.

Таблица 1

Модули дисциплины БЖД и виды учебной работы

№ п/п

Наименование модуля

Виды учебной работы

Л (или С)

ЛЗ

СРС

1

Введение в безопасность. Основные понятия и определения

+

 

+

2

Человек и техносфера

+

 

+

3

Идентификация и воздействие на человека вредных и опасных факторов среды обитания

+

+

+

4

Защита человека и среды обитания от вредных и опасных факторов природного, антропогенного и техногенного происхождения

+

+

+

5

Обеспечение комфортных условий для жизни и деятельности человека

+

+

+

6

Психофизиологические и эргономические основы безопасности

+

 

+

7

Чрезвычайные ситуации и методы защиты в условиях их реализации

+

 

+

8

Управление безопасностью жизнедеятельности

+

 

+

Примечание к табл. 1. Л – лекции, С – семинары, ЛЗ – лабораторные занятия, СРС – самостоятельная работа студентов

Объективная оценка уровня усвоения учебного материала обучающимися является важнейшей составляющей образовательного процесса. В условиях повышения объема учебной (аудиторной) и учебно-методической работы преподавателей вопрос о применении ими компьютерных технологий для оценки качества подготовки обучающихся является весьма актуальным [5, 6, 20]. Распространение компьютерного тестирования в педагогической практике определяется разработкой, внедрением и совершенствованием автоматизированных контролирующих систем (программных комплексов) [6], а также достаточной компетентностью преподавателей в части применения новых технологий [2, 12, 19], позволяющей не только работать в контролирующих системах, но и квалифицированно создавать контрольно-измерительные материалы (далее – КИМ).

Тестирование как способ оценки уровня учебных достижений обучающихся. Как форма аттестации тестирование применяется давно и имеет по сравнению с традиционным устным ответом преподавателю «ряд серьёзных преимуществ: меньшая предвзятость, высокая степень унификации требований, единые критерии и нормы оценивания, психологическая комфортность обучающихся, экономия времени» [9]. Сегодня педагогические тесты признаны на государственном уровне как эффективное средство контроля качества подготовки обучающихся [22]. Неслучайно «процедура государственной аккредитации российских вузов включает обязательное тестирование обучающихся с целью оценки качества усвоения ими программного материала в соответствии с требованиями государственных образовательных стандартов высшего … образования. С 11 ноября 2009 г. аккредитационное тестирование проводится только в компьютерной форме с использованием сети Интернет» [7].

Необходимость разработки собственных тестовых заданий по БЖД. Для текущего и итогового контроля преподавателем, а также самоконтроля обучающимися результатов освоения материала курса БЖД на кафедре ТБ применяется компьютерное тестирование. Для его проведения преподавателями были разработаны тестовые задания к модулям программы и лабораторным работам. По соображениям, подробно изложенным автором в [7, 9], воспользоваться КИМ, разработанными в Научно-исследовательском институте мониторинга качества образования (НИИМКО, г. Йошкар-Ола), не представляется возможным.

Тестирование в режиме offline. В начале в образовательном процессе кафедры ТБ широко использовался программный комплекс ADSoft Tester (version 2.8.1), позволяющий создавать, редактировать тесты, проводить тестирование в режиме offlineс автоматизированным процессом обработки результатов [8, 10, 12].С этой целью на каждый персональный компьютер (далее – ПК) учебного класса кафедры ТБ был установлен пакет программ ADSoft Tester. Поскольку указанный программный комплекс не предназначен для работы в локальной сети кафедры (или образовательного учреждения), то его применение имело определённые недостатки: невозможность оперативно (одновременно) вносить исправления в тестовые задания на все ПК, «привязанность» процесса тестирования к определённой учебной аудитории, трудоёмкость формирования базы результатов тестирования студентов учебных групп и пр.

Система Scientia и её возможности. В сентябре 2012 г. в МАДИ была введена в эксплуатацию разработанная отделом информационно-технических средств обучения вуза (далее – отдел ИТСО) на базе web-технологий собственная система интернет-тестирования Scientia [16, 17]. Кафедра ТБ стала одним из её первых активных пользователей [15]. С момента внедрения системы Scientia в образовательный процесс вуза текущий контроль по окончании изучения каждого модуля, а также итоговый контроль освоения курса БЖД реализуется в режиме online. Наряду с тестированием в Scientia некоторое время ещё продолжалось параллельное использование комплекса ADSoft Tester, но лишь для тестирования по лабораторным работам. В сентябре 2016 г. был завершён запланированный ранее [12-14] перевод КИМ к лабораторным работам в базу системы Scientia.

Имеющийся опыт практического применения компьютерного тестирования как в режиме offline (ADSoft Tester), так и в режиме online (Scientia) позволил выявить преимущества последнего, благоприятно отражающиеся на качестве и эффективности образовательного процесса [6, 10-12]:

- возможность создания, редактирования тестов, а также организации проведения контрольного тестирования и обработки его результатов из любой точки доступа к сети Интернет и в удобное для преподавателя время;

- возможность для студентов многократного автономного прохождения самоконтроля из любой точки доступа к сети Интернет и в любое удобное для них время – в режиме «репетиция»;

- возможность проведения внеаудиторного контроля текущей успеваемости;

- возможность оперативного (в ходе процесса освоения дисциплины) выполнения анализа результатов текущего контроля и на его основе выработки и осуществления управляющих воздействий на образовательный процесс (например, проведение дополнительных «тематических» консультаций);

-минимизация риска несанкционированного доступа студентов к банку КИМ.

В настоящее время тестирование по курсу БЖД осуществляется исключительно в Scientia. Следует отметить, что отдел ИТСО постоянно развивает и совершенствует созданную им систему интернет-тестирования, ориентируясь как на существующие автоматизированные программные комплексы, так и на запросы преподавателей МАДИ – организаторов тестирования. Действующая версия 1.6 Scientia поддерживает пять типов тестовых заданий: «одиночный выбор», «множественный выбор», «ввод ответа с клавиатуры», «порядок» и «соответствие». При этом у каждого типа заданий имеются свои индивидуальные настройки, разработчиками системы интернет-тестирования предусмотрена возможность устанавливать уровень сложности заданий. Конструктор тестов имеет встроенный текстовый редактор, который позволяет произвольным образом форматировать текст, осуществлять вставку графических объектов и таблиц. Программный комплекс предоставляет преподавателю по каждому студенту, прошедшему тестирование, как общую информацию – суммарное число набранных баллов (табл. 2), так и детализированную, содержащую формулировку тестовых заданий, данные обучающимся ответы, а также оценку последних в баллах (рис. 1). Всю информацию преподаватель может получить в любое время через свой личный кабинет на сайте http://scientia-test.ru.

До внедрения версии 1.6 Scientia преподавателям для получения целостной картины текущей успеваемости в учебной группе приходилось экспортировать результаты каждого тестирования из протокола Scientia в табличный процессор Microsoft Excel – для её дальнейшей обработки и анализа [6]. С вводом последней версии Scientia необходимость в этом отпала. Сегодня система интернет-тестирования МАДИ позволяет сформировать полный отчёт по учебным группам за любой период времени (табл. 3).

Таблица 2

Общая информация о результатах тестирования, предоставляемая системой Scientia

Группа

Тест

Дата

Имя

Фамилия

Логин

Результат

3бЗС

3. Идентификация вредных

и опасных факторов

18.03.16

Иван

Иванов

iivanov

570

3бЗС

3. Идентификация вредных

и опасных факторов

18.03.16

Петр

Петров

ppetrov

420

3бЗС

3. Идентификация вредных

и опасных факторов

18.03.16

Сидор

Сидоров

ssidorov

600

missing image file

Рис. 1. Детализированная информация о результатах тестирования, предоставляемая системой Scientia

Таблица 3

Общая информация о результатах тестирования по тестам 1…8, генерируемая системой Scientia

Группа: 3бЗС

Фамилия

Имя

Тест 1

Тест 2

Тест 3

Тест 4

Тест 5

Тест 6

Тест 7

Тест 8

Иванов

Иван

570

420

320

450

360

360

400

360

Петров

Петр

600

600

Н

Н

450

380

560

360

Сидоров

Сидор

Н

560

420

380

360

400

520

280

Раньше для проведения итогового тестирования по всему учебному курсу преподавателю необходимо было помимо тестов по отдельным модулям создавать также в системе Scientia еще один тест, охватывающий материал всего курса. С переходом к версии 1.6 в этом нет необходимости. Теперь организатор тестирования имеет возможность самостоятельно формировать программу тестирования, назначая определённое число заданий из каждого модуля (и даже отдельной темы) дисциплины (рис. 2). Это нововведение позволяет более объективно оценивать целостность и прочность усвоения учебного материала всего курса.

missing image file

Рис. 2. Группы вопросов модуля «Введение в безопасность. Основные понятия и определения» курса БЖД

Внеаудиторный текущий интернет-контроль качества обучения. Организация систематического контроля качества обучения (текущего контроля) позволяет добиться ритмичной самостоятельной работы студентов в течение семестра. Однако в учебных планах подготовки студентов такой вид аудиторной работы не предусмотрен. Организовать текущий контроль освоения дисциплины за счёт времени, отводимого на потоковые лекционные занятия, в условиях сокращения удельного веса таковых в общей аудиторной нагрузке представляется нецелесообразным. Практика показывает, что на лабораторных и семинарских (практических) занятиях, насыщенных активной деятельностью обучающихся, также недостаточно времени для систематического проведения текущего интернет-контроля по дисциплине, такой контроль возможно осуществить лишь по отдельным вопросам, соответствующим теме занятия. В связи с изложенным представляется целесообразным организация внеаудиторного текущего интернет-контроля по модулям дисциплины. Результаты выполненного автором исследования [5] дали возможность рекомендовать данный вид контроля для внедрения в учебный процесс при определённом стимулировании обучающихся – учёте результатов текущего контроля при оценке уровня освоения дисциплины в целом. Включение внеаудиторного текущего интернет-контроля по дисциплине БЖД в учебный процесс кафедры ТБ позволило добиться повышения успеваемости обучающихся.

Заключение

Разработанная специалистами МАДИ на базе web-технологий система тестирования Scientia показала свою эффективность в учебном процессе всего вуза [22]. Для преподавателя-организатора тестирования её использование намного удобнее и менее трудоёмко по сравнению с применением автоматизированных контролирующих систем, обеспечивающих проведение компьютерного тестирования в режиме offline.

Вместе с тем практика использования системы Scientia в образовательном процессе кафедры ТБ позволила выявить её недостатки, порождающие нерациональные трудозатраты преподавателей при организации внеаудиторного текущего контроля и анализе его результатов:

- отсутствует возможность в один приём организовать в учебной группе контрольное тестирование с предоставлением обучающимся нескольких попыток выполнения теста и фиксацией в протоколе только лучшего результата (с указанием номера соответствующей попытки);

- не предусмотрена возможность автоматического перенаправления сгенерированных для прохождения тестирования логинов и паролей на электронный адрес учебной группы (или старосты учебной группы).