Валидация взаимопроверки парной работы студентов при длительном профессиональном обучении с помощью Яндекс-таблиц и онлайн-форм
04 марта 2024
Авторы: Деньгин Виталий Владимирович
Субъект РФ: Москва
Обучение сложным навыкам (например, факультативы, спецкурсы) организовать трудно, поскольку требуется согласовать структуру занятий для множества участников. Такое обучение удобно проводить асинхронно c помощью средств электронной коммуникации. При этом ученик выполняет задания по освоению этапов овладения навыком дистанционно, в удобное для себя время, и вносит в онлайн-таблицу, а преподаватель по ней отслеживает и при необходимости корректирует процесс обучения. Кроме того, ученикам можно предложить проверять выполненные задания в парной работе, что позволит ученикам лучше освоить навык (благодаря не только выполнению задания, но и проверке результата такого выполнения другим учеником) и даже дать возможность выбирать наиболее интересную им лично тему для проверки (индивидуализация проверки повысит ее качество). Преподаватель, оценив на небольшой выборке валидность взаимной оценки освоения навыка учениками, сможет затем внедрить такую оценку в учебный процесс, и тем самым снизить свою нагрузку по проверке работ учеников (что особенно важно для массовых курсов, а также для завучей). Онлайн-таблицы позволяют полностью спланировать курс обучения, контролировать его выполнение по срокам и получить количественные данные для определения валидности оценки учениками.
Мы применили и верифицировали схему обучения с помощью онлайн-таблицы в факультативном курсе профессионального перевода с английского языка у 121 студента 7 семестра Первого медицинского университета им. Сеченова. Курс, продолжительностью 1 семестр, включал 2 лекции, самостоятельный выбор студентом и перевод научной статьи по специальности (20000 знаков) и дополнительные коммуникации по электронной почте. Мотивацией для участия студентам служила возможность использовать переведенную в рамках курса статью в качестве квалификационной работы.
Ход работы и все используемые материалы были выложены в общий доступ на интерактивную онлайн-доску для совместной работы. Это позволило в переписке со студентами избегать дублирования, а давать прямую ссылку на соответствующую лекцию или дополнительный материал. Функционал интерактивной онлайн-доски позволяет проводить в ней лекции, задавая порядок перемещения по отдельным страницам. Однако во время лекции могут возникнуть затруднения, поскольку может «подтормаживать» интернет-соединение, поэтому удобней оказалось готовить презентации в формате pdf. В ходе лекции студентам нужно было открыть онлайновое компьютеризированное средство перевода tolma.ch, зарегистрироваться в нем, открыть заранее созданный образец перевода, научиться с ним работать, загружать и выгружать тексты. Для этого в слайдах лекции были указаны QR-коды, каждый этап работы проиллюстрирован скриншотами с надписями, после чего на нескольких слайдах приведен теоретический материал и заключение. Лекция осталась доступна студентам и после занятия, в помощь при работе с собственными переводами.
Весь ход работы над курсом вносили в онлайн Яндекс-таблицу [1]. На первой вкладке для каждого студента была выделена одна строка. Первые столбцы, с ФИО и адресом электронной почты, заполнял деканат. Адрес электронной почты был необходим, чтобы проверяющий и проверяемый студенты могли общаться. Далее шли столбцы с темой перевода и ссылкой на выполненный перевод, заполняемые переводившим студентом. Указывать тему требовалось, чтобы проверяющему студенту было проще выбрать перевод для проверки. В столбец ссылки был установлен фильтр, не позволявший вносить в него другие данные, кроме гиперссылки. Далее шел столбец зачета за перевод, заполнявшийся автоматически, когда студент вносил ссылку на перевод в соответствующий столбец. Технически можно было ограничиться учетом заполнения в формуле в столбце итогового зачета, но явное указание зачета за этот этап выполнения учебного курса лучше мотивировало студентов. Далее шел столбец со списком выбора проверяемых. Список был динамическим — уменьшался по мере выбора проверяемых студентов. Это было реализовано с помощью подсказки «Выберите ФИО, кого будете проверять» и фильтра на выбор значений только из дополнительного скрытого столбца с перечнем фамилий еще не выбранных студентов, в котором была установлена формула if(countif(G:G;A*)>0;"";A*), где G — столбец со списком выбора проверяемых, А* — ячейка в первом столбце со строкой с фамилией выбираемого проверяемого студента. Таким образом, после выбора этого студента для проверки его фамилия исчезает из списка для выбора. Тем самым устранялся риск, что какого-либо студента будут проверять несколько человек. В следующем столбце проверявший вносил ссылку на заполненную им онлайн-таблицу проверки, и после внесения ссылки следующий столбец с указанием зачета за этот этап работы также заполнялся. Дополнительно в этом столбце установили формулу проверки – если студент сделал перевод, но не выбрал проверяемого, в ячейке зачета указывался «0», и условным форматированием для столбца выделяли эту ячейку красным цветом — чтобы стимулировать студентов скорее выполнять этот этап работы. Далее шел столбец, куда студент вносил выявленное им при проверке количество ошибок, столбец проверки преподавателем, и столбец итогового зачета, заполняемого словом «зачет» и зеленым цветом после проверки преподавателем. Это было реализовано формулой IF(ISBLANK(L8);;"зачет"), где L8 — столбец проверки преподавателем.
При переводе студенты сделали в среднем по 1,75 ошибки на 1000 знаков, что с запасом соответствует оценке «хорошо» по критериям МГИМО. Разброс количества ошибок был значительным (от 5 до 107), но большинство значений были ближе к нижнему пределу, а медиана на уровне около 30 ошибок. Тем не менее, распределение ошибок имело форму нормальной (гауссовой) кривой, что подчеркивает нормальный характер распределения оценок и отсутствие систематической ошибки. Итак, студенты переводили тексты с хорошим качеством.
Качество переводов оценивали по международным критериям DQF-MQM, разработанным международной ассоциацией переводчиков TAUS на основе типологии Multidimensional Quality Metrics (MQM) [2], реализованным в онлайн-таблице, и включавшим оценку ошибок по нескольким категориям (терминологии, точности, правильности перевода и др.). Отложенные на одном графике оценки количества ошибок проверявшим студентом и преподавателем расположились почти по одной линии, что показывает сходство этих оценок. Это означает, что результаты проверки перевода студентами позволяют оценить качество перевода. Таким образом, возможность внедрить парную оценку в учебный процесс валидирована, и позволяет снизить нагрузку на преподавателя (что особенно важно для массовых курсов, а также завучам при планировании учебных курсов). Этап проверки перевода вызвал у студентов наибольшие затруднения: оказалось, что многим студентам сложно вносить записи в англоязычную таблицу TAUS (вначале это задание выполнили только 32 студента). Сложные задания оказалось эффективней предлагать студентам в виде формы для пошагового выполнения. С ее помощью задание смогли выполнить еще 36 студентов, то есть 57% от всех участников курса.
Предоставление студентам возможности выбирать тему учебной и проверяемой работы позволяет индивидуализировать процесс обучения и повысить его качество. Парная работа помогает студентам лучше освоить изучаемый навык благодаря не только выполнению задания, но и проверке результата такого выполнения другим учеником. Результаты нашего исследования позволяют рекомендовать преподавателям планировать длительные коммуникации студентов в рамках профессионального обучения переводу с широким использованием парной работы студентов с взаимной проверкой результатов перевода.
Литература.
1. https://disk.yandex.ru/ i/1sQxqtznywwaZA [Электронный ресурс] URL: (дата обращения: 03.10.2022).
2. Multidimensional Quality Metrics (MQM) Core Typology. [Электронный ресурс] URL: https://themqm.info/typology (дата обращения: 03.10.2022).