Государственное образовательное учреждение высшего профессионального образования
Скачать 3.06 Mb.
|
Отсеивание «грубых ошибок» оценивания. Эксперт, производящий оценку, по существу является прибором, измеряющим в данном случае качество работы оцениваемого студента. Рассмотрим оценивание результатов какой-либо учебной работы одного конкретного студента n студентами, выступающими в роли экспертов (взаимное оценивание). Пусть x1, x2,…xn – расположенные по не убыванию значения соответствующих оценок – выборка объемом n результатов измерений. Как и в любых измерениях возникает проблема исключения грубых ошибок. Наличие грубой ошибки в выборке нарушает характер распределения случайной величины X – в нашем случае оценки результатов работы студента, т.е. нарушает однородность наблюдаемой статистики измерений. Поэтому выявление грубых ошибок можно интерпретировать как проверку однородности наблюдений. Поэтому исключение грубых ошибок будем проводить на основе проверки гипотезы о том, что все элементы выборки принадлежат одной генеральной совокупности. При этом в случае взаимного оценивания следует учитывать, что зачастую мы будем находиться в условиях малой выборки – количество студентов n, проводящих взаимное оценивание, вполне может оказаться достаточно малым, в частности n≤10. Поэтому для исключения грубых ошибок следует применять специфические статистические методы, ориентированные именно на малые выборки, такие как критерий вариационного размаха [68] (n≥5); критерий Романовского и Ирвина. Метод исключения резко выделяющихся значений результатов испытаний] (n≥3); вариационный критерий Диксона [14] (n ≥ 4) и пр. Для решения о выборе конкретного критерия из вышеперечисленных был проведен эксперимент. Случайным образом были выбраны оценки 30 различных студенческих работ 10-ю экспертами, оценивавшими работы с точностью до 0,1. В результате оказалось, что самыми мощными из рассмотренных оказались вариационный критерий Диксона и «безымянный», а самым слабым – критерий вариационного размаха. Исходя из простоты расчета, по нашему мнению, предпочтительней использовать критерий Диксона, в котором нет необходимости рассчитывать математическое ожидание и стандартное отклонение, а только размах R= xn-x1, (xn-xn-1)/R и (x2-x1)/R. Оценка работы студентов, как экспертов при взаимном оценивании. Приведем описание этого подхода на примере оценки десятью студентами-экспертами 40 студенческих работ. По каждой из этих 40 работ, студенты, выполняющие взаимное оценивание (функции эксперта), дают 10 оценок по 5-балльной шкале с точностью до 1/10 балла, из которых с использованием критерия Диксона отбрасываются «грубые ошибки». Приведем пример использования критерия Диксона. Пусть за некоторую работу эксперты выставили k = 10 оценок, которые расположены по неубыванию (табл. 1.1.): Таблица 1.1. Пример оценивания одной студенческой работы 10-ю студентами-экспертами
Проверим на «грубые ошибки» – минимальное и максимальное значения оценок. В нашем примере размах выборки составляет R= 2,3 = 4,9–2,6. Примем для определенности уровень риска 0,1. Тогда при k = 10 критическое значение критерия Диксона КДкр(0,1; k) равно (см. табл. 1.2.) КДкр(0,1; k)=0,35. Таблица 1.2. Критические значения критерия Диксона при уровне риска 0,1
Проверим на грубую ошибку максимальную оценку – 4,9. Разность между 10-м и девятым значением в упорядоченной по возрастанию выборке (строка 2 таб.1.1.) равна 4,9–4,8 = 0,1, поэтому значение критерия Диксона Кд для оценки 4,9 составит Кд = 0,1/2,3 = 0,043 < 0,35 = КДкр(0,1; k) Отсюда следует, что на принятом уровне значимости 0,1 значение оценки 4,9 не отбрасывается. Проверим теперь на грубую ошибку оценку 2,6. Разность между вторым и первым значением упорядоченной по возрастанию выборки составит 4,0–2,6 = 1,4. Тогда получим Кд = 1,4/2,3 = 0,61 > 0,35= КДкр (0,1; k) Следовательно, при выбранном уровне риска q = 0,1 значение оценки, равное 2,6, является грубой ошибкой и должно быть отброшено. Аналогично проверяются на грубые ошибки оценки всех 10 студентов-экспертов по всем 10 проверяемым ими студенческим работам. Первоначально всем студентам-экспертам присваивается 40 баллов. Если у какого-либо эксперта оценка попадает в число грубых ошибок, то каждое такое попадание приводит к вычитанию из текущей оценки эксперта одного балла. Таким образом, итоговая оценка работы студентов, осуществляющих взаимное оценивание, будет находиться в промежутке от 0 до 40 баллов. Пусть Q – количество оценок этого эксперта, признанных по критерию Диксона грубыми ошибками. Тогда определим первоначально оценку работы эксперта как Z = 40–Q Теперь отобразим оценку работы студента-эксперта в 5-балльную шкалу. В первом приближении отображение оценок Z работы эксперта в 5-балльную шкалу проведем следующим способом: 40 ≥ Z ≥ 35 → 5 баллов 34 ≥ Z ≥ 25 → 4 балла 24 ≥ Z ≥ 10 → 3 балла Z < 10 → 2 балла Следует отметить, что наблюдения за взаимным оцениванием и анализ его практических результатов позволил выявить одну существенную особенность работы студентов в качестве экспертов. Бόльшая часть студентов ответственно относилась к оцениванию, выставляя продуманные оценки. Однако, определенная доля студентов ставила оценки, не затрудняя себя анализом работы. Это означает, что если у какого-то эксперта количество оценок, отличающихся «грубо вверх» имеет статистически незначимую разницу от количества оценок, отличающихся «грубо вниз», то этот эксперт ставит оценки «на авось», не продумывая (недобросовестный эксперт). Указанное наблюдение потребовало корректировки первого приближения оценки работы экспертов в случаях, когда количество «грубых ошибок» в их оценках достаточно велико – Q ≥ 16 (Z < 25). Если такое значительное количество «грубых ошибок» эксперт допустил, делая их «на авось», т.е. не продумывая оценку, то пятибалльная оценка работы эксперта должна быть уточнена в сторону снижения: Z < 25 → 2 балла Если же окажется, что крен в сторону завышения или занижения оценки у какого-то эксперта является статистически значимым, то это означает, что выдаваемое им оценивание студентов представляет собой некоторую позицию эксперта, пусть отличную от других, но базирующуюся на неких неслучайных основах. В этом случае пятибалльная оценка работы эксперта, по нашему мнению, должна быть уточнена в сторону повышения: 24 ≥ Z ≥ 10 → 4 балла Z < 10 → 3 балла Для завершения построения метода оценки работы студентов-экспертов при взаимном оценивании остается изложить решение задачи проверки случайности / неслучайности различия количества грубых «завышений» и «занижений» при оценивании студенческих работ. Пусть число грубых ошибок эксперта 40 ≥ n ≥ 16, что отражает случаи, когда необходима корректировка первичной пятибалльной оценки эксперта. Введем случайную величину – V, такую, что Vi = -1 – если эксперт грубо занизил оценку и Vi = 1 – если грубо завысил. В предположении случайности проставления экспертом заниженных и завышенных оценок (не задумываясь), среднее значение V = 0. Выборочное среднее распределено около него по нормальному закону с неизвестной дисперсией. Поэтому задача проверки случайности выставления экспертом заниженных и завышенных оценок математически сводится к проверке статистической гипотезы равенства математического ожидания нормального распределения нулю при неизвестной дисперсии. В этом случае рекомендуется использовать критерий [15] Т=  /s (s – несмещенная оценка дисперсии V), имеющий распределение Стъюдента с n-1 степенью свободы. Пусть из n грубых ошибок из которых n1 – в сторону занижения и n2 – в сторону завышения (n1 + n2 = n). Выборочное среднее  в этом случае получим как (n2–n1)/n.Тогда получим несмещенную оценку D выборочной дисперсии V: D  Таким образом получим: D  Отсюда s=  =2 Теперь получаем, что выборочное значение критерия Т вычисляется следующим образом Т=(n2-n1)/n*  / = Если при заданном уровне риска |Т| < Tкр (двусторонняя критическая область) то гипотеза равенства 0 математического ожидания распределения V принимается (т.е. считается, что грубые ошибки вверх и вниз эксперт делал случайным образом), иначе – отвергается (т.е. существенные отличия в оценках эксперта – это его позиция). Выберем, например, уровень значимость (риска) q = 0,1. По таблице критических значений (точек) распределения Стъюдента для этого уровня значимости сформируем таблицу 3 этих критических точек для k = n–1 степени свободы (соответственно, для n = k + 1, n от 16 до 39). Таблица 1.3.
ПРИМЕРЫ.
Т=  =–1,9То есть |T|=1,9>1,7. В данном случае имеем дело с неслучайной позицией эксперта. Ему следует выставить оценку 4 (Z = 40–30 = 10).
|T|=  =0,88<1,73Следовательно, у рассматриваемого эксперта имеем дело со случайным различием количества заниженных и завышенных оценок работы студентов за вебинар. В этом случае, поскольку Z = 40–20 = 20 < 25, то эксперт за оценивание получит оценку 2 балла. В заключение отметим, что пороговые значения в рассмотренном оценивании экспертов-студентов – 10, 25 и 35 баллов – выбирались экспертами-преподавателями и при оценивании различных специфических студенческих работ могут пересматриваться. Эти значения не являются принципиальными, и предлагаемый подход к оценке работы экспертов-студентов при взаимном оценивании носит достаточно общий характер и, по нашему мнению, может применяться для самых различных студенческих работ. Принципиально важным при внедрении учебного экспертирования стал вопрос построения алгоритма выдачи записей вебинаров на учебное экспертирование. Для каждой записи вебинара устанавливается минимальное количество экспертов, например, 5. Это означает, что данный вебинар должны проэкспертировать 5 экспертов. Как только накопится 5 экспертиз, производится математическая обработка совокупности оценок и каждый участник вебинара получает свою оценку. Таким образом, каждый участник вебинара имеет в рамках занятия 4 выступления, которые оцениваются по 3 критериям 5-ю экспертами. Общее количество оценок для принятия решения: 4(к-во выступлений)*3(кол-во критериев)*5(кол-во экспертов)=60 оценок. Такое количество оценок обеспечивает достоверность результатов при формировании итоговой оценки. Каждый вебинар обладает тремя количественными параметрами: T – время нахождения в системе, N – количество полученных учебных экспертиз, A – экспертная оценка. Первыми выдаются вебинары, у которых количество экспертиз равно 0 (N=0). Из указанных вебинаров с равным N, первыми выдаются те вебинары, которые дольше находятся в системе (Tmax) без аттестации. Затем выдаются вебинары, у которых есть аттестация, и соответственно экспертная оценка. Из нескольких вебинаров с одинаковой оценкой выбирается самый последний по дате вебинар. Занятие «экспертирование вебинара» проводится по следующему сценарию. Эксперты прослушивают запись занятия «вебинар». После каждого выступления участника экспертам предлагается оценить выступление каждого участника по нескольким критериям, разработанным преподавателями и апробированным на практике:
Затем вычисляется средневзвешенная оценка для данного вебинара, выставленная экспертом в оценочной таблице в соответствии с критериями. Внедряя взаимное оценивание работ студентов, необходимо установить возможность автоматизированной проверки объективности оценивания экспертами с тем, чтобы исключить недобросовестные оценки, поставленные, в том числе, без анализа выступлений студентов на вебинарах. Нами были проведены исследования проблем взаимного оценивания в учебной работе студентов. Возможность такой оценки повышает ответственность экспертов за результат своей работы. В результате исследования установлено, что задача проверки случайности выставления экспертом заниженных и завышенных оценок математически сводится к проверке статистической гипотезы равенства математического ожидания нормального распределения нулю при неизвестной дисперсии [65]. Для студентов, не имеющих свободного доступа в Интернет разработаны технология электронного обучения, поддерживающаяся программными комплексами, имитирующими учебный процесс (посредством записи на переносные (съемные, мобильные) цифровые носители). Таким образом, обучающиеся, находящиеся на территориях, не в полной мере охваченных сетью Интернет, с использованием имитационных технологий имеют возможность участвовать в учебном процессе посредством оффлайн обучения, что очень важно для людей, находящихся на различных расстояниях и лишенных мобильности передвижения. Наличие данной технологии позволило решить проблему проведения вебинаров при отсутствии стабильного и быстрого канала Интернет или полном отсутствии доступа к Интернет, например, в местах лишения свободы, закрытых гарнизонах. Проведение вебинаров в режиме имитации, т.е. в оффлайн режиме, получило название ИКС – индивидуальный коллективный семинар (оффлайн-вебинар). Под оффлайн-вебинаром понимается вебинар, проведённый без доступа к сети Интернет. При осуществлении запроса на проведение вебинаров в режиме ИКС для обучающегося формируется вебинар из лучших ранее записанных выступлений по данной теме. Запись вебинара и программа воспроизведения передаётся с сервера базового вуза в одном jar-файле, который может быть сохранен как на жестком диске компьютера, так на любом цифровом носителе для дальнейшей передачи студенту. Студент участвует в вебинаре, где вместо реальных участников присутствуют записи их выступления, при этом он записывает своё выступление так, как если бы он участвовал в данном вебинаре в режиме онлайн. Запись вебинара сохраняется на переносной носитель (например, флешку, карту памяти, компакт-диск и др.) для транспортировки результатов занятия на сервер базового вуза. Проведение учебного экспертирования вебинара в оффлайн режиме технологически реализуется проще, поскольку студенту на момент прохождения учебного экспертирования выдаются уже готовые записи вебинаров из хранилища. Важно отметить, что в процессе транспортировки звуковые дорожки оффлайн вебинара отправляются непосредственно на медиасервер. При этом обработка данных и выставление оценок происходит на стороне сервера базового вуза, что исключает возможность стороннего вмешательства в данный процесс со стороны обучающегося или сотрудников пунктов коллективного доступа (ПКД). Проведенные опросы студентов по результатам внедрения в учебный процесс занятий типа «вебинар» и «учебное экспертирование вебинара» показали, что обучающиеся высоко оценили потенциал этих занятий для непрерывного обновления и пополнения знаний. В педагогической практике отмечается, что внедрение дистанционных образовательных технологий расширяет возможности студентов, позволяя: – осознать потребность в необходимой информации для постоянного прироста знаний; – использовать информацию для обогащения знаний, а не простого хранения ее в долгосрочной памяти; – обмениваться информацией и делиться знаниями с окружающими, получая взамен другую информацию и другие знания [71]. Проведенные эксперименты показали, что программный комплекс «Вебинар» позволяет реализовать единую систему проведения устного занятия «вебинар» и занятия «экспертирование вебинара» как в режиме онлайн, так и в режиме оффлайн, развивая систему речевых тренингов и обеспечивая социальное взаимодействие обучающихся при использовании исключительно электронного обучения, способствуя развитию педагогического плюрализма и активизации учебной деятельности будущих специалистов [72]. 1.4.2. Социальная сеть как эффективный инструмент формирования коллегиальной среды обучения Выше уже говорилось, что в соответствии с Федеральными государственными образовательными стандартами высшего профессионального образования выпускник вуза должен обладать разными общекультурными компетенциями, в том числе, коммуникативными, включающими в себя способность владеть культурой мышления, умение аргументировано и ясно строить устную и письменную речь; способность и готовность к письменной и устной коммуникации на родном языке, проявлять «готовность к кооперации с коллегами, работе в коллективе» (например, ФГОС бакалавриата: 040100 Социология (ОК-3), 030300 Психология (ОК-7), 030100 Философия (ОК-2), 30200 Политология (ОК-3), 080100 Экономика (ОК-7), 080200 Менеджмент (ОК-7), 030900 Юриспруденция (ОК-5)). В традиционном вузе эти навыки отрабатываются при общении студентов в рамках проведения аудиторных занятий на территории учебного заведения. Однако в связи с развитием информационных технологий среда студенческого взаимодействия расширяется благодаря появлению виртуальных форм коммуникаций. Самой популярной виртуальной средой взаимодействия студентов в настоящее время являются социальные сети, которые с одной стороны, практически заменили устное общение, а, с другой – послужили катализатором для стремительного развития «эпистолярного» жанра, но совершенно не в том виде и не в тех формах, как это было принято в «эпоху писем». Общение происходит на основе письменной речи, которая приобрела свою специфику и в какой-то степени заменила устную речь, являющуюся главной формой человеческого общения. Устная речь – это речь звучащая, в ней используется система фонетических и просодических средств выражения; для нее характерны словесная импровизация и некоторые языковые особенности (свобода в выборе лексики, использование простых предложений, повторы, незаконченность выражения мысли и др. Письменная речь – это речь закрепленная графически, она может быть заранее продумана и исправлена, в ней преобладает книжная лексика, наличие сложных предлогов, страдательных конструкций, строгое соблюдение языковых норм и т.д. Здесь следует отметить, что многие характерные особенности письменной речи в условиях общения в сетях потеряли свое значение и значимость. На грамотность и стилистику речи практически никто не обращает внимания. Еще одной характерной чертой письменной речи является то, что она обращена к отсутствующим. Тот, кто пишет, не видит своего читателя. На письменную речь не влияет реакция тех, кто ее воспринимает. И если учесть, что в социальных сетях общение может происходить с огромным количеством людей, то очевидно, что конкретного читателя мало беспокоит пишущего. Его больше интересует мнение «толпы»: сколько смайликов прислали на ваше письме или фотографию, сколько человек откликнулось, сколько виртуальных друзей появилось в той или иной сети. Поэтому нас в большей степени интересует возможность создания групп в социальных сетях, объединенных общей целью и готовых взаимодействовать в формате учебных занятий. Использование социальных сетей для формирования у студентов навыков кооперации с коллегами и умения работы в коллективе особенно важно при реализации образовательных программ на основе электронного обучения, дистанционных образовательных технологий, когда студенты и преподаватели находятся на удаленном расстоянии. Проведенные исследования, а также двадцатилетняя практика реализации образовательных программ с использованием дистанционных образовательных технологий и электронного обучения показали, что взаимодействие студентов с помощью инновационных технологий в не меньшей степени, чем аудиторные занятия, может способствовать формированию коммуникативных навыков у студентов, социализации студентов, усвоению правил поведения и общения, делового этикета, созданию социальных и профессиональных связей. Кроме того, принципиально важно, что сервисы социальной сети и ее функционал позволяют расширять систему управления знаниями студентов, которой являются и социальные сети [64]. |
Похожие:
 | Государственное образовательное учреждение высшего профессионального образования | | В государственное образовательное учреждение высшего профессионального образования |
| Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования | | Федеральное государственное автономное образовательное учреждение высшего профессионального образования |
| Федеральное государственное образовательное учреждение высшего профессионального образования | | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования |
 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования | | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования |
| В федеральное государственное бюджетное образовательное учреждение высшего профессионального образования | | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования |