Реферат: Модели и методы адаптивного контроля знаний
Модели и методы оценки знаний
Определение
и оценка знаний представляет собой задачу распознавания, основанную на
обучении. Решение проблемы оценивания состоит из трех этапов (рис. 4):
определение
параметров контроля (обучение), выполняемое до начала КЗ;
сбор,
анализ и/или преобразование данных, получаемых в процессе контроля
(распознавание);
выставление
оценки за контрольную работу по завершении контроля (распознавание).
Рис.
4. Модель оценивания знаний при контроле.
На
первом этапе по результатам контрольного эксперимента определяются метаданные
заданий (трудность, значимость и т.д.) и устанавливаются параметры КЗ (число
вопросов, время на ответ и др.). Метаданные и параметры помещаются в
репозиторий системы и используются на последующих этапах. На втором этапе при
выполнении студентом контрольных заданий осуществляется сбор, анализ и,
возможно, предварительная обработка полученных данных. На последнем этапе
выставляется общая оценка за работу. В большинстве методов оценивания
предусматривается вычисление некоторой величины, которая затем сравнивается с
предварительно заданными граничными значениями. То есть оценка определяется по
формуле:
(1)
где
I – оценка за контрольную работу; {c1, c2, …, cм}
– вектор граничных значений; M – максимальная возможная оценка (например, при
пятибалльной шкале M = 5).
Методы
оценивания в основном используются на втором и третьем этапе, хотя существует
ряд методов, которые применяются для выставления оценки только на последнем
этапе.
Методы
оценки знаний можно разделить на два основных класса (рис. 5):
математические
методы;
классификационные
методы.
К
математическим моделям оценки знаний относятся:
Простейшая
модель. Данная модель является самой простой и самой распространенной. Ответ
студента на каждое задание оценивается по двухбалльной (правильно или
неправильно) или многобалльной (например, пятибалльной) шкале. Оценка
выставляется путем вычисления значенияR:
где
Ri - правильный ответ обучаемого на i -е задание; k – количество
правильных ответов из n предложенных (k n), которое затем обычно округляется
по правилам математики. К достоинствам данной модели следует отнести простоту
ее реализации. Недостатком модели является ее зависимость от единственного
параметра (количества правильных ответов), т.е. она не учитывает не полностью
точные ответы и характеристики заданий. Простейшая модель имеет самую низкую
надежность, т.к. не позволяет объективно оценить знания студента.
Рис.
5. Модели и методы оценки знаний.
Модели,
учитывающие параметры заданий. В этих моделях при выставлении оценки
используются характеристики контрольных вопросов. Существуют различные
модификации данного типа моделей.
Модель,
учитывающая время выполнения задания и/или общее время контрольной работы. Для
правильных ответов рассчитывается значение Ri по формуле:
,
где
t – время выполнения задания; tmax – время, отведенное для
выполнения задания.
Далее
итоговая оценка вычисляется аналогично “Простейшей модели”.
Модель
на основе уровней усвоения. В этой модели характеристикой задания является
уровень усвоения, для проверки которого оно предназначено. Таким образом,
задания разделяются на пять групп, соответствующих уровням усвоения: понимание,
опознание, воспроизведение, применение, творческая деятельность [Соловов,
1995]. Для каждого задания определяется набор существенных операций. Под
существенными понимают те операции, которые выполняются на проверяемом уровне.
Операции, принадлежащие к более низким уровням, в число существенных не входят.
Для выставления оценки используется коэффициент Кa:
где
Р1 - количество правильно выполненных существенных операций в
процессе контроля;
Р2
- общее количество существенных операций в контрольной работе;
a
= 0, 1, 2, 3, 4 – соответствуют уровням усвоения.
Оценка
выставляется на основе заданных граничных значений по соотношениям:
Кa< 0.7
|
– неудовлетворительно; |
0.7 Кa < 0.8
|
– удовлетворительно; |
0.8 Кa < 0.9
|
– хорошо; |
Кa 0.9
|
– отлично. |
Данная
модель используется в системе КАДИС [Соловов, 2002].
Метод
линейно - кусочной аппроксимации [Зайцева, 1989; Зайцева, 1991]. Алгоритм
оценивания основан на классификации заданий (вопросов) по их дидактическим
характеристикам (значимость (z), трудность (d), спецификация (s)). Число
баллов, полученных студентом за выполнение n заданий, определяется по формуле:
,
где
xi – оценка за выполнение i–го задания;
n
– число заданий;
W
= {w1,w2,…,w36} – вектор весовых коэффициентов
заданий, зависящий от их дидактических характеристик.
По
завершению контроля определяется средний балл А, полученный студентом за
выполнение n заданий (A = y / kn, где kn – количество
попыток выполнения n заданий, kn n ) и уточненный средний балл A':
где
r – ранг обучаемого (1, 2, или 3);
kn
– количество попыток выполнения n заданий;
kc
– количество обращений к справочной информации;
kb
– количество заданий, выполненных с превышением отведенного времени (kb
n);
a1, a2, a3, a4 - коэффициенты.
Далее
оценка выставляется по формуле (1). Аналогичным образом определяется и уровень
усвоения (ранг) студента. Преимущество данной модели: использование как четырех
дидактических характеристик заданий, так и уровня подготовленности (ранга) из
модели студента, что позволяет повысить надежность результатов контроля. Модель
в качестве основной использовалась в семействе АОС, разработанных в РТУ.
Модели
на основе вероятностных критериев. Главным в данных математических моделях
контроля знаний являются утверждения о зависимости вероятности правильного
ответа студента от уровня его подготовленности и от параметров задания [Rasch,
1977; Lord, 1980; Аванесов, 1998]. Суть этих моделей состоит в том, что на
основе известных априорных вероятностей рассчитываются апостериорные
вероятности Р (Hi) гипотезыHi, что студент заслуживает
оценку i. При вычислении вероятности Р(Hi) учитываются: сложность и
время выполнения заданий; число предложенных обучаемому заданий; число
неправильно выполненных заданий и др. Рассчитанные вероятности анализируются и/или
сравниваются с граничными значениями, учитывая риски недооценки и переоценки
выставления оценки i. Если полученные результаты однозначно позволяют выставить
оценку, то контроль, как правило, завершается. В противном случае студенту
выдается очередное задание. Модель данного типа использовалась в АОС ВУЗ
[Волков, 1984], различные модификации модели успешно применяются и в настоящее
время [Попов, 2000; Моисеев, 2001].
Основная
идея классификационных моделей заключается в отнесении студента к одному из устойчивых
классов с учетом совокупности признаков, определяющих данного студента. При
этом используется специальная процедура вычисления степени похожести (оценки)
распознаваемой строки (совокупности признаков обучаемого) на строки,
принадлежность которых к классам заранее известна.
Алгоритм,
основанный на вычислении оценок (АВО) был впервые предложен Ю.И. Журавлевым
[Журавлев, 1978] и позднее использовался для классификации обучаемых по уровням
полготовленности [Зайцева, 1989] и для оценки знаний в качестве дополнительного
метода в обучающих системах РТУ [Зайцева, 1989а[. Данная модель предусматривает
построение таблицы обучения Тоnm, в которой каждая строка
представляет собой набор признаков обучаемого характеризующих работу студента в
процессе КЗ: количество предложенных заданий (n), средний балл (A), количество
попыток выполнения заданий (kn), количество обращений к справочной
информации (kc), ранг (r). При выставлении оценки вычисляется
степень похожести совокупности признаков конкретного студента I(S) = {1, 2, …, m} на
строки, входящие в таблицу обучения Тоnm, на основании
чего осуществляется отнесение его к определенному классу Kj. Для
этого вычисляется число строк каждого класса Kj, близких по
выбранному критерию классифицируемому объекту S. Строка таблицы обучения Тоnm
I(Sji) = {a ji1, …, ajim}
и распознаваемая строка I (S) = {1, 2, …, m}
считаются похожими, если выполняются неравенства |ajik –k| , где (k =1, …, m) - точность
сравнения. Студент относится к классу Kj, имеющему максимальную
оценку max Гj
(S, Kj), j = 1, …, m. Данная модель в настоящее время применяется в
системе [КИОС, 1992] с единственным отличием: вместо одной таблицы обучения,
содержащей данные для различных классов, в КИОС используются четыре таблицы
обучения для классов “отлично”, “хорошо”, “удовлетворительно” и
“неудовлетворительно”, названные эталонными таблицами оценивания.
Таким
образом, для оценивания знаний студентов применяются разные модели и алгоритмы,
начиная с самых простых, учитывающих лишь процент правильно выполненых заданий
при двухбалльной системе оценки отдельного вопроса, и заканчивая сложными
составными, в которых используются всевозможные параметры контроля и
многобалльная система оценки как отдельных заданий, так и работы в целом
[Прокофьева, 2001; Прокофьева, 2002]. В таблице 2 приведены рассмотренные выше
модели и методы оценки знаний и используемые параметры. Все методы оценивания
предусматривают в процессе КЗ сбор данных о ходе контроля (в таблице 2 эти
параметры подчеркнуты, остальные определяются на этапе обучения и могут быть
изменены преподавателем перед началом КЗ). Метод линейно - кусочной
аппроксимации и модели на основе вероятностных критериев предполагают также
вычисление некоторых функций, которые обычно используются для определения
дальнейшего хода контроля.
Заключение
Методы
проведения контроля и методы оценивания тесно взаимосвязаны. В общем случае
любая модель выставления оценки может быть использована при любом методе
проведения КЗ, за исключением моделей на основе вероятностных критериев,
которые предназначены лишь для частично адаптивных и адаптивных методов
организации контроля. С другой стороны, простейшую модель выставления оценки и
модель, учитывающую время ответов, целесообразно применять только совместно с
неадаптивными методами КЗ. Таким образом, при адаптивном контроле знаний
рекомендуется использовать модели на основе вероятностных критериев, АВО или
уровней усвоения, а также метод линейно - кусочной аппроксимации. По нашему
мнению, в современные адаптивные системы обучения и контроля знаний следует
включать несколько различных методов и моделей, чтобы преподаватель имел
возможность выбрать метод проведения контроля и модель выставления оценки,
отвечающие целям контроля и наиболее подходящие для отдельного или группы
студентов.
Таблица
2. Модели оценивания и используемые параметры.
|
Модели оценки знаний
|
Используемые данные
|
Параметры задания
|
Параметры КЗ
|
1 |
Простейшая модель |
– |
Число заданий; число правильных
ответов |
2 |
Модель, учитывающая время
ответов |
– |
Число заданий; число правильно
выполненных заданий без превышения отведенного времени |
3 |
Модель на основе уровней
усвоения |
Уровень усвоения УМ;
трудность и сложность УМ
|
Число правильно выполненных
существенных операций; общее число существенных операций в заданиях |
4 |
Метод линейно - кусочной
аппроксимации |
Значимость, трудность,
спецификация |
Число заданий; число попыток
выполнения заданий; число обращений к справке; число заданий, выполненных с
превышением отведенного времени; граничные значения |
5 |
Модели на основе вероятностных
критериев |
Сложность |
Число заданий; время ответа;
априорная вероятность получения оценки; граничные значения; риски недооценки
и переоценки |
6 |
Модели на основе АВО |
- |
Число заданий; число попыток;
число обращений к справке; точность сравнения |
Список литературы
[Аванесов,
1998] Аванесов B.C. Композиция тестовых заданий. - М.: Адепт, 1998. – 217 с.
[Алексеенко,
1978] Алексеенко Е. А., Довгялло А. М., Косая И. Х. СПОК – система
программирования и поддержания обслуживающих и обучающих курсов // Управляющие
системы и машины. – 1978. – №2. – с. 127 – 128.
[Андреев,
2002] Андреев А.Б., Акимов А.В., Усачев Ю.Е. Экспертная система анализа знаний
”Эксперт-ТС” // Proceedings. IEEE International Conference on
Advanced Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan,
Tatrstan, Russia, 2002, – p. 97 - 101.
[Артемов,
1999] Артемов А., Павлова Н., Сидорова Т. Модульно-рейтинговая система //
Высшее образование в России. – 1999. –№4. –с. 121 – 125.
[Беспалько,
1977] Беспалько В.П. Основы теории педагогических систем. Проблемы и методы
психолого-педагогического обеспечения технических обучающих систем. – Воронеж :
Воронежск. ун-т, 1977. – 304 с.
[Беспалько,
1989] Беспалько В. П. Слагаемые педагогической технологии. – М.: Педагогика,
1989. – 192 с.
[Волков,
1984] Волков С.З. Алгоритм управления контролем знаний // Кибернетика и
исследование операций в управлении учебным процессом: Тез. докл. – Рига: РПИ,
1984, – с. 67 – 70.
[Гладковский,
1997] Гладковский В.И., Гладыщук А.А., Панасюк И.М. Воспитательные функции
рейтинговой системы оценки знаний (РСОЗ) // Высшая школа: состояние и
перспективы. – Минск: РИВШ БГУ, 1997. – 107 с.
[Журавлев,
1978] Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и
классификации // Проблемы кибернетики. – 1978. – Вып. 33. – с. 5 –68.
[Зайцева,
1982] Автоматизированная обучающая система КОНТАКТ/ОС / Л.В. Зайцева, Л.В.
Ницецкий, Л.П. Новицкий и др. – М.: Моск. науч.– учеб. центр СНПО “Алгоритм”,
1982. – 108 с.
[Зайцева,
1989] Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение
автоматизированных обучающих систем на базе ЭВМ. – Под ред. Л.В.Ницецкого. –
Рига : “Зинатне”, 1989. – 174 с.
[Зайцева,
1989а] Зайцева Л.В., Новицкий Л.П., Прокофьева Н.О. Контроль знаний обучаемых с
помощью методов линейно-кусочной аппроксимации и вычисления оценок // Методы и
средства кибирнетики в упр. учеб. проц. высш. шк. – Рига: Рижск. политехн.
ин-т, 1989, – с. 39 – 48.
[Зайцева,
1991] Зайцева Л.В. Методы контроля знаний при автоматизированном обучении. -
Автоматика и вычислительная техника, 1991, Nr 4, с. 88 – 92.
[Зайцева,
2000] Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении
// Сборник научных трудов 4-й международной конференции ”Образование и
виртуальность – 2000” – Харьков – Севастополь : УАДО, 2000, - с. 126 – 131.
[Зайцева,
2002] Зайцева Л.В., Прокофьева Н.О. Проблемы компьютерного контроля знаний //
Proceedings. IEEE International Conference on Advanced
Learning Technologies (ICALT 2002). 9-12 September 2002. Kazan, Tatrstan,
Russia, 2002, – p. 102 - 106.
[Зайцева,
2003] Зайцева Л.В. Модели и методы адаптации к учащимся в системах
компьютерного обучения // Educational Technology & Society. - Nr. 6(3),
2003. – с.204 – 212.
[Касимов,
1994] Касимов Р.Я.,Зинченко В.Я., Грантберг И.И. Рейтинговый контроль // Высшее
образование в России. - 1994. - № 2 - с. 83–92.
[КИОС,
1992] Компьютерная интегрированная обучающая система (КИОС): Тамбов, ТГТУ/
Интернет. -http://mdcorpsoft.chat.ru/pss/pss27.html
[Лернер,
1996] Лернер И.Я. Развивающее обучение с дидактических позиций // Педагогика. -
1996. - № 2. - с. 7 – 11.
[Моисеев,
2001] Моисеев В.Б., Усманов В.В., Таранцева К.Р., Пятирублевый Л.Г.
Статистический подход к принятию решений по результатам тестирования для тестов
открытой формы // Открытое образование. – 2001. - №1 / Интернет.
–http://www.mesi.ru/joe/N1_01/mo.html
[Пасхин,
1985] Пасхин Е.Н., Митин А.И. Автоматизированная система обучения ЭКСТЕРН. –
М.: Изд-во Моск. ун -та, 1985. – 144 с.
[Попов,
2000] Попов Д.И. Способ оценки знаний в дистанционном обучении на основе
нечетких отношений // Дистанционное образование. – 2000. – №6 / Интернет.
–http://www.mesi.ru/joe/N6_00/popov.html
[Прокофьева,
2001] Прокофьева Н.О. Алгоритмы оценки знаний при дистанционном обучении //
Образование и виртуальность - 2001. Сборник научных трудов 5-й Международной
конференции. - Харьков - Ялта: УАДО, 2001, – с. 82 - 88.
[Прокофьева,
2002] Прокофьева Н.О. Сравнительный анализ алгоритмов оценки знаний // Интернет
- Образование - Наука - 2002. Сборник научных трудов 3-й Международной
научно-практической конференции. – Винница: ВГТУ, 2002. – с. 85 - 87.
[Растригин,
1979] Растригин Л.А. Обучение с моделью // Вопросы кибернетики.
Человеко-машинные обучающие системы. - М.: АН СССР, 1979, – c. 40 - 49.
[Растригин,
1986] Растригин Л.А., Эренштейн М.Х. Адаптивное обучение с моделью обучаемого.
- Рига : Зинатне, 1986. – 160 c.
[Свиридов,
1981] Свиридов А.П. Основы статистической теории обучения и контроля знаний. -
М.: Высшая школа, 1981. – 262 с.
[Сельманова,
2001] Сельманова Н.Н., Максудова Л.Г., Абросимов В.В., Абросимов Д.В.
Обучающе-аттестующая система по естественнонаучным дисциплинам // Труды
международной научно-методич. конференции Телематика 2001. 18-21 июня 2001 г. –
С-Петербург, 2001, - с. 85.
[Соловов,
1995] Соловов А.В. Проектирование компьютерных систем учебного назначения:
Учебное пособие. Самара: СГАУ, 1995,- с.138.
[Соловов,
2002] Соловов А.В. Дидактика и технология электронного обучения в системе КАДИС
// "Индустрия образования", №6.- М.: МГИУ, 2002, - с.54-64.
[Brusilovsky, 1999] Brusilovsky P., Miller P. Web-based testing for
distance education // WebNet'99. ngs of AACE World Conference of the WWW and
Internet.–Honolulu, HI, 1999, – p. 149 – 154.
[Byrnes, 1995] Byrnes R., Debreceny R., Gilmour P. The development
of Multi-Choice and True-False Testing Environment on the Web // Ausweb95: The
First Australian World Wide Web Conference. Southern Cross Univ. Press /
Internet. –
http://elmo.scu.edu.au/sponsored/ausweb/ausweb95/papers/education3/byrnes/
[Carbone, 1997] Carbone A., Schendzielorz P. Developing and
integrating a Web-based quiz generator into the curriculum // WebNet’97. World
Conference of the WWW, Internet and Intranet. AACE, 1997, – p. 90 - 95.
[Eliot, 1997] Eliot C., Neiman D., Lamar M. Medtec: A Web-based
intelligent tutor for basic anatomy // Proceedings of AACE World Conference of
the WWW, Internet and Intranet. WebNet’97, 1997, – p. 161 - 165.
[Galeev, 2002] Galeev I., Sosnovsky S., Chepegin V. MONAP-II: the
analysis of quality of the learning process model // Proceedings. IEEE
International Conference on Advanced Learning Technologies (ICALT 2002). 9-12
September 2002. Kazan, Tatrstan, Russia, 2002, – p. 116 - 120.
[Lee, 1997] Lee S.H., Wang C.J. Intelligent hypermedia learning
system on the distributed environment // ED-MEDIA/ED-TELECOM’97. World
Conference on Educational Multimedia / Hypermedia and World Conference on
Educational Telecommunications. - AACE, 1997, – p. 625 - 630.
[Lord, 1980] Lord F.M. Application of Item Response Theory to Practical
Testing Problems. Hillsdale N - J. Lawrence Erlbaum Ass., Publ. 1980, - 266 pp.
[Pesin, 2003] Pesin L. Knowledge Testing and Evaluation in the
Integrated Web-Based Authoring and Learning Environment // Proceedings of the
3rd IEEE International Conference on Advanced Learning Technologies. ICALT
2003. – Athens, Greece, 2003. – P. 268 - 269.
[Rasch, 1977] Rasch, G. On Specific Objectivity: An Attempt
ofFormalizing the Request for Generality and Validity of Scientific Statements
/ Danish Yearbook of Philosophy. 1977, v. 14, p. 58 - 94, Munksgaard,
Copenhagen. - 216p.
[Rios, 1998] Rios A., Perez de la Cruz J.L., Coneo R. SIETTE:
Intelligent evaluation system uzsing tests for TeleEducation // Workshop
“WWW-Based Tutoring” at 4th International Conference on Intelligent Tutoring
Systems (ITS’98) / Internet.
–http://www-aml.cs.umass.edu/~stern/webits/itsworkshop/rios.html
[Rios, 1999] Rios A., Millan E., Trella M., J.L. P., Conejo R.
Internet based evaluation system // Artificial Intelligence in Education : Open
Learning Environments. – Amsterdam: IOS Press, 1999, - p. 387 – 394.
[WBT , 1999] WBT Systems (1999). TopClass 3.0, WBT Systems, Dublin,
Ireland. http:www.wbtsystems.com/ (Accessed 5 July, 1999).
[WebCT, 1999] WebCT. World Wide Web Cource Tools 1.3.1. WebCT
Educational technologies. – Vancouver, Canada / Internet. -
http://www.wbtsystems.com
[Zaiсeva, 2000] Zaiсeva
L., Kuplis U., Prokofjeva N. Обучение в среде Интернет
// Scientific Proceedings of Riga Technical University. Computer Science.
Applied Computer Systems. – Vol. 3. – Riga : RTU, 2000, – р. 33 - 45. (на латышском языке)
[Zaitseva, 2003] Zaitseva L., Boule C. Student models in
Computer-based Education // Proceedings of the 3rd IEEE International
Conference on Advanced Learning Technologies. ICALT 2003. – Athens,
Greece, 2003, – p. 451.
|