OberonCore https://forum.oberoncore.ru/ |
|
об автоматическом оценивании прогресса учней https://forum.oberoncore.ru/viewtopic.php?f=7&t=4329 |
Страница 1 из 2 |
Автор: | Info21 [ Суббота, 27 Апрель, 2013 10:46 ] |
Заголовок сообщения: | об автоматическом оценивании прогресса учней |
Валерий Лаптев писал(а): Моя статья об одном подходе к оцениванию умений и навыков: http://astu.org/content/userimages/vest ... 3_1/24.pdf отсюдаИнтересный вопрос: Есть ли простые как репа -- и потому легко реализуемые -- способы получать какие-то информативные числа о каких-то важных сторонах прогресса учащихся? *** Из наблюдений в компьютерном классе в голову приходит одна такая простая мера: количество нажатий клавиш и кликов. С одной стороны, дело в том, что детки делают чудовищное количество лишних телодвижений. И эта мера отражает навыкие редактирования программ -- а это важная штука, т.к. на постоянную возню с клавиатурой уходит ресурс внимания. Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу. Понятно, что мера достаточно грубая и неполная, но есть впечатление, что как вспомогательная -- она довольно информативная. Детки любят соревнования (только вчера баловались, кто быстрее сделает некое вычисление программой в ББ), и вот интересно было бы устроить такое соревнование: кто напишет программу с меньшим значением этого числа. Кстати, кто сходу вспомнит, куда такой счётчик вставлять в ББ? *** Может, В.Л. посмотрит на свой опыт с этой стороны -- и предложит ещё какие-нибудь простые меры? Ещё раз: цель не всеохватность и полная автоматизированность -- а вспомогательные числа, полезные для отслеживания прогресса учней. |
Автор: | Alexey_Donskoy [ Суббота, 27 Апрель, 2013 11:06 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу. А карандаш-бумага - это не лишние движения? Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности. |
Автор: | Владислав Жаринов [ Суббота, 27 Апрель, 2013 11:55 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Не всегда... иногда бывает полезно прорисовать/расписать до/попременно с машинным оформлением (видимо, зависит от каких-то характеристик мышления)... А что полностью - оно так... Вроде как статья даёт какое-то направление в оценках трудоёмкости работ?.. В связи с этим такой вопрос - а она м.б. оценена только количеством действий?.. Имеется в виду, что: 1) правильных типов действий для достижения данного результата м.б. более одного; 2) тип действия характеризуется трудностью его экземпляра для исполнителя (конкретной квалификации), оцениваемой уже не "счётно", а "физически" - теми же затратами, как на этой схеме; 3) известный (принятый в среде) единственный тип действия (и разные типы порой) м.б. неправильным в том смысле, что не наилучшим образом использует квалификацию исполнителя (неэргономичен прежде всего, небыстр). Это даже не критика, думаю - просто эта модель будет применима "на верхнем уровне" решения задачи формальной оценки... |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 07:45 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... Вот например, в журнале Емельянова Искусственный интеллект и принятие решений в номерах 1-2 2012 года есть такая статья: Н.В. Смирнова, А.Ю. Шварц Мотивационно-волевой компонент модели обучаемого в следящих интеллектуальных системах. Там кое-что написано, и в первой части дан хоть какой-то обзор западных систем. Например, показатель самостоятельности там мерят как отношение количества обращений к помощи к общему количеству действий студента. Да еще и уровень помощи учитывают. Лучше зрить за временем: отношение времени чтения помощи к общему времени решения. Количество нажатых клавиш имеют смысл только в том случае, если собирается статистика. Тогда на основании анализа временного ряда можно сделать вывод о прогрессе. Причем - важное уточнение - статистика должна собираться на множестве однотипных задач. Или, по крайней мере, однотипное контрольное задание в начале и в конце периода обучения. Можно по коду вычислять. Например, есть метрики Холстеда. Но, опять же, как минимум два однотипных контрольных задания. И тогда по отклонению реальных метрик от идеальных для данного задания можно судить... Можно по времени. ИМХО - это лучше, чем клавиши. Задается нормативное время решения задачи и отслеживается, кто насколько отстал. Проблема в том, что если измерять по некоторой шкале, то это может быть либо шкала интервалов(ни начала отсчета, ни единицы измерений нет), либо шкала отношений (начало отсчета есть, а единицы измерения нет). О "градусах" знаний не получается договориться... )) Поэтому можно применить и классификацию. Опять же проблема в наборе показателей, по которым классифицировать. Мы почему взялись за свою среду-то... Именно потому, что можем тогда все действия студня отслеживать. И действия сделали не мелкие (набор одной клавиши), а крупные (вставка целиком оператора). Поэтому мы сейчас будем навешивать все возможные оценки по всем возможным показателям. Да еще по разным моделям оценивания: по шкале, нечеткие оценки, классификация (которую, между прочим, тоже разными методами можно делать, например метод к-средних, или нейронная сеть или наивный байес). |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 07:50 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Alexey_Donskoy писал(а): Info21 писал(а): Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу. А карандаш-бумага - это не лишние движения? Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности. Качество мышления - это латентный параметр. Оценивают либо время, либо количество действий, либо правильность-неправильность действий (сравнение с эталоном). И на основании этого делают вывод (необоснованный) о качестве мышления. |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 08:04 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): Из наблюдений в компьютерном классе в голову приходит одна такая простая мера: количество нажатий клавиш и кликов. С одной стороны, дело в том, что детки делают чудовищное количество лишних телодвижений. И эта мера отражает навыкие редактирования программ -- а это важная штука, т.к. на постоянную возню с клавиатурой уходит ресурс внимания. Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу. Понятно, что мера достаточно грубая и неполная, но есть впечатление, что как вспомогательная -- она довольно информативная. Детки любят соревнования (только вчера баловались, кто быстрее сделает некое вычисление программой в ББ), и вот интересно было бы устроить такое соревнование: кто напишет программу с меньшим значением этого числа. Количество нажатий - для детишек в качестве соревнования на минимум - это здорово! Например, можно их таким образом стимулировать к использованию функциональных клавиш. Как мера навыков редактирования программы - хорошо. Но как чел думает - такой вывод неверен. Собственно, если мы посмотрим на работу в ББ, то что можно измерять? 1. Смотрим клавиши - сколько и правильные ли. Последнее требует наличия в системе эталона 2. Смотрим мышь - сколько и правильные ли. Опять же нужен эталон правильности 3. Смотрим, в каких местах ББ побывал. Для оценивания нужен неких опять же эталон - в тех ли местах бывал. 4. Смотрим время - сколько времени бывал в разных местах и делал задание. 5. Смотрим результат работы - качество программы. Вот и все, что можно считать. И кроме чисто количественных показателей по клавишам, мыши и времени все остальное требует серьезной подготовки-доработки в среде. |
Автор: | Владислав Жаринов [ Воскресенье, 28 Апрель, 2013 12:19 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Да, как раз штука в том, что качество обучения деятельности оценивать, очевидно, ещё труднее, чем качество деятельности... И тут как раз мысли такие: 1. Необоснованность вывода о качестве мышления по трудозатратам отчасти заложена в ограничении оценок перечисленными критериями. Ибо затраты есть временные и энергетические... Ну, понятно, почему вторые обычно выпускают из рассмотрения... их не легче шкалировать, чем качество программы... Однако нормировщики всего мира с этим как-то справились... Как? Как Вы и предлагаете - на базе обобщения результатов решения формируются оценки трудоёмкости работ в разложении на слагаемые. Тут в чём ценность не самой среды, а именно подхода "ядра импер-семантики", заложенного в СЛ-язык? Как раз в том, что даётся базис для разложения. Причём в силу того, что императив распространяется на любого исполнителя, базис приложим как к работе по программе, так и к работе человека (над программой в частности). И тут да, надо заниматься определением базиса операций пользователя по написанию кода в среде и энергозатрат по отдельным операциям базиса. Конечно, это будут прежде всего не элементарные манипуляции в редакторе... Кстати, как и в нормировании материального труда, без субъективных оценок трудности операций не обойтись... только там этому такого значения не придают, а здесь, в труде над данными, придётся... Как раз в силу когнитивной составляющей... ибо данные как предмет труда возникают в процессах, суть которых нам не до конца ясна... а значит, одним принципом "берёшь больше - кидаешь дальше - делаешь чаще - значит, затраты выше" не обойдёшься... 2. С качеством обучения тоже понятно. В то же время, наверное, можно дать эталон решения для учебной задачи и с ним сравнивать?.. И для него будет нужно посчитать трудоёмкость... и получить вместе с логами объективных параметров также и субъективные оценки решающих для учёта в последующем цикле нормирования... Здесь главная проблема - именно в наборе показателей, по которым классифицировать. Т.е. в вопросах анкеты для субъективных оценок... Не знаю, над этим кто-то работает?.. |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 13:41 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Владислав Жаринов писал(а): 2. С качеством обучения тоже понятно. В то же время, наверное, можно дать эталон решения для учебной задачи и с ним сравнивать?.. И для него будет нужно посчитать трудоёмкость... и получить вместе с логами объективных параметров также и субъективные оценки решающих для учёта в последующем цикле нормирования... Здесь главная проблема - именно в наборе показателей, по которым классифицировать. Т.е. в вопросах анкеты для субъективных оценок... Не знаю, над этим кто-то работает?.. Ну дык... Мы и работаем... Порекомендую диссер Туловой Светланы Александровны: Модель обучаемого как средство управления сеансом работы пользователя компьютерной обучающей системы. 2006 года. Там много о именно о параметрах модели обучаемого. В частности, о разных характеристиках самого обучаемого. А уж в списке литературы - вообще дофига ссылок на эту тему. |
Автор: | Info21 [ Воскресенье, 28 Апрель, 2013 14:04 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Валерий Лаптев писал(а): Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... Ёлы-палы.Как ещё мне надо было подчёркивать в первом сообщении, что речь не о всеобъемлющей мере, а о вспомогательных числах, отражающих какие-то стороны? |
Автор: | Info21 [ Воскресенье, 28 Апрель, 2013 14:10 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Alexey_Donskoy писал(а): Info21 писал(а): Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу. А карандаш-бумага - это не лишние движения? Alexey_Donskoy писал(а): Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности. Про оценку качества мышления речи не было.*** Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же. На что? -- оставляю в качестве упражнения. |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 14:29 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): Валерий Лаптев писал(а): Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... Ёлы-палы.Как ещё мне надо было подчёркивать в первом сообщении, что речь не о всеобъемлющей мере, а о вспомогательных числах, отражающих какие-то стороны? А вы другие мои сообщения не прочитали? Я там жеж написал, что обычно считается - это вы и сами легко можете видеть, без моей помощи. |
Автор: | Alexey_Donskoy [ Воскресенье, 28 Апрель, 2013 14:55 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу Info21 писал(а): Про оценку качества мышления речи не было. А это не про то? Info21 писал(а): Нет, потому что почеркушки выбрасываются и не порождают ошибок, которые надо отлаживать. В данном месте речь идёт о предложенной Вами мере: "мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу".И с этим тезисом согласиться нельзя. Вы же сами сознаёте, "что мера достаточно грубая и неполная" - тогда что покажет её "информативность"? Во-первых, если важен ТОЛЬКО конечный результат, то совершенно не важно, черкал человек на бумаге, на дисплее, в уме или даже занимался отладкой. Поэтому мера "лишних телодвижений при редактировании программ" не годится, как частная, не отражающая общей картины. Во-вторых, если важен именно процесс решения задачи (думания над ней), то здесь телодвижения при редактировании значат ещё меньше. Эти движения вообще никак процесс не отражают. И бумажка не отражает. |
Автор: | Info21 [ Воскресенье, 28 Апрель, 2013 18:51 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Было сказано "отражает", а не измеряет. И там много слов, устанавливающих контекст. Меня не интересует плохая философия, никаким боком не основанная на конкретном опыте в классе с детишками. |
Автор: | Валерий Лаптев [ Воскресенье, 28 Апрель, 2013 18:59 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же. На что? -- оставляю в качестве упражнения. Вы формулируете, исходя из модели в своей голове, а народ читает и воспринимает, исходя из моделей в своих головах. Очевидно, что модели эти разные. |
Автор: | Info21 [ Воскресенье, 28 Апрель, 2013 19:56 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Валерий Лаптев писал(а): Info21 писал(а): Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же. На что? -- оставляю в качестве упражнения. Вы формулируете, исходя из модели в своей голове, а народ читает и воспринимает, исходя из моделей в своих головах. Очевидно, что модели эти разные. Народ спешит высказать наболевшее (у одних). И показать свою крутизну (у других). Вместо того, чтобы сначала просто внимательно прочесть. (Как это тоже надоело.) |
Автор: | Alexey_Donskoy [ Воскресенье, 28 Апрель, 2013 20:50 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): Меня не интересует плохая философия, никаким боком не основанная на конкретном опыте в классе с детишками. А меня не интересует ни философия, ни конкретный опыт с детишками. У меня, знаете ли, оперативный персонал обучается, который может решить задачу разными путями, и эти пути важны, потому в случае отдельных ошибок полгорода может остаться без электричества, а то и хуже.И это единственная тема на этом форуме, которая заинтересовала меня не "с философской точки зрения", а с профессиональной, практической. А Ваш контекст, и Ваши барские сетования на то, что что-то там Вам надоело, меня волнуют меньше всего. Сделайте фоурум закрытым и наслаждайтесь своим контекстом, если это так важно. |
Автор: | Info21 [ Воскресенье, 28 Апрель, 2013 22:50 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Alexey_Donskoy писал(а): У меня, знаете ли, оперативный персонал обучается Вот и надо было начать с уточнения контекста, раз он очевидно совершенно другой.И, вероятно, в другом месте, т.к. обучение оперативного персонала и начальное обучение программированию -- сильно разные вещи. |
Автор: | Alexey_Donskoy [ Воскресенье, 28 Апрель, 2013 23:11 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Info21 писал(а): обучение оперативного персонала и начальное обучение программированию -- сильно разные вещи. Конечно, разные. Тем интереснее найти общие подходы.Кое-что может вполне оказаться одинаково полезным. Будем искать. |
Автор: | Валерий Лаптев [ Понедельник, 29 Апрель, 2013 08:52 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
В случае Алексея очевидно (для меня) нужно писать специализированный тренажер со специализированным набором задач. И тренировать на этих задачах означенный персонал. Это перед выходом к "железякам". На которых еще тренировать. А потом уж пускать к реальной системе. |
Автор: | Alexey_Donskoy [ Понедельник, 29 Апрель, 2013 09:09 ] |
Заголовок сообщения: | Re: об автоматическом оценивании прогресса учней |
Валерий Лаптев писал(а): В случае Алексея очевидно (для меня) нужно писать специализированный тренажер со специализированным набором задач. Да у нас эти вопросы уже лет двадцать пять как решены. И тренировать на этих задачах означенный персонал. Это перед выходом к "железякам". На которых еще тренировать. А потом уж пускать к реальной системе. Просто есть желание дальше развиваться. Впрочем, здесь уже оффтопик. |
Страница 1 из 2 | Часовой пояс: UTC + 3 часа |
Powered by phpBB® Forum Software © phpBB Group https://www.phpbb.com/ |