OberonCore

Библиотека  Wiki  Форум  BlackBox  Компоненты  Проекты
Текущее время: Четверг, 28 Март, 2024 12:18

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 25 ]  На страницу 1, 2  След.
Автор Сообщение
СообщениеДобавлено: Суббота, 27 Апрель, 2013 10:46 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Валерий Лаптев писал(а):
Моя статья об одном подходе к оцениванию умений и навыков: http://astu.org/content/userimages/vest ... 3_1/24.pdf
отсюда

Интересный вопрос:

Есть ли простые как репа -- и потому легко реализуемые -- способы получать какие-то информативные числа о каких-то важных сторонах прогресса учащихся?

***

Из наблюдений в компьютерном классе в голову приходит одна такая простая мера:
количество нажатий клавиш и кликов.

С одной стороны, дело в том, что детки делают чудовищное количество лишних телодвижений. И эта мера отражает навыкие редактирования программ -- а это важная штука, т.к. на постоянную возню с клавиатурой уходит ресурс внимания.

Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.

Понятно, что мера достаточно грубая и неполная, но есть впечатление, что как вспомогательная -- она довольно информативная.

Детки любят соревнования (только вчера баловались, кто быстрее сделает некое вычисление программой в ББ),
и вот интересно было бы устроить такое соревнование: кто напишет программу с меньшим значением этого числа.

Кстати, кто сходу вспомнит, куда такой счётчик вставлять в ББ?

***

Может, В.Л. посмотрит на свой опыт с этой стороны -- и предложит ещё какие-нибудь простые меры?

Ещё раз: цель не всеохватность и полная автоматизированность -- а вспомогательные числа, полезные для отслеживания прогресса учней.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Суббота, 27 Апрель, 2013 11:06 
Аватара пользователя

Зарегистрирован: Суббота, 29 Март, 2008 19:27
Сообщения: 1053
Откуда: Россия, Чебоксары
Info21 писал(а):
Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.
А карандаш-бумага - это не лишние движения? :wink:
Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Суббота, 27 Апрель, 2013 11:55 

Зарегистрирован: Воскресенье, 01 Ноябрь, 2009 05:13
Сообщения: 2046
Не всегда... иногда бывает полезно прорисовать/расписать до/попременно с машинным оформлением (видимо, зависит от каких-то характеристик мышления)... :) А что полностью - оно так... Вроде как статья даёт какое-то направление в оценках трудоёмкости работ?.. В связи с этим такой вопрос - а она м.б. оценена только количеством действий?.. Имеется в виду, что: 1) правильных типов действий для достижения данного результата м.б. более одного; 2) тип действия характеризуется трудностью его экземпляра для исполнителя (конкретной квалификации), оцениваемой уже не "счётно", а "физически" - теми же затратами, как на этой схеме; 3) известный (принятый в среде) единственный тип действия (и разные типы порой) м.б. неправильным в том смысле, что не наилучшим образом использует квалификацию исполнителя (неэргономичен прежде всего, небыстр).
Это даже не критика, думаю - просто эта модель будет применима "на верхнем уровне" решения задачи формальной оценки...


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 07:45 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... :)
Вот например, в журнале Емельянова Искусственный интеллект и принятие решений в номерах 1-2 2012 года есть такая статья:
Н.В. Смирнова, А.Ю. Шварц
Мотивационно-волевой компонент модели обучаемого в следящих интеллектуальных системах.

Там кое-что написано, и в первой части дан хоть какой-то обзор западных систем.
Например, показатель самостоятельности там мерят как отношение количества обращений к помощи к общему количеству действий студента. Да еще и уровень помощи учитывают.
Лучше зрить за временем: отношение времени чтения помощи к общему времени решения.

Количество нажатых клавиш имеют смысл только в том случае, если собирается статистика.
Тогда на основании анализа временного ряда можно сделать вывод о прогрессе.
Причем - важное уточнение - статистика должна собираться на множестве однотипных задач.
Или, по крайней мере, однотипное контрольное задание в начале и в конце периода обучения.

Можно по коду вычислять. Например, есть метрики Холстеда.
Но, опять же, как минимум два однотипных контрольных задания.
И тогда по отклонению реальных метрик от идеальных для данного задания можно судить...

Можно по времени.
ИМХО - это лучше, чем клавиши.
Задается нормативное время решения задачи и отслеживается, кто насколько отстал.

Проблема в том, что если измерять по некоторой шкале,
то это может быть либо шкала интервалов(ни начала отсчета, ни единицы измерений нет),
либо шкала отношений (начало отсчета есть, а единицы измерения нет).
О "градусах" знаний не получается договориться... :)))
Поэтому можно применить и классификацию.
Опять же проблема в наборе показателей, по которым классифицировать.

Мы почему взялись за свою среду-то...
Именно потому, что можем тогда все действия студня отслеживать.
И действия сделали не мелкие (набор одной клавиши), а крупные (вставка целиком оператора).
Поэтому мы сейчас будем навешивать все возможные оценки по всем возможным показателям.
Да еще по разным моделям оценивания: по шкале, нечеткие оценки, классификация (которую, между прочим, тоже разными методами можно делать, например метод к-средних, или нейронная сеть или наивный байес).


Последний раз редактировалось Валерий Лаптев Воскресенье, 28 Апрель, 2013 07:52, всего редактировалось 2 раз(а).

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 07:50 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Alexey_Donskoy писал(а):
Info21 писал(а):
Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.
А карандаш-бумага - это не лишние движения? :wink:
Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности.

Качество мышления - это латентный параметр. Оценивают либо время, либо количество действий, либо правильность-неправильность действий (сравнение с эталоном).
И на основании этого делают вывод (необоснованный) о качестве мышления.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 08:04 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Info21 писал(а):
Из наблюдений в компьютерном классе в голову приходит одна такая простая мера:
количество нажатий клавиш и кликов.

С одной стороны, дело в том, что детки делают чудовищное количество лишних телодвижений. И эта мера отражает навыкие редактирования программ -- а это важная штука, т.к. на постоянную возню с клавиатурой уходит ресурс внимания.

Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.

Понятно, что мера достаточно грубая и неполная, но есть впечатление, что как вспомогательная -- она довольно информативная.

Детки любят соревнования (только вчера баловались, кто быстрее сделает некое вычисление программой в ББ),
и вот интересно было бы устроить такое соревнование: кто напишет программу с меньшим значением этого числа.

Количество нажатий - для детишек в качестве соревнования на минимум - это здорово! Например, можно их таким образом стимулировать к использованию функциональных клавиш.
Как мера навыков редактирования программы - хорошо.
Но как чел думает - такой вывод неверен.

Собственно, если мы посмотрим на работу в ББ, то что можно измерять?
1. Смотрим клавиши - сколько и правильные ли. Последнее требует наличия в системе эталона
2. Смотрим мышь - сколько и правильные ли. Опять же нужен эталон правильности
3. Смотрим, в каких местах ББ побывал. Для оценивания нужен неких опять же эталон - в тех ли местах бывал.
4. Смотрим время - сколько времени бывал в разных местах и делал задание.
5. Смотрим результат работы - качество программы.
Вот и все, что можно считать. И кроме чисто количественных показателей по клавишам, мыши и времени все остальное требует серьезной подготовки-доработки в среде.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 12:19 

Зарегистрирован: Воскресенье, 01 Ноябрь, 2009 05:13
Сообщения: 2046
Да, как раз штука в том, что качество обучения деятельности оценивать, очевидно, ещё труднее, чем качество деятельности... :) И тут как раз мысли такие:

1. Необоснованность вывода о качестве мышления по трудозатратам отчасти заложена в ограничении оценок перечисленными критериями. Ибо затраты есть временные и энергетические... :wink: Ну, понятно, почему вторые обычно выпускают из рассмотрения... их не легче шкалировать, чем качество программы... :) Однако нормировщики всего мира с этим как-то справились... Как? Как Вы и предлагаете - на базе обобщения результатов решения формируются оценки трудоёмкости работ в разложении на слагаемые.
Тут в чём ценность не самой среды, а именно подхода "ядра импер-семантики", заложенного в СЛ-язык? Как раз в том, что даётся базис для разложения. Причём в силу того, что императив распространяется на любого исполнителя, базис приложим как к работе по программе, так и к работе человека (над программой в частности). И тут да, надо заниматься определением базиса операций пользователя по написанию кода в среде и энергозатрат по отдельным операциям базиса. Конечно, это будут прежде всего не элементарные манипуляции в редакторе...
Кстати, как и в нормировании материального труда, без субъективных оценок трудности операций не обойтись... только там этому такого значения не придают, а здесь, в труде над данными, придётся... Как раз в силу когнитивной составляющей... ибо данные как предмет труда возникают в процессах, суть которых нам не до конца ясна... а значит, одним принципом "берёшь больше - кидаешь дальше - делаешь чаще - значит, затраты выше" не обойдёшься... :)

2. С качеством обучения тоже понятно. В то же время, наверное, можно дать эталон решения для учебной задачи и с ним сравнивать?.. И для него будет нужно посчитать трудоёмкость... и получить вместе с логами объективных параметров также и субъективные оценки решающих для учёта в последующем цикле нормирования...
Здесь главная проблема - именно в наборе показателей, по которым классифицировать. Т.е. в вопросах анкеты для субъективных оценок... Не знаю, над этим кто-то работает?..


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 13:41 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Владислав Жаринов писал(а):
2. С качеством обучения тоже понятно. В то же время, наверное, можно дать эталон решения для учебной задачи и с ним сравнивать?.. И для него будет нужно посчитать трудоёмкость... и получить вместе с логами объективных параметров также и субъективные оценки решающих для учёта в последующем цикле нормирования...

Здесь главная проблема - именно в наборе показателей, по которым классифицировать. Т.е. в вопросах анкеты для субъективных оценок... Не знаю, над этим кто-то работает?..

Ну дык... :)
Мы и работаем... :)
Порекомендую диссер Туловой Светланы Александровны: Модель обучаемого как средство управления сеансом работы пользователя компьютерной обучающей системы. 2006 года.

Там много о именно о параметрах модели обучаемого. В частности, о разных характеристиках самого обучаемого.
А уж в списке литературы - вообще дофига ссылок на эту тему.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 14:04 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Валерий Лаптев писал(а):
Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... :)
Ёлы-палы.

Как ещё мне надо было подчёркивать в первом сообщении, что речь не о всеобъемлющей мере, а о вспомогательных числах, отражающих какие-то стороны?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 14:10 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Alexey_Donskoy писал(а):
Info21 писал(а):
Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.
А карандаш-бумага - это не лишние движения? :wink:
Нет, потому что почеркушки выбрасываются и не порождают ошибок, которые надо отлаживать.

Alexey_Donskoy писал(а):
Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности.
Про оценку качества мышления речи не было.

***

Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же.
На что? -- оставляю в качестве упражнения.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 14:29 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Info21 писал(а):
Валерий Лаптев писал(а):
Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира... :)
Ёлы-палы.

Как ещё мне надо было подчёркивать в первом сообщении, что речь не о всеобъемлющей мере, а о вспомогательных числах, отражающих какие-то стороны?

А вы другие мои сообщения не прочитали?
Я там жеж написал, что обычно считается - это вы и сами легко можете видеть, без моей помощи.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 14:55 
Аватара пользователя

Зарегистрирован: Суббота, 29 Март, 2008 19:27
Сообщения: 1053
Откуда: Россия, Чебоксары
Info21 писал(а):
мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу
Info21 писал(а):
Про оценку качества мышления речи не было.
А это не про то? :wink:

Info21 писал(а):
Нет, потому что почеркушки выбрасываются и не порождают ошибок, которые надо отлаживать.
В данном месте речь идёт о предложенной Вами мере: "мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу".
И с этим тезисом согласиться нельзя. Вы же сами сознаёте, "что мера достаточно грубая и неполная" - тогда что покажет её "информативность"?

Во-первых, если важен ТОЛЬКО конечный результат, то совершенно не важно, черкал человек на бумаге, на дисплее, в уме или даже занимался отладкой. Поэтому мера "лишних телодвижений при редактировании программ" не годится, как частная, не отражающая общей картины.

Во-вторых, если важен именно процесс решения задачи (думания над ней), то здесь телодвижения при редактировании значат ещё меньше. Эти движения вообще никак процесс не отражают. И бумажка не отражает.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 18:51 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Было сказано "отражает", а не измеряет.
И там много слов, устанавливающих контекст.

Меня не интересует плохая философия, никаким боком не основанная на конкретном опыте в классе с детишками.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 18:59 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
Info21 писал(а):
Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же.
На что? -- оставляю в качестве упражнения.

Вы формулируете, исходя из модели в своей голове, а народ читает и воспринимает, исходя из моделей в своих головах. Очевидно, что модели эти разные.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 19:56 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Валерий Лаптев писал(а):
Info21 писал(а):
Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же.
На что? -- оставляю в качестве упражнения.

Вы формулируете, исходя из модели в своей голове, а народ читает и воспринимает, исходя из моделей в своих головах. Очевидно, что модели эти разные.
Угу.
Народ спешит высказать наболевшее (у одних).
И показать свою крутизну (у других).
Вместо того, чтобы сначала просто внимательно прочесть.

(Как это тоже надоело.)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 20:50 
Аватара пользователя

Зарегистрирован: Суббота, 29 Март, 2008 19:27
Сообщения: 1053
Откуда: Россия, Чебоксары
Info21 писал(а):
Меня не интересует плохая философия, никаким боком не основанная на конкретном опыте в классе с детишками.
А меня не интересует ни философия, ни конкретный опыт с детишками. У меня, знаете ли, оперативный персонал обучается, который может решить задачу разными путями, и эти пути важны, потому в случае отдельных ошибок полгорода может остаться без электричества, а то и хуже.
И это единственная тема на этом форуме, которая заинтересовала меня не "с философской точки зрения", а с профессиональной, практической.

А Ваш контекст, и Ваши барские сетования на то, что что-то там Вам надоело, меня волнуют меньше всего.
Сделайте фоурум закрытым и наслаждайтесь своим контекстом, если это так важно.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 22:50 
Аватара пользователя

Зарегистрирован: Пятница, 25 Ноябрь, 2005 12:02
Сообщения: 8500
Откуда: Троицк, Москва
Alexey_Donskoy писал(а):
У меня, знаете ли, оперативный персонал обучается
Вот и надо было начать с уточнения контекста, раз он очевидно совершенно другой.

И, вероятно, в другом месте, т.к. обучение оперативного персонала и начальное обучение программированию -- сильно разные вещи.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Воскресенье, 28 Апрель, 2013 23:11 
Аватара пользователя

Зарегистрирован: Суббота, 29 Март, 2008 19:27
Сообщения: 1053
Откуда: Россия, Чебоксары
Info21 писал(а):
обучение оперативного персонала и начальное обучение программированию -- сильно разные вещи.
Конечно, разные. Тем интереснее найти общие подходы.
Кое-что может вполне оказаться одинаково полезным.
Будем искать.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 29 Апрель, 2013 08:52 

Зарегистрирован: Суббота, 07 Март, 2009 15:39
Сообщения: 3261
Откуда: Астрахань
В случае Алексея очевидно (для меня) нужно писать специализированный тренажер со специализированным набором задач.
И тренировать на этих задачах означенный персонал. Это перед выходом к "железякам". На которых еще тренировать. А потом уж пускать к реальной системе.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: Понедельник, 29 Апрель, 2013 09:09 
Аватара пользователя

Зарегистрирован: Суббота, 29 Март, 2008 19:27
Сообщения: 1053
Откуда: Россия, Чебоксары
Валерий Лаптев писал(а):
В случае Алексея очевидно (для меня) нужно писать специализированный тренажер со специализированным набором задач.
И тренировать на этих задачах означенный персонал. Это перед выходом к "железякам". На которых еще тренировать. А потом уж пускать к реальной системе.
Да у нас эти вопросы уже лет двадцать пять как решены. :wink:
Просто есть желание дальше развиваться. Впрочем, здесь уже оффтопик.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 25 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Вся информация, размещаемая участниками на конференции (тексты сообщений, вложения и пр.) © 2005-2024, участники конференции «OberonCore», если специально не оговорено иное.
Администрация не несет ответственности за мнения, стиль и достоверность высказываний участников, равно как и за безопасность материалов, предоставляемых участниками во вложениях.
Без разрешения участников и ссылки на конференцию «OberonCore» любое воспроизведение и/или копирование высказываний полностью и/или по частям запрещено.
Powered by phpBB® Forum Software © phpBB Group
Русская поддержка phpBB