OberonCore

отсюда

Интересный вопрос:

Есть ли простые как репа -- и потому легко реализуемые -- способы получать какие-то информативные числа о каких-то важных сторонах прогресса учащихся?

***

Из наблюдений в компьютерном классе в голову приходит одна такая простая мера:
количество нажатий клавиш и кликов.

С одной стороны, дело в том, что детки делают чудовищное количество лишних телодвижений. И эта мера отражает навыкие редактирования программ -- а это важная штука, т.к. на постоянную возню с клавиатурой уходит ресурс внимания.

Во-вторых, мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу.

Понятно, что мера достаточно грубая и неполная, но есть впечатление, что как вспомогательная -- она довольно информативная.

Детки любят соревнования (только вчера баловались, кто быстрее сделает некое вычисление программой в ББ),
и вот интересно было бы устроить такое соревнование: кто напишет программу с меньшим значением этого числа.

Кстати, кто сходу вспомнит, куда такой счётчик вставлять в ББ?

***

Может, В.Л. посмотрит на свой опыт с этой стороны -- и предложит ещё какие-нибудь простые меры?

Ещё раз: цель не всеохватность и полная автоматизированность -- а вспомогательные числа, полезные для отслеживания прогресса учней.

А карандаш-бумага - это не лишние движения?
Уж если оценивать качество мышления, то полностью, а не только в том, что на поверхности.

Не всегда... иногда бывает полезно прорисовать/расписать до/попременно с машинным оформлением (видимо, зависит от каких-то характеристик мышления)... А что полностью - оно так... Вроде как статья даёт какое-то направление в оценках трудоёмкости работ?.. В связи с этим такой вопрос - а она м.б. оценена только количеством действий?.. Имеется в виду, что: 1) правильных типов действий для достижения данного результата м.б. более одного; 2) тип действия характеризуется трудностью его экземпляра для исполнителя (конкретной квалификации), оцениваемой уже не "счётно", а "физически" - теми же затратами, как на этой схеме; 3) известный (принятый в среде) единственный тип действия (и разные типы порой) м.б. неправильным в том смысле, что не наилучшим образом использует квалификацию исполнителя (неэргономичен прежде всего, небыстр).
Это даже не критика, думаю - просто эта модель будет применима "на верхнем уровне" решения задачи формальной оценки...

Простых чисел - нет. Над оцениванием уровня достигнутой обученности бьются полмира...
Вот например, в журнале Емельянова Искусственный интеллект и принятие решений в номерах 1-2 2012 года есть такая статья:
Н.В. Смирнова, А.Ю. Шварц
Мотивационно-волевой компонент модели обучаемого в следящих интеллектуальных системах.
Там кое-что написано, и в первой части дан хоть какой-то обзор западных систем.
Например, показатель самостоятельности там мерят как отношение количества обращений к помощи к общему количеству действий студента. Да еще и уровень помощи учитывают.
Лучше зрить за временем: отношение времени чтения помощи к общему времени решения.

Количество нажатых клавиш имеют смысл только в том случае, если собирается статистика.
Тогда на основании анализа временного ряда можно сделать вывод о прогрессе.
Причем - важное уточнение - статистика должна собираться на множестве однотипных задач.
Или, по крайней мере, однотипное контрольное задание в начале и в конце периода обучения.

Можно по коду вычислять. Например, есть метрики Холстеда.
Но, опять же, как минимум два однотипных контрольных задания.
И тогда по отклонению реальных метрик от идеальных для данного задания можно судить...

Можно по времени.
ИМХО - это лучше, чем клавиши.
Задается нормативное время решения задачи и отслеживается, кто насколько отстал.

Проблема в том, что если измерять по некоторой шкале,
то это может быть либо шкала интервалов(ни начала отсчета, ни единицы измерений нет),
либо шкала отношений (начало отсчета есть, а единицы измерения нет).
О "градусах" знаний не получается договориться... ))
Поэтому можно применить и классификацию.
Опять же проблема в наборе показателей, по которым классифицировать.

Мы почему взялись за свою среду-то...
Именно потому, что можем тогда все действия студня отслеживать.
И действия сделали не мелкие (набор одной клавиши), а крупные (вставка целиком оператора).
Поэтому мы сейчас будем навешивать все возможные оценки по всем возможным показателям.
Да еще по разным моделям оценивания: по шкале, нечеткие оценки, классификация (которую, между прочим, тоже разными методами можно делать, например метод к-средних, или нейронная сеть или наивный байес).

Качество мышления - это латентный параметр. Оценивают либо время, либо количество действий, либо правильность-неправильность действий (сравнение с эталоном).
И на основании этого делают вывод (необоснованный) о качестве мышления.

Количество нажатий - для детишек в качестве соревнования на минимум - это здорово! Например, можно их таким образом стимулировать к использованию функциональных клавиш.
Как мера навыков редактирования программы - хорошо.
Но как чел думает - такой вывод неверен.

Собственно, если мы посмотрим на работу в ББ, то что можно измерять?
1. Смотрим клавиши - сколько и правильные ли. Последнее требует наличия в системе эталона
2. Смотрим мышь - сколько и правильные ли. Опять же нужен эталон правильности
3. Смотрим, в каких местах ББ побывал. Для оценивания нужен неких опять же эталон - в тех ли местах бывал.
4. Смотрим время - сколько времени бывал в разных местах и делал задание.
5. Смотрим результат работы - качество программы.
Вот и все, что можно считать. И кроме чисто количественных показателей по клавишам, мыши и времени все остальное требует серьезной подготовки-доработки в среде.

Да, как раз штука в том, что качество обучения деятельности оценивать, очевидно, ещё труднее, чем качество деятельности... И тут как раз мысли такие:

1. Необоснованность вывода о качестве мышления по трудозатратам отчасти заложена в ограничении оценок перечисленными критериями. Ибо затраты есть временные и энергетические... Ну, понятно, почему вторые обычно выпускают из рассмотрения... их не легче шкалировать, чем качество программы... Однако нормировщики всего мира с этим как-то справились... Как? Как Вы и предлагаете - на базе обобщения результатов решения формируются оценки трудоёмкости работ в разложении на слагаемые.
Тут в чём ценность не самой среды, а именно подхода "ядра импер-семантики", заложенного в СЛ-язык? Как раз в том, что даётся базис для разложения. Причём в силу того, что императив распространяется на любого исполнителя, базис приложим как к работе по программе, так и к работе человека (над программой в частности). И тут да, надо заниматься определением базиса операций пользователя по написанию кода в среде и энергозатрат по отдельным операциям базиса. Конечно, это будут прежде всего не элементарные манипуляции в редакторе...
Кстати, как и в нормировании материального труда, без субъективных оценок трудности операций не обойтись... только там этому такого значения не придают, а здесь, в труде над данными, придётся... Как раз в силу когнитивной составляющей... ибо данные как предмет труда возникают в процессах, суть которых нам не до конца ясна... а значит, одним принципом "берёшь больше - кидаешь дальше - делаешь чаще - значит, затраты выше" не обойдёшься...

2. С качеством обучения тоже понятно. В то же время, наверное, можно дать эталон решения для учебной задачи и с ним сравнивать?.. И для него будет нужно посчитать трудоёмкость... и получить вместе с логами объективных параметров также и субъективные оценки решающих для учёта в последующем цикле нормирования...
Здесь главная проблема - именно в наборе показателей, по которым классифицировать. Т.е. в вопросах анкеты для субъективных оценок... Не знаю, над этим кто-то работает?..

Ну дык...
Мы и работаем...
Порекомендую диссер Туловой Светланы Александровны: Модель обучаемого как средство управления сеансом работы пользователя компьютерной обучающей системы. 2006 года.

Там много о именно о параметрах модели обучаемого. В частности, о разных характеристиках самого обучаемого.
А уж в списке литературы - вообще дофига ссылок на эту тему.

Ёлы-палы.

Как ещё мне надо было подчёркивать в первом сообщении, что речь не о всеобъемлющей мере, а о вспомогательных числах, отражающих какие-то стороны?

Нет, потому что почеркушки выбрасываются и не порождают ошибок, которые надо отлаживать.

Про оценку качества мышления речи не было.

***

Две ошибки в интерпретации начального сообщения -- и обе указывают на одно и то же.
На что? -- оставляю в качестве упражнения.

А вы другие мои сообщения не прочитали?
Я там жеж написал, что обычно считается - это вы и сами легко можете видеть, без моей помощи.

А это не про то?

В данном месте речь идёт о предложенной Вами мере: "мера отражает то, насколько хорошо чел думает (в т.ч. с карандашом и бумагой), когда пишет программу".
И с этим тезисом согласиться нельзя. Вы же сами сознаёте, "что мера достаточно грубая и неполная" - тогда что покажет её "информативность"?

Во-первых, если важен ТОЛЬКО конечный результат, то совершенно не важно, черкал человек на бумаге, на дисплее, в уме или даже занимался отладкой. Поэтому мера "лишних телодвижений при редактировании программ" не годится, как частная, не отражающая общей картины.

Во-вторых, если важен именно процесс решения задачи (думания над ней), то здесь телодвижения при редактировании значат ещё меньше. Эти движения вообще никак процесс не отражают. И бумажка не отражает.

Было сказано "отражает", а не измеряет.
И там много слов, устанавливающих контекст.

Меня не интересует плохая философия, никаким боком не основанная на конкретном опыте в классе с детишками.

Вы формулируете, исходя из модели в своей голове, а народ читает и воспринимает, исходя из моделей в своих головах. Очевидно, что модели эти разные.

Угу.
Народ спешит высказать наболевшее (у одних).
И показать свою крутизну (у других).
Вместо того, чтобы сначала просто внимательно прочесть.

(Как это тоже надоело.)

А меня не интересует ни философия, ни конкретный опыт с детишками. У меня, знаете ли, оперативный персонал обучается, который может решить задачу разными путями, и эти пути важны, потому в случае отдельных ошибок полгорода может остаться без электричества, а то и хуже.
И это единственная тема на этом форуме, которая заинтересовала меня не "с философской точки зрения", а с профессиональной, практической.

А Ваш контекст, и Ваши барские сетования на то, что что-то там Вам надоело, меня волнуют меньше всего.
Сделайте фоурум закрытым и наслаждайтесь своим контекстом, если это так важно.

Вот и надо было начать с уточнения контекста, раз он очевидно совершенно другой.

И, вероятно, в другом месте, т.к. обучение оперативного персонала и начальное обучение программированию -- сильно разные вещи.

Конечно, разные. Тем интереснее найти общие подходы.
Кое-что может вполне оказаться одинаково полезным.
Будем искать.

В случае Алексея очевидно (для меня) нужно писать специализированный тренажер со специализированным набором задач.
И тренировать на этих задачах означенный персонал. Это перед выходом к "железякам". На которых еще тренировать. А потом уж пускать к реальной системе.

Да у нас эти вопросы уже лет двадцать пять как решены.
Просто есть желание дальше развиваться. Впрочем, здесь уже оффтопик.