Качество заданий для домашних работ - morfizm

И что ты будешь делать, если U < 1, а это - обычная ситуация? :)

(Reply) (Thread)

Минуточку, что ты имеешь в виду? У меня U, T, W измеряются в часах.

(Reply) (Parent) (Thread)

Опечатался я: U < 0, то есть студент затратит меньше времени на домашку, чем специалист, который это "проходил" в прошлом.

(Reply) (Parent) (Thread)

Да, очень хорошее замечание :) Не знаю.

Интуитивно кажется, что задание уже сразу заведомо плохое, если специалист не может сделать его эффективней, чем недоученный студент.

С другой стороны, (а) в реальной жизни специалисту нужно какое-то время для разогрева, если он не занимался конкретно вот этим, но, вот, сейчас надо этим позаниматься, (б) как ни крути, индустрия проверки знаний сильно отличается от индустрии их реального использования (в идеальном мире не должно быть такого понятия как "подготовка к собеседованию", потому что собеседующий хочет узнать, что соискатель *уже* знает и умеет, а не к чему он в состоянии за несколько недель подготовиться, но мир далёк от идеального).

(Reply) (Parent) (Thread)

Кстати, это наталкивает на такую идею:

Может быть, нужно учитывать не время на домашние работы, а всё время целиком, с учётом лекций?

Хороший курс будет структурирован таким образом, чтобы разная степень деталировки и разжёвывания требовала разного времени. Например, вместе с лекцией для новичков, может быть более компактный "refresher" для более опытных. Специалист смотрит короткий refresher, после чего быстро решает задачи, W низкий. Студент смотрит длинную версию, после чего, даже если быстро решит задачи, T будет заметно больше (ему пришлось длинные лекции смотреть).

А если так получилось, что студенту хватило короткого refresher'а, то, может, это уже сам по себе индикатор плохого курса? Т.е. студенту на самом деле это было не нужно. На работе, при необходимости, разобрался бы за полдня не хуже специалиста?

(Reply) (Parent) (Thread)

Вот я вспоминаю про наш курс линейной алгебры или теории групп и думаю, какой длины рефрешериЩе мне понадобится, чтобы решить домашку из конца курса :) Если курс составлен умно, то знания студента постепенно "наслаиваются" одно на другое, от простого к сложному, систематически и иерархически. При этом для решения определенной задачки могут понадобиться фрагменты самых разных лекций за все предшествующее время обучения (может, даже, включая школу?)

Плюс к тому время, затраченное двумя разными студентами, может отличаться на порядок просто из-за тупости индивидуальных особенностей, так что облысеть можно, пытаясь добиться хоть какоя-то точности.

Я вот основное не понял: а зачем сравнивать эти времена, какую сторону качества хочется таким образом выделить?

(Reply) (Parent) (Thread)

Это очень плохая мера.
а) не ясен способ точного измерения затраченного времени
б) знание испытуемым способа получения этой метрики будет влиять на результат
в) нет учёта вариативности – т.е. предполагается, что у задачи есть единственное решение

(Reply) (Thread)

Брр, как же ты быстр на накленивание ярлыка.
Кстати, у тебя есть мера получше? :)

а) Ну, во-первых, я про это просто не писал. Если кому-то что-то не ясно из-за того, что оно опущено в тексте, это не означает, что это что-то сразу обязательно плохое.

Во-вторых, у меры вроде этой есть своя область применимости. Естественно подразумевается, что она применима только в тех случаях, когда измерения можно провести с достаточной точностью.

Но я думаю, для случаев взрослых студентов, измерения возможно: например, можно измерять простым опросом (который провести таким образом, чтобы удовлетворить заранее выбранному уровню точности). В случае с детьми будет посложнее, потому что дети могут часть работ делать в школе, часть дома с родителями, а часть где-то сами, и не факт, что они способны правильно учитывать суммарное потраченное время.

б) Что есть результат? Метрики качества образования выходят за рамки моей идеи. Предположим, что они есть и они работают правильно. Если окажется, что моя метрика качества домашних работ помогает увеличить результативность курса, то преподавателю, наоборот, полезно знать детали о способе её получения, чтобы корректно измерять и подтачивать свой курс. Я не очень понимаю в чём ценность от сокрытия способа получения метрики от преподавателя.

в) Ещё раз, если о чём-то не написано, это не значит, что этого нет. Понятно, подразумевается статистическая выборка, достаточная для достаточной статистической значимости, медиана, confidence interval и т.д. Зачем сразу с места в карьер отвлекаться на детали реализации, если суть не меняется от того, что мы будем рассматривать упрощённую модель со скалярными величинами?


Мне кажется, у этой меры есть проблемы, но они другие, а не то, что ты назвал:

1. Эта метрика не единственная. Т.е. даже если она является необходимым условием, мне легко себе представить случай, в котором она не будет достаточным (если студент делает что-то долго, а профессионал быстро, это совсем не означает, что студент таки учится решать такие задачи быстрее посредством практики решения этих задач). Но мне кажется, это было и так очевидно, поэтому я в посте про это не писал.

2. psilogic в соседнем треде назвал интересную проблему, как правильно учесть лаг, возникающий у специалиста, просто потому что он занимался этим очень давно.

(Reply) (Parent) (Thread)

Кстати, я явно про это не сказал, но подразумевал, что речь идёт только о мере качества домашних работ - не тратит ли там студент зря своё время, а не о мере качества образования, которую я предположил уже существующей, и на неё можно опираться, экспериментируя с первой мерой. Это разные меры.

Например, для программирования я бы мог в качестве второй, общей меры дать способность разобраться с новым высокоуровневым языком программирования (испытуемый его не "проходил" во время курса, и не писал на нём раньше) и написать на нём что-нибудь нетривиальное, требующее функций, массивов, циклов и строк 300-400 кода. Если справится за неделю, то pass. Есть много конкретных заданий, которых можно подогнать в такой фрейм, и, я уверен, что это будет хороший индикатор. Очень сильные разберутся за один вечер, слабые, но адекватно обученные, потратят два дня, чтобы разобраться с basics синтаксиса нового языка по мануалу и примерам, и ещё дня три, чтобы по кусочкам допилить приложение. В конце концов они дня за два-три напишут то же самое на знакомом языке, и потом ещё дня два будут потихоньку портировать.

Это показывает некоторый уровень, результат какого-то объёма обучения (скажем, двух лет). Но в процессе этих двух лет человек мог брать разные отдельные курсы, в которых разные дурацкие домашние задания. Вопрос в эффективности курса: насколько эти домашние задания таки помогают человеку повысить уровень, или же они дурацкие/нудные и просто отнимают время?

(Reply) (Parent) (Thread)

Поводом к этому послужило то, что когда я заглянул помочь чем-то Кате с заданием по программированию (курс на coursera.org), то мне сильно не понравилось задание. Там надо потратить значительное время просто чтобы внимательно прочитать условие (а без внимательного выполнения ты не сможешь получить максимум очков). Соответственно, время на чтение задания waste'ится. Ты не можешь сильно ускорить чтение деталей задания, став более хорошим программистом.

(Reply) (Parent) (Thread)

можешь. это побочный скилл – но он очень полезный.

и потом применение старомодных частных количественных метрик, когда ты ждёшь качественной оценки – это просто самообман какой-то. попытка подменить всю мощь мозгов подкидыванием монетки. вот почему это ерунда.

http://ermouth.livejournal.com/608930.html – спецом пост про это

(Reply) (Parent) (Thread)