?

Log in

No account? Create an account
   Journal    Friends    Archive    Profile    Memories
 

Качество заданий для домашних работ - morfizm


Sep. 28th, 2013 08:37 pm Качество заданий для домашних работ

Я придумал меру для качества домашних работ.

Если взять человека, который тему хорошо знает и ему этот курс совершенно не нужен, т.е. у него уже есть сертификат или знания, эквивалентные сертификату, и измерить, сколько времени у него займёт выполнение домашних работ, мы получим некое число W (W от слова Waste, ненужная трата времени).

Если взять студента, который с темой не знаком, но удовлетворяющего всем предварительным условиям (т.е. знающего достаточно, чтобы справиться с курсом, затратив средне-ожидаемое количество усилий), и измерить, сколько времени у него займёт выполнение домашних работ, мы получим некое число T (T от слова Total, общая трата времени).

Зная T и W, можно измерить U (U от слова Useful, полезная трата времени): U = T - W.
Понятно, что объём домашних работ для разных курсов может быть разным, поэтому нужно нормализировать U к T, и смотреть отношение Q = U / T (Q от слова Quality, качество). Чем ближе оно к единице, чем круче.

Другими словами, Q = (T - W) / T это отношение полезного времени к общему времени.
На мой взгляд, должно быть по крайней мере, Q = 0.8, а лучше даже Q = 0.9.

Надо будет протестировать на courser'овских курсах.
У меня есть сильное подозрение, что у них плохо с этим делом.

Если включать не только время на домашние работы, но и время на ознакомление с материалом (просмотр лекций), то Q стремительно падает, потому что быстрее, чем на скорости 1.5x видео не посмотришь, а видео, зачастую, необходимо, чтобы просто понять термины, условные обозначения и требования к задачам.

Tags:

11 comments - Leave a commentPrevious Entry Share Next Entry

Comments:

From:psilogic
Date:September 29th, 2013 07:19 am (UTC)
(Link)
И что ты будешь делать, если U < 1, а это - обычная ситуация? :)
From:morfizm
Date:September 29th, 2013 07:33 am (UTC)
(Link)
Минуточку, что ты имеешь в виду? У меня U, T, W измеряются в часах.
From:psilogic
Date:September 29th, 2013 12:42 pm (UTC)
(Link)
Опечатался я: U < 0, то есть студент затратит меньше времени на домашку, чем специалист, который это "проходил" в прошлом.
From:morfizm
Date:September 30th, 2013 01:48 am (UTC)
(Link)
Да, очень хорошее замечание :) Не знаю.

Интуитивно кажется, что задание уже сразу заведомо плохое, если специалист не может сделать его эффективней, чем недоученный студент.

С другой стороны, (а) в реальной жизни специалисту нужно какое-то время для разогрева, если он не занимался конкретно вот этим, но, вот, сейчас надо этим позаниматься, (б) как ни крути, индустрия проверки знаний сильно отличается от индустрии их реального использования (в идеальном мире не должно быть такого понятия как "подготовка к собеседованию", потому что собеседующий хочет узнать, что соискатель *уже* знает и умеет, а не к чему он в состоянии за несколько недель подготовиться, но мир далёк от идеального).
From:morfizm
Date:September 30th, 2013 02:02 am (UTC)
(Link)
Кстати, это наталкивает на такую идею:

Может быть, нужно учитывать не время на домашние работы, а всё время целиком, с учётом лекций?

Хороший курс будет структурирован таким образом, чтобы разная степень деталировки и разжёвывания требовала разного времени. Например, вместе с лекцией для новичков, может быть более компактный "refresher" для более опытных. Специалист смотрит короткий refresher, после чего быстро решает задачи, W низкий. Студент смотрит длинную версию, после чего, даже если быстро решит задачи, T будет заметно больше (ему пришлось длинные лекции смотреть).

А если так получилось, что студенту хватило короткого refresher'а, то, может, это уже сам по себе индикатор плохого курса? Т.е. студенту на самом деле это было не нужно. На работе, при необходимости, разобрался бы за полдня не хуже специалиста?
From:psilogic
Date:September 30th, 2013 07:23 am (UTC)
(Link)
Вот я вспоминаю про наш курс линейной алгебры или теории групп и думаю, какой длины рефрешериЩе мне понадобится, чтобы решить домашку из конца курса :) Если курс составлен умно, то знания студента постепенно "наслаиваются" одно на другое, от простого к сложному, систематически и иерархически. При этом для решения определенной задачки могут понадобиться фрагменты самых разных лекций за все предшествующее время обучения (может, даже, включая школу?)

Плюс к тому время, затраченное двумя разными студентами, может отличаться на порядок просто из-за тупости индивидуальных особенностей, так что облысеть можно, пытаясь добиться хоть какоя-то точности.

Я вот основное не понял: а зачем сравнивать эти времена, какую сторону качества хочется таким образом выделить?
From:ermouth
Date:September 29th, 2013 04:59 pm (UTC)
(Link)
Это очень плохая мера.
а) не ясен способ точного измерения затраченного времени
б) знание испытуемым способа получения этой метрики будет влиять на результат
в) нет учёта вариативности – т.е. предполагается, что у задачи есть единственное решение
From:morfizm
Date:September 30th, 2013 01:42 am (UTC)
(Link)
Брр, как же ты быстр на накленивание ярлыка.
Кстати, у тебя есть мера получше? :)

а) Ну, во-первых, я про это просто не писал. Если кому-то что-то не ясно из-за того, что оно опущено в тексте, это не означает, что это что-то сразу обязательно плохое.

Во-вторых, у меры вроде этой есть своя область применимости. Естественно подразумевается, что она применима только в тех случаях, когда измерения можно провести с достаточной точностью.

Но я думаю, для случаев взрослых студентов, измерения возможно: например, можно измерять простым опросом (который провести таким образом, чтобы удовлетворить заранее выбранному уровню точности). В случае с детьми будет посложнее, потому что дети могут часть работ делать в школе, часть дома с родителями, а часть где-то сами, и не факт, что они способны правильно учитывать суммарное потраченное время.

б) Что есть результат? Метрики качества образования выходят за рамки моей идеи. Предположим, что они есть и они работают правильно. Если окажется, что моя метрика качества домашних работ помогает увеличить результативность курса, то преподавателю, наоборот, полезно знать детали о способе её получения, чтобы корректно измерять и подтачивать свой курс. Я не очень понимаю в чём ценность от сокрытия способа получения метрики от преподавателя.

в) Ещё раз, если о чём-то не написано, это не значит, что этого нет. Понятно, подразумевается статистическая выборка, достаточная для достаточной статистической значимости, медиана, confidence interval и т.д. Зачем сразу с места в карьер отвлекаться на детали реализации, если суть не меняется от того, что мы будем рассматривать упрощённую модель со скалярными величинами?


Мне кажется, у этой меры есть проблемы, но они другие, а не то, что ты назвал:

1. Эта метрика не единственная. Т.е. даже если она является необходимым условием, мне легко себе представить случай, в котором она не будет достаточным (если студент делает что-то долго, а профессионал быстро, это совсем не означает, что студент таки учится решать такие задачи быстрее посредством практики решения этих задач). Но мне кажется, это было и так очевидно, поэтому я в посте про это не писал.

2. psilogic в соседнем треде назвал интересную проблему, как правильно учесть лаг, возникающий у специалиста, просто потому что он занимался этим очень давно.
From:morfizm
Date:September 30th, 2013 02:11 am (UTC)
(Link)
Кстати, я явно про это не сказал, но подразумевал, что речь идёт только о мере качества домашних работ - не тратит ли там студент зря своё время, а не о мере качества образования, которую я предположил уже существующей, и на неё можно опираться, экспериментируя с первой мерой. Это разные меры.

Например, для программирования я бы мог в качестве второй, общей меры дать способность разобраться с новым высокоуровневым языком программирования (испытуемый его не "проходил" во время курса, и не писал на нём раньше) и написать на нём что-нибудь нетривиальное, требующее функций, массивов, циклов и строк 300-400 кода. Если справится за неделю, то pass. Есть много конкретных заданий, которых можно подогнать в такой фрейм, и, я уверен, что это будет хороший индикатор. Очень сильные разберутся за один вечер, слабые, но адекватно обученные, потратят два дня, чтобы разобраться с basics синтаксиса нового языка по мануалу и примерам, и ещё дня три, чтобы по кусочкам допилить приложение. В конце концов они дня за два-три напишут то же самое на знакомом языке, и потом ещё дня два будут потихоньку портировать.

Это показывает некоторый уровень, результат какого-то объёма обучения (скажем, двух лет). Но в процессе этих двух лет человек мог брать разные отдельные курсы, в которых разные дурацкие домашние задания. Вопрос в эффективности курса: насколько эти домашние задания таки помогают человеку повысить уровень, или же они дурацкие/нудные и просто отнимают время?
From:morfizm
Date:September 30th, 2013 02:20 am (UTC)
(Link)
Поводом к этому послужило то, что когда я заглянул помочь чем-то Кате с заданием по программированию (курс на coursera.org), то мне сильно не понравилось задание. Там надо потратить значительное время просто чтобы внимательно прочитать условие (а без внимательного выполнения ты не сможешь получить максимум очков). Соответственно, время на чтение задания waste'ится. Ты не можешь сильно ускорить чтение деталей задания, став более хорошим программистом.
From:ermouth
Date:September 30th, 2013 08:45 pm (UTC)
(Link)
можешь. это побочный скилл – но он очень полезный.

и потом применение старомодных частных количественных метрик, когда ты ждёшь качественной оценки – это просто самообман какой-то. попытка подменить всю мощь мозгов подкидыванием монетки. вот почему это ерунда.

http://ermouth.livejournal.com/608930.html – спецом пост про это