?

Log in

No account? Create an account
   Journal    Friends    Archive    Profile    Memories
 

Guardian posts bullshit - beware - morfizm


Mar. 16th, 2016 03:44 am Guardian posts bullshit - beware

https://www.theguardian.com/science/2016/mar/15/the-nhs-is-a-much-bigger-challenge-for-deepmind-than-go

"...
In the past we might have assumed that computers would keep getting exponentially faster and solve the problem for us, but that’s no longer the case. The days when the latest and greatest achievements in computing are ‘in your pocket in 2 years’ are numbered. We can scale things up by adding more machines, but that gets expensive, and after a certain point you tend to see diminishing returns (link to https://twitter.com/demishassabis/status/708488229750591488, where Hassabis tweeted "We are using roughly same amount of compute power as in Fan Hui match: distributing search over further machines has diminishing returns")
..."

1. More machines getting expensive is bullshit. Moore's law keeps going and we getting nice exponential growth of total compute power (accounting for growing number of cores) for the same price.

2. Diminishing returns argument is another instance of bullshit. Just one specific algorithm not being able to take advantage of more compute power doesn't really mean anything.

Tags: , ,

18 comments - Leave a commentPrevious Entry Share Next Entry

Comments:

From:birdwatcher
Date:March 16th, 2016 10:54 am (UTC)
(Link)
Ну не скажите. Single threaded performance растет довольно слабо, а что делать с десятками ядер на чипе, в которые превратился закон Мура, никто не знает.
From:morfizm
Date:March 16th, 2016 11:16 am (UTC)
(Link)
Ну дык, machine learning родимый и делать.
From:birdwatcher
Date:March 16th, 2016 11:31 am (UTC)
(Link)
Подавляющему меньшинству пользователей требуется выиграть в го у Седоля или поговорить с роботом. А жизненные задачи остаются непокрыты.
From:lyuden
Date:March 16th, 2016 11:38 am (UTC)
(Link)
А какие жизненные задачи остаются непокрыты из-за ограничения single-threaded performance ? Я чего то ничего придумать не могу.
From:birdwatcher
Date:March 16th, 2016 11:47 am (UTC)
(Link)
У меня в руках прямо сейчас - скорость переключения из почты в браузер. В телефоне. Чему тут машинно научишься?
From:lyuden
Date:March 16th, 2016 11:58 am (UTC)
(Link)
Ну это не single-threaded performance - это ограничение аккумуляторов. Процессор в вашем телефоне заточен не под производительность скажем прямо. Да и больше - это ограничение размера и скорости оперативной памяти. Быстродействие процессора тут почти ни при чем.
From:birdwatcher
Date:March 16th, 2016 12:04 pm (UTC)
(Link)
А какая разница? Я думаю, computers becoming exponentially faster охватывает весь спектр устройств, а не исключительно заточенных под производительность.
From:lyuden
Date:March 16th, 2016 12:28 pm (UTC)
(Link)
Ну знаете. Это примерно как говорить, что "Энштейн говорил что все относительно" и из этого делать выводы о моральном релятивизме. Закон Мура достаточно четко ограничивает область своей применимости.


Телефоны тоже на самом деле стали быстрее, но ОS стали еще более требовательны. Да и эта проблема которую вы описали может быть решена. Но вас врядли бы устроил телефон на пару сотен долларов дороже и с временем работы в пару часов, который бы зато быстро переключался между почтой и браузером.
From:birdwatcher
Date:March 16th, 2016 12:33 pm (UTC)
(Link)
Я вообще никакого противоречия с законом Мура не вижу. Транзисторов на чип и правда очень много. Но, как справедливо указываеи Гардиан, это давно перестало непосредственно влиять на скорость, только и всего. Машинным обучением дело не поправишь.
From:lyuden
Date:March 16th, 2016 02:37 pm (UTC)
(Link)
Я как человек который касается задач на GPU enabled кластерах, сильно не согласен с этим выражением. Я не знаю что там говорит Гардиан,
но даже гугловец которого он интервьюирует не говорит, что это увеличение количества машин не увеличит скорости обучения, он просто говорит, что с некоторого момента это становится экономически невыгодно (подозреваю, что этот момент настает когда им нужно выделять еще одного человека на поддержку кластера, с непосредственно железом это скорее всего не связано).

То что machine learning, точнее deep learning это пока для больших дядь. Ну, блин, тоже мне открытие сделали. Но оно дешевеет и как раз благодаря закону Мура.

А программы тормозят во многом, потому что всем лень заниматься тем, чтобы они не тормозили. Хороших программистов работающих над GUI гораздо меньше чем работающих над другими вещами и в том числе тем же machine learning. Да и тем часто таких задач не ставят. В опросах пользователей отзывчивость интерфейса часто проигрывает запросу новых фич, и починке багов.
From:birdwatcher
Date:March 16th, 2016 02:45 pm (UTC)
(Link)
А зачем нужен machine learning, кроме игры в го и таргетирования спама?
From:lyuden
Date:March 16th, 2016 02:57 pm (UTC)
(Link)
Для конечных пользователей или для промышленности ?

Потому что для промышленности - берем любой процесс и оптимизируем, вместе с Internet of Things - это может привести к элементам плановой экономики. Когда информация о том сколько мяса осталось на прилавке в супермаркете прямо влияет на решение о забиве той или иной свиньи - меньше отходов - эффективнее производство - дешевле цены на свинину.

Для конечных пользователей, крупные компании сейчас пытаются создать сейчас персонального секретаря которым бы можно было пользоваться.

Apple Siri, Microsoft Cortana, Facebook M, Amazon Echo, безличная сущность Гугла.

Если люди начнут полагаться на этих секретарей для допустим организации встреч и они будут адекватны хотя бы среднему человеческому секретарю и т.д. и т.п. то это сильно повысит эффективность экономики в целом, и сильно снизит уровень стресса.

Но это потребует такого злобного leap of faith, со стороны человечества, хотя я подозреваю человечество его в очередной раз не заметит.

Как там в анекдоте.

1970-е
Правительство:
Хорошо бы чтобы каждый гражданин носил радиомаячок.
Народ: Хрен вам.

2000
Правительство:
Хорошо бы чтобы каждый гражданин носил радиомаячок.
Народ:
Дайте две.
From:birdwatcher
Date:March 16th, 2016 03:10 pm (UTC)
(Link)
Мне кажется, в примере про супермаркет и свиней машинно учиться нечему, достаточно обычной алгебраической модели вида сколько осталось равняется сколько было минус сколько исчезло.
From:lyuden
Date:March 16th, 2016 03:33 pm (UTC)
(Link)
Есть праздники, выходные. Эпидемии гриппа среди работников и населения. Хэштеги в твиттере #homemadehamon, #bewareporktapeworm, #swineflu. Рекламные акции и процент мусульман в непосредственной близости от супермаркета. Удачи в поисках человека который сможет все это быстро и правильно захреначить в коэффициенты для каждого супермаркета.
From:birdwatcher
Date:March 16th, 2016 04:36 pm (UTC)
(Link)
Удача, конечно, весьма пригодится, но машинное обучение в его нынешнем виде скорее затуманивает суть дела. Я бы не доверил больше тех денег, которые не жалко потерять, блэкбоксу, модель которого мы не понимаем и не контролируем.
From:lyuden
Date:March 16th, 2016 05:06 pm (UTC)
(Link)
Посмеялся. Я не знаю ни одной хоть сколько-нибудь практически применимой модели, о которой можно было бы сказать, что люди ее понимают. От выпечки хлеба, до аккумуляторов - вопросов больше чем ответов.
From:birdwatcher
Date:March 16th, 2016 05:14 pm (UTC)
(Link)
ОК.
From:andreyvo
Date:March 16th, 2016 06:37 pm (UTC)
(Link)
Если в унитаз поставить
Сопроцессор фирмы "Крэй" -
Будешь какать в три потока
В двести тысяч раз быстрей