Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

мира, в которой они едины и не могут быть разделены даже мысленно — так же, как это было достигнуто для инертной массы-энергии и гравитационной массы-энергии. Ведь мы должны исходить из того, что красота целого проистекает из фундаментальных законов, а не наоборот. Верный перефраз?

— Верный перефраз, — ответил Бреннан.

На тридцать семь секунд воцарилось молчание: все пятеро обдумывали пять предложений.

— У меня есть идея...

*

Интерлюдия. Техническое объяснение технического объяснения.

Как подчеркивает Джейнс, теоремы байесовской теории вероятностей — это всего лишь математические теоремы, неизбежно вытекающие из байесовских аксиом.1 Наивный человек мог бы подумать, что вокруг математических теорем не может быть споров. Но когда эти теоремы применимы? Как использовать их в задачах реального мира? «Интуитивное объяснение» пытается избегать спорных тем, но «Техническое объяснение» сознательно шагает прямо под вращающиеся лопасти вертолета. Проще говоря, рассуждения в «Техническом объяснении» не отражают единогласный консенсус всего планетарного сообщества байесовских исследователей Земли. По крайней мере, пока.

Если «Интуитивное объяснение» было сосредоточено на том, чтобы дать твердое понимание основ байесианства, то «Техническое объяснение технического объяснения» выстраивает на байесовском фундаменте тезисы о человеческой рациональности и философии науки. «Техническое объяснение технического объяснения» называется так потому, что оно начинается со следующего вопроса:

«В чем разница между техническим пониманием и вербальным пониманием?»

В детстве я читал научно-популярные книги по физике и воображал себя знатоком; мне казалось, я знаю, что звук — это колебания воздуха, свет — электромагнитные волны, а материя — волны сложных амплитуд вероятности. Когда я вырос, я прочитал «Фейнмановские лекции по физике» и не пожалел времени на то, чтобы разобраться в «волновом уравнении».2 И тогда я понял, что до этого момента я и близко не понимал утверждение «звук — это волны» и не верил в него так, как понимает и верит в эту фразу физик.

Вот в этом и заключается разница между техническим пониманием и вербальным пониманием.

Вы в это верите? Если так, вам следовало применить это знание и спросить: «Но почему же вы тогда дали вербальное объяснение вместо технического?»

Представьте себе плотность вероятности или вероятностную массу — вероятность как комок глины, который вам нужно распределить по возможным исходам.

Представим, что у нас есть маленькая лампочка, которая может загораться красным, синим или зеленым цветом при каждом нажатии на кнопку. При каждом нажатии загорается один и только один цвет; эти варианты взаимоисключающие. Вы пытаетесь предсказать цвет следующей вспышки. Перед каждой попыткой у вас есть определенный вес глины — вероятностная масса, которую вы должны распределить по вариантам: красный, зеленый и синий. Вы можете положить четверть глины на зеленый вариант, четверть на синий и половину на красный — это аналогично присвоению вероятности в 25% зеленому, 25% синему и 50% красному. Суть метафоры в том, что вероятность — это сохраняющийся ресурс, который нужно распределять экономно. Если вы считаете, что при следующем испытании вероятнее загорится синий, вы можете присвоить синему более высокую вероятность, но вам придется забрать часть вероятностной массы у других гипотез — например, «украсть» немного глины у красного и добавить ее к синему. Получить дополнительную глину невозможно. Сумма ваших вероятностей не может превышать 1,0 (100%). Нельзя одновременно предсказать 75-процентный шанс увидеть красный и 80-процентный шанс увидеть синий.

Зачем вообще бережно относиться к вероятностной массе или распределять ее экономно? Почему бы не разбрасываться вероятностью направо и налево? Давайте заменим метафору с глиной на метафору с деньгами. При каждом нажатии кнопки вы можете поставить до одного игрового доллара. Рядом стоит экспериментатор и выплачивает вам сумму в реальных деньгах, которая зависит от того, сколько игровых денег вы поставили на выигравший цвет. Нам не важно, как вы распределили оставшиеся игровые деньги между проигравшими цветами. Значение имеет лишь то, сколько вы поставили на тот цвет, который действительно загорелся.

Но если мы хотим, чтобы игроки делали ставки обдуманно, нам нужно тщательно продумать правило начисления очков, по которому выплачивается выигрыш. Предположим, экспериментатор выплачивает каждому игроку реальные деньги в размере ставки игровых денег на выигравший цвет. При таком правиле, если вы заметили, что красный выпадает в шести случаях из десяти, вашей лучшей стратегией будет поставить не 60 центов на красный, а весь доллар целиком, и вам будет совершенно все равно, с какой частотой выпадают синий и зеленый. Почему? Допустим, синий и зеленый выпадают примерно по два раза из десяти. И предположим, вы поставили 60 центов на красный, 20 центов на синий и 20 центов на зеленый. В этом случае в шести случаях из десяти вы выиграли бы 60 центов, а в четырех случаях из десяти — 20 центов, что дает средний выигрыш в 44 цента. При таком правиле начисления очков разумнее поставить весь доллар на красный и выигрывать целый доллар в шести случаях из десяти. В четырех случаях из десяти вы ничего не выиграете. Ваш средний выигрыш составит 60 центов.

Если бы мы записали функцию выплаты, она выглядела бы так: Выплата = P(победитель), где P(победитель) — это сумма игровых денег, которую вы поставили на выигравший в этом раунде цвет. Если бы мы записали функцию математического ожидания выплаты для этого правила, она выглядела бы так:

P(цвет) — это сумма игровых денег, которую вы ставите на цвет, а F(цвет) — частота, с которой этот цвет побеждает.

Предположим, что реальные частоты выпадения цветов составляют 30% для синего, 20% для зеленого и 50% для красного. И предположим, что в каждом раунде я ставлю 40% на синий, 50% на зеленый и 10% на красный. В 30% случаев я буду получать 40 центов, в 20% случаев — 50 центов, и в 50% случаев — 10 центов, что даст средний выигрыш $0,12 + $0,10 + $0,05, то есть $0,27. То есть:

P(цвет) = игровые деньги, выделенные на этот цвет

F(цвет) = частота, с которой этот цвет побеждает

Выплата = P(победитель) = сумма игровых денег, выделенная на выигравший цвет.

Реальные частоты побед:

F(синий) = 30%

F(зеленый) = 20%

F(красный) = 50%.

В долгосрочной перспективе красный побеждает в 50% случаев, зеленый — в 20%, а синий — в 30%. Таким образом, наш средний выигрыш в каждом раунде складывается из 50% от выигрыша в случае победы красного, плюс 20% от выигрыша в случае победы