Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

За этот поступок ему, пожалуй, стоит начислить немало очков.

Но и это не то, что я называю своим «байесовским просветлением». Это был важный шаг к осознанию неполноценности моих навыков Традиционной Рациональности — к пониманию того, как много всего существует во внешнем мире, всей этой новой науки, выходящей далеко за рамки простого следования советам Ричарда Фейнмана. И то, что в программе исследований эвристик и искажений Байес превозносился как золотой стандарт, помогло продвинуть моё мышление вперёд — но всё же не до конца.

Память — штука хрупкая, а моя, кажется, стала ещё более хрупкой, чем у большинства, с тех пор как я узнал, что воспоминания воссоздаются заново при каждом припоминании — такова уж научная правда об их хрупкости. Действительно ли у других людей память лучше, или они просто доверяют деталям, которые выдумывает их мозг, хотя на самом деле помнят не больше моего? Моя догадка: у других людей действительно лучше память на определённые вещи. Мне довольно легко запоминать структурированные научные знания, но разрозненный хаос повседневной жизни улетучивается из моей головы очень быстро.

Я знаю, почему те или иные события происходили в моей жизни — это причинно-следственная структура, её я вполне могу помнить. Но иногда мне трудно вспомнить даже то, в каком порядке происходили эти события, не говоря уже о том, в каком году.

Я не уверен, прочитал ли я книгу Э. Т. Джейнса «Теория вероятностей: Логика науки» до или после того дня, когда осознал масштаб собственной глупости и понял, что столкнулся со взрослой проблемой.

Но именно «Теория вероятностей» сделала своё дело. Теория вероятностей представала здесь не просто ловким инструментом, но Правилами, нерушимыми под угрозой парадокса. Если вы пытались приблизительно следовать этим Правилам, потому что использовать их напрямую было вычислительно слишком дорого, то — каким бы неизбежным ни был этот компромисс — вы всё равно в итоге действовали неоптимально. Джейнс проводил свои вычисления разными способами, показывая, что при использовании корректных методов всегда получается один и тот же ответ; он приводил другие ответы, к которым приходили остальные, и выслеживал некорректный шаг. С его точностью парадоксы не могли сосуществовать. Не какой-то ответ, а тот самый ответ.

И вот — оглядываясь назад на свои ошибки и на все те «какие-то» ответы, которые привели меня к парадоксам и смятению, — я сообразил, что передо мной уровень выше моего собственного.

Я больше не мог представить себе, как можно пытаться построить ИИ на основе смутных ответов — подобных тем «каким-то» ответам, что я придумывал раньше, — и выжить при этом.

Я посмотрел на горе-создателей ОИИ, с которыми пытался спорить о Дружественном ИИ, и на их разнообразные мечты о дружественности. (Часто формулируемые спонтанно прямо в ответ на мой вопрос!) Как и в случае с частотными статистическими методами, никакие две их версии не согласовались друг с другом. Посвятив полноценному изучению этой темы несколько лет, я кое-что знал о проблемах, с которыми неизбежно столкнутся их полные надежд планы. И я понял, что если вы говорите: «Я не вижу, почему это должно провалиться», то ваше «не знаю» — лишь отражение вашего собственного невежества. Мне было ясно: если я сам буду придерживаться того же стандарта «это кажется хорошей идеей», я тоже буду обречён. (Очень похоже на то, как сторонник частотного подхода изобретает потрясающие новые статистические вычисления, которые просто кажутся хорошими идеями.)

Но если нельзя делать то, что кажется хорошей идеей, — если нельзя делать то, в чём вы просто не способны вообразить провал, — то что же тогда делать?

Мне казалось, что для решения взрослой проблемы и выживания потребуется уровень Джейнса: не «вот моя блестящая идея», а скорее «вот единственный верный способ сделать это (и вот почему)». Если бы я достиг такого же мастерства в своей области, какого Джейнс достиг в теории вероятностей, тогда было бы хотя бы мыслимо, что я попытаюсь построить Дружественный ИИ и выживу.

В моей памяти вспыхнул отрывок:

Не делай ничего из соображений праведности, благородства или ради похвалы; не делай ничего только потому, что это кажется благом; делай лишь то, что ты обязан сделать и чего не можешь сделать никак иначе.1

Следование тому, что казалось правильным, лишь сбивало меня с пути.

И тогда я полностью остановился.

И решил, что отныне буду следовать стратегии, которая могла бы спасти меня, примени я её много лет назад: предъявлять к своим проектам Дружественного ИИ более строгие требования — не делать того, что кажется хорошей идеей, а делать только то, что я понимаю на достаточно глубоком уровне, чтобы видеть: это невозможно сделать никак иначе.

Все мои старые теории, в которые я столько вложил, не соответствовали этому стандарту, не были даже близки к нему и даже не двигались по пути, ведущему к нему, — поэтому я выбросил их в окно.

Я занялся изучением теории вероятностей и теории решений, стремясь расширить их так, чтобы они охватывали такие понятия, как рефлексивность и самомодификация.

Если я правильно помню, к этому моменту я уже начал рассматривать познание как проявление байесовской структуры, что также является важной частью того, что я называю своим байесовским просветлением — но об этом я уже говорил. А ещё было моё натуралистическое пробуждение, о котором я тоже уже упоминал. И моё осознание того, что Традиционная Рациональность была недостаточно строгой, поэтому в вопросах человеческой рациональности я стал черпать больше вдохновения из теории вероятностей и когнитивной психологии.

Но если сложить всё это вместе, то получится, в общих чертах, история моего байесовского просветления.

В жизни редко бывают чёткие границы. История продолжается.

Например, именно изучая Джуду Перла, я понял, что точность способна экономить время. До этого я и сам размышлял над немонотонными логиками — ещё в те времена, когда находился в режиме «поиска изящных инструментов и алгоритмов». Читая «Вероятностные рассуждения в интеллектуальных системах: сети правдоподобного вывода»,2 я мог представить, сколько времени потратил бы впустую на системы ad hoc и частные случаи, если бы не знал этого ключа. «Делай лишь то, что ты обязан сделать, и чего не можешь сделать никак иначе» оборачивается экономией времени, которая измеряется не спасёнными от растраты месяцами, а спасёнными карьерами.

И вот тогда я понял, что только начав требовать от себя соответствия этому более высокому стандарту