Рациональность: от ИИ до зомби - Элиезер Шломо Юдковски

Или, если слегка перефразировать эту мысль: если бы вы заменили случайными символами `все` говорящие английские имена, вы бы вообще не смогли понять, что означает G1071(G1072, G1073). Что должна была представлять эта программа ИИ? Гамбургеры? Яблоки? Счастье? Кто знает? `Если стереть говорящие английские имена, сами по себе они не вырастут заново.`

Представьте, что физик говорит вам: «Свет — это волны», и вы ему `верите`. Теперь у вас в голове есть маленькая сеть, которая говорит:

IS-A(СВЕТ, ВОЛНЫ).

Если кто-то спросит вас: «Из чего состоит свет?», вы сможете ответить: «Из волн!»

По словам Макдермотта: «Вся сложность в том, чтобы заставить слушателя заметить то, что ему было сказано. Не „понять“, а именно „заметить“». Предположим, вместо этого физик сказал бы вам: «Свет состоит из маленьких извилистых штучек». (Кстати, это неправда.) `Заметили` бы вы какую-нибудь разницу в ожидаемом опыте?

Как вам понять, что не стоит доверять своему кажущемуся знанию о том, что «свет — это волны»? В качестве проверки вы можете спросить себя: «Смог бы я `воссоздать` это знание, если бы его каким-то образом стерли из моей памяти?»

По сути это очень похоже на перемешивание имен говорящих LISP-токенов в программе ИИ с целью проверить, сможет ли кто-то другой догадаться, к чему они якобы «отсылают». Это также похоже на наблюдение за тем, как Искусственный Арифметик, запрограммированный записывать и воспроизводить

Plus-Of(Семь, Шесть) = Тринадцать

не может восстановить это знание, если стереть его из памяти, пока человек снова не введет его в базу данных. Точно так же, если вы забудете, что «свет — это волны», вы не сможете вернуть это знание иначе как тем же способом, каким получили его изначально — спросив физика. Вы не смогли бы выработать это знание самостоятельно — так, как изначально выработали его физики.

Тот же самый опыт, который побуждает нас сформулировать убеждение, связывает это убеждение с другими знаниями, сенсорными сигналами и моторным выходом. Если вы видите бобра, грызущего бревно, то вы знаете, как выглядит это существо-которое-перегрызает-бревна, и сможете узнать его в будущем, независимо от того, называют его «бобром» или нет. Но если ваши убеждения о бобрах строятся лишь на том, что кто-то другой рассказал вам факты о «бобрах», вы, возможно, не сможете узнать бобра, когда его увидите.

В этом кроется страшная опасность попыток `сообщить` искусственному интеллекту факты, которые он не мог бы узнать самостоятельно. В этом же кроется и страшная опасность попыток `рассказать` кому-то о физике, которую они не могут проверить сами. Ведь под «волной» физики подразумевают вовсе не «маленькую загогулину», а чисто математическую концепцию.

Как замечает Дэвидсон, если вы верите, что «бобры» живут в пустынях, имеют чисто белый окрас и во взрослом возрасте весят 300 фунтов, то у вас вообще нет никаких убеждений `о` бобрах, будь то истинных или ложных. Ваше убеждение о «бобрах» недостаточно верно, чтобы быть ошибочным.`2` Если у вас недостаточно опыта, чтобы восстановить убеждения в случае их стирания, то достаточно ли у вас опыта, чтобы хоть с чем-то связать это убеждение? Витгенштейн: «Колесо, которое можно вращать, хотя при этом больше ничего не движется, не является частью механизма».

Почти сразу, как я начал читать об ИИ — еще до того, как прочитал Макдермотта, — я понял, что было бы `очень полезно` всегда спрашивать себя: «Как бы я восстановил это знание, если бы его стерли из моей памяти?»

Чем глубже стирание, тем строже проверка. Если бы из моей памяти стерлись все доказательства теоремы Пифагора, смог бы я доказать ее заново? Думаю, да. Если бы из моей памяти стерлось вообще любое знание о теореме Пифагора, заметил бы я теорему Пифагора, чтобы доказать ее? Тут хвастаться сложнее, не проверив на практике; но если бы вы дали мне прямоугольный треугольник со сторонами 3 и 4 и сказали, что длину гипотенузы можно вычислить, думаю, я смог бы вычислить её — при условии, что всё остальное из математики я бы по-прежнему помнил.

А как насчет самого понятия `математического доказательства`? Если бы мне никто никогда о нем не рассказывал, смог бы я переизобрести `его` на основе других моих убеждений? Было время, когда у человечества не было такого понятия. Кто-то ведь должен был его изобрести. Что именно они заметили? Заметил бы я, если бы увидел нечто столь же новое и столь же важное? Смог бы я мыслить настолько нестандартно?

Какую часть своих знаний вы смогли бы восстановить? Из насколько глубокого стирания? Это не просто тест для отсеивания недостаточно связанных убеждений. Это способ впитывать `целый источник знаний, а не один-единственный факт.`

Пастух строит систему счета, которая работает так: он бросает камешек в ведро каждый раз, когда овца выходит из загона, и вынимает камешек каждый раз, когда овца возвращается. Если вы, будучи учеником, не понимаете эту систему — если для вас это магия, работающая без видимых причин, — то вы не будете знать, что делать, если случайно уроните в ведро лишний камешек. То, чего вы не можете создать сами, вы не сможете и воссоздать, когда того потребуют обстоятельства. Вы не можете вернуться к источнику, изменить настройки какого-то параметра и заново получить результат, не имея самого источника. Если для вас «два плюс четыре равно шесть» — это голый факт, и вдруг один из элементов меняется на «пять», откуда вам знать, что «два плюс пять равно семь», если вам просто сказали, что «два плюс четыре равно шесть»?

Если вы увидите маленькое растение, которое роняет семечко всякий раз, когда мимо пролетает птица, вам и в голову не придет, что с его помощью можно частично автоматизировать подсчет овец. Хотя вы узнали нечто, что создатель системы использовал бы для улучшения своего изобретения, вы не можете вернуться к первоисточнику и воссоздать его.

Когда вы несете в себе источник мысли, эта мысль может меняться вместе с вами по мере того, как вы приобретаете новые знания и навыки. Когда вы несете в себе источник мысли, она действительно становится вашей частью и растет вместе с вами.

Стремитесь сами быть источником любой мысли, о которой стоит размышлять. Если мысль изначально пришла извне, позаботьтесь о том, чтобы она исходила и изнутри тоже. Постоянно спрашивайте себя: «Как бы я воссоздал эту мысль, если бы она стерлась?» Когда найдете ответ, представьте,