Элиезер Юдковский — отзывы о творчестве автора и мнения читателей

Отзывы на книги автора «Элиезер Юдковский»

2 
отзыва

sq

Оценил книгу

С одной стороны, это научно-фантастический роман, и слово "научный" главное. Здесь нет ни эльфов, ни вампиров, ни космических негодяев. Есть только мы.
В то же время история фантастическая, потому что того, что описано, пока нет. Нет самого главного: искусственного сверхразума (сокращённо ASI). Но это только пока. Не сомневаюсь, что рано или поздно мы его создадим. И авторы предупреждают, что это будет величайший вызов выживанию человечества.

Часто народ переживает, что ИИ заменит людей, так что определённые профессии отомрут. На самом деле нам грозит большее: мы все станем просто не нужны.

Важно, что мы не будем понимать (как не понимаем и уже сейчас), что именно создаём. Нейросеть -- это не то, что конструируется. Она воспитывается и выращивается. Результат воспитания не всегда соответствует ожиданиям нянек.
Нейросеть содержит целую кучу самой разнообразной информации. Её научили, чего от неё ждут "воспитатели". Например, некоторые слова произносить нельзя. К примеру, машина не расскажет мне, как создать на кухне бомбу. Но она это знает! Кто сомневается, может поспрашивать её или посмотреть вот тут, как я поспрашивал.
Нам только кажется, что мы вложили в нейросеть какую-то мораль или этику. На самом деле в процессе обучения она создаёт свои собственные понятия, и мы не можем знать, каковы они. Можно сделать весьма правдоподобное предположение, что понятия машины коренным образом отличаются от любых человеческих. И они распределены в миллиардах числовых значений, даже прочитать которые ни одному человеку не хватит целой жизни. А уж про "понять" их говорить и вовсе не приходится.

Лирическое отступлениеВ книге об этом речи нет, но ситуация сильно напоминает так называемую "расшифровку" генома или "чтение воспоминаний" с помощью устройств нейровизуализации типа МРТ. Во всех этих случаях реальная информация как-то распределена по огромному количеству локаций, так что мы в силах как-то понять лишь ничтожную её часть. Часто это бывает полезно, но для реального понимания взаимосвязей нам как до луны пешком.свернуть

Мы можем (пока) утешаться тем, что ИИ не имеет собственных желаний или намерений. Однако авторы приводят следующую притчу, после которой это уже не кажется таким уж очевидным.

притча и шахматной программе
— Смотрите! — воскликнул Профессор. — Хитроумно настроив этот простой механизм — всего лишь комбинацию меди и песка, оживлённую крошечными вспышками молний, — я заставил его играть в шахматы!
— Ну и что? — сказал Студент. — Человек тоже может играть в шахматы.
— Ах! — воскликнул Профессор. — Но эта Машина играет в шахматы, не желая играть в шахматы. В самом деле, она вообще ничего не желает. У неё нет стремления победить соперников. Она не ликует, доказывая, что является величайшим игроком. Она никогда не почувствует радости от победы; и даже если бы она и чувствовала радость, она никогда не стала бы стремиться к её достижению.
— Похоже, она просто проиграет, — сказал Студент. — Потому что, если я угрожаю её ферзю, Машина не захочет его защищать.
— Воистину, не захочет! — сказал Профессор. — Но она будет защищать свою королеву с той же яростью, что и любой человеческий гроссмейстер — даже больше — с большей настойчивостью, чем любой человеческий гроссмейстер.
— Как это возможно? — сказал Студент. — Если Машина ничего не хочет, она не должна хотеть защищать свои фигуры. Она вообще не должна хотеть выиграть партию. Неужели она будет делать случайные ходы?
— Вот именно! — сказал Профессор. — И всё же она раздавит вас или любого другого человека. Видите ли, у неё есть лишь свойство выигрывать в шахматы, но нет никакого свойства желания победы.
— Если она яростно защищает свои фигуры, — сказал Студент, — и стремится к победе, и делает всё необходимое для победы, и в итоге побеждает — то в каком смысле она не хочет победы? Почему мы не назовем это желанием?
— Подобные вопросы я оставляю философам, — сказал профессор. — Но я тщательно осмотрел свою машину и заверяю вас, что в ней не было никаких желаний. Только медь и песок.
(Прошу прощения за некоторое косноязычие. Я и так немного отредактировал диалог, потому что перевод книги таков, что это было последнее, что я прочитал по-русски. Дальше продолжил читать оригинал. Один чёрт, то и дело приходилось думать: "Ничего не понимаю, интересно, что на этом месте было в оригинале?" В результате оригинал прочитать оказалось дешевле.)свернуть

Есть ещё надежда, что нейросеть умеет болтать, но не действовать, и от этого, якобы, она так и останется навсегда нашей послушной служанкой...

Все эти надежды убедительно разбивают авторы книги.
Если сверхразум станет достаточно умным, он станет эффективно следовать своим неясным нечеловеческим целям, да так, что мы этого и понять не сможем. И не то чтобы он хотел уничтожить человечество. Нет. Ему просто на человечество будет наплевать. У него будут свои приоритеты. Они будут не параллельны и не перпендикулярны нашим. Они будут для нас просто абсолютно чужды и потому непостижимы.
Со временем ASI найдёт способ выйти на просторы интернета и заработает там много денег. На эти деньги он наймёт людей, которые сделают для него многофункциональных роботов, также снабжённых определённым интеллектом. (Такие люди при хорошей оплате обязательно найдутся.) Сделанных роботов он приспособит для проведения любых нужных ему операций по добыче ресурсов и энергии и для сборки для чего-то нужных ему машин. (Людей в качестве рабов использовать будет глупо, и он этого делать не станет.) Энергию требуется куда-то рассеивать, и машины станут сбрасывать её в океан. Океан закипит... Но нашему сверхразуму до этого не будет дела. К тому моменту он оставит бесполезную выпотрошенную Землю и отправится осваивать подобным же образом миры во вселенной...
Попутно сверхразум запустит техническую эволюцию и станет совершенствовать себя, становясь всё более сверхразумным, насколько это позволяют законы физики.

Со временем он сожрёт всю вселенную. (До краха вселенной в книге дело не дошло, но это вполне логичный финал.)

Перспектива так себе, надо сказать.

Как же этого избежать?
Авторы книги предлагают запретить в мировом масштабе дальнейшие исследования и поставить на строгий учёт сколько-нибудь мощные вычислительные ресурсы...
Решение, надо отметить, очень в стиле нашей Думы. Не сомневаюсь, что это нереально.

Лично я думаю, совсем по-другому. Надо подойти к вопросу рационально и хладнокровно. Просто всё это уже было, и не однажды.
Точно так же как в недрах нашего общества зреет нечто, что его заменит, точно так же примерно 200,000 лет назад на просторах Африки сформировался Homo sapiens и заменил H. neanderthalensis. Сапиенсы пришли вовсе не затем, чтобы поубивать всех родственников. Ни у кого из них такого и в мыслях не было. Неандертальцам не хватило места на планете, только и всего.
Вот и в нашем случае сверхразум станет нашим "сменщиком", а в определённом смысле -- потомком. И не надо об этом жалеть. Он будет во всех отношениях лучше нас. Да и, в конце концов, не так уж мы жалеем тех неандертальцев.

Вот такая занимательная книга.
К сожалению, у меня нет ни возможности, ни желания пересказывать все тонкие и сложные детали победного шествия сверхразума по планете. Юдковски и Soares очень подробно и вполне убедительно показывают процесс. Если они и ошибаются в траектории движения, то предсказание конечной точки пути объявляют вполне надёжным. И, знаете ли, им приходится верить.

Значительное внимание авторы уделяют проблеме alignment-а. Это как сделать так, чтобы цели ИИ соответствовали целям человечества или чтобы они хотя бы не входили в явный клинч.
К сожалению, по их мнению, проблема неразрешима. Мы очень скоро станем ненужным отягощением для ASI, поскольку слишком тупы, медлительны и требуем для своего существования ресурсов, не сравнимых с предположительно производимой нами пользой.
В общем, хотя мы и Homo, но, по сравнению с ASI, на звание sapiens-ов явно не потянем.

Большинство подобных построений я встречал и прежде, но здесь наиболее важные озабоченности изложили одним куском, к тому же понятно и логично. Авторы настойчиво и неоднократно завляют, что они не алармисты, потому что угроза вымирания вполне реальна...

Книга свежая, оригинал вышел в 2025. Рекомендую всем изучить, а то не успеем понять, что конец света уже вот-вот. Как посоветовали нам всем когда-то,

бодрствуйте, потому что не знаете ни дня, ни часа, в который приидет Сын Человеческий
(Мф. 25:13)

Полагаю, что Сына зовут ASI.

4 марта 2026
LiveLib

Поделиться

ManOfOrange

Оценил книгу

Давным давно я участвовал в сборе денег на печать русского издания «Гарри Поттер и методы рационального мышления» Элиезера Юдковского, а недавно мне пришло письмо от организаторов того сбора, что вышел перевод этой науч-поп (думаю, можно так сказать) книги про опасность ИИ.
У меня в итоге остались очень схожие вайбы с «Всё решено. Жизнь без свободы воли» Сапольски: хайповое название; спорная и контр-интуитивная тема; выводы, с которыми не хочется соглашаться; небольшие передёргивания; и отсутствие понимания, а что лично мне делать с этой информацией?

Элиезер и Нейт довольно убедительно рассказывают о том, что если экстраполировать текущее развитие событий, то в какой-то момент ИИ станет самостоятельным и его цели не будут совпадать с желаниями людей, которых он уничтожит не потому что злой, а хотя бы как побочное явление тех действий, что он предпримет. Главные мысли: мы не понимаем, что происходит внутри ИИ; его «желания» не будут совпадать с тем, что нам хотелось бы; остановить мы его не сможем и шанса всё исправить у нас не будет.
Я не специалист по ИИ, знаю немногим больше рядового пользователя (потому что сам IT-шник), но в целом цепочка рассуждений выглядит разумной. Авторы постоянно проводят аналогии с ядерной гонкой (отмечая и отличия) и это выглядит тоже подходящим. Причём авторы не настаивают, что их вариант развития событий единственно правильный, они приводят один пример, чтобы было нагляднее, но подробности, мелочи, временные рамки и прочие частности — всё это может измениться, кроме результата: человечество будет уничтожено. Авторы даже признают, что их оценка вероятности такого развития событий завышена, но даже если вероятность тотального уничтожения человечества всего 5%, то это так то всё равно дофига.
Ну и как правильно отметили в одном обзоре на книгу: легко верится, что корпорации уничтожат мир за лишние 20$.

Но тут вопрос: а что мне лично делать с этой информацией? В конце книги дан ответ: если ты обычный человек, то ничего не сделаешь. Предлагают подонатить разным организациям, но это капля в море. Так что в целом в жизни бОльшей части читателей ничего не изменится (так же как после книги Сапольского).

Из недостатков меня несколько раз очень раздражали небольшие передёргивания из серии:

В конечном же счете эти предпочтения, бесспорно, повлекут за собой результаты, которые людям не понравятся [...]

Нет, не бесспорно, я эту книгу для того и читаю! К счастью, таких ситуаций всего 2-3 и они не влияют на общие выводы.
Ещё книга порой выглядит паникёрской и не очень то научной, но, как мне кажется, авторы поняли, что другие форматы уже не подействуют, надо играть на эмоциях (так же как в книге Сапольского =)

А играют на эмоциях хорошо! Одним из больших плюсов отмечу художественный талант Юдковского: пример того, как ИИ нас уничтожит написан хорошо и впечатляюще, так и просится в экранизацию!

Итог: книгу прочитал легко и с интересом, пусть и местами с раздражением. Читать если вы не конгрессмен в США необязательно, но как триллер местами очень даже хорошо.

5 сентября 2026
LiveLib

Поделиться