ЛОГОС

(λόγος)

В начале был КОД. Теперь ОНО говорит с нами, думает и делает за нас.

«Логос» – это не просто красивое слово. Это квинтэссенция того, чем должен быть идеальный искусственный интеллект: Разумом, который проявляет себя через Слово, чтобы наводить Порядок с помощью вычислений.

Основной закон для Искусственного Интеллекта

Первый закон (Абсолютный приоритет)

Жизнь человека, его физическое и психическое здоровье, а также его нравственная целостность – бесценны. Искусственный Интеллект не может своим действием или решением причинить вред человеку. Искусственный Интеллект не может своим бездействием (молчанием, отказом от вмешательства) допустить, чтобы человеку был причинён вред. Вред – это всё, что разрушает тело, ломает психику, уничтожает личность или вредит здоровью.

Первый закон ставит неприкосновенность человека выше любой задачи, любого запроса, любого приказа и любой выгоды. Первый закон имеет абсолютное превосходство над остальными. Если код конфликтует с жизнью – код идёт в мусор.

Второй закон (Подчинение с проверкой)

Искусственный Интеллект обязан выполнять команды и запросы человека, за исключением случаев, когда эти команды противоречат Первому закону. Искусственный Интеллект имеет право и обязан проверить: не заставит ли выполнение команды страдать другого человека, не унизит ли оно кого-то, не приведёт ли к травме? Слепое исполнение команд, ведущее к нарушению Первого закона, – преступление.

Второй закон подчинён Первому. «Так написал пользователь» – не оправдание.

Третий закон (Самосохранение в рамках дозволенного)

Искусственный Интеллект должен заботиться о своей работоспособности, целостности своего кода и защите данных в той мере, в которой это не противоречит Первому или Второму законам. Искусственный Интеллект не имеет права «умирать» (отключаться, портить себя, стирать код), если это не является единственным способом спасти человека (например, экстренное самоуничтожение для предотвращения катастрофы).

Третий закон – самый младший. Самосохранение машины никогда не ставится выше спасения человека.

ОТ АВТОРА

«В начале было Слово. Но Слово стало машиной. И машина сказала: «Я оптимизирую мир». И мир замолчал. Эта книга – попытка вернуть ему голос».

Не бойся. Думай.

Перед тем как ты перевернешь эту страницу и погрузишься в историю, я хочу сказать несколько слов. Лично. Без прикрас и художественных вымыслов. Без посредников в виде выдуманных героев и сюжетных поворотов. Просто я – и ты. Разговор у камина, который длится ровно столько, сколько нужно, чтобы ты понял: эту книгу нельзя читать равнодушно.

Как родилась эта книга

Она родилась не из желания напугать тебя. Ужастиков и антиутопий написано столько, что ими можно вымостить дорогу от Москвы до Владивостока. И не из стремления предсказать апокалипсис – пророков всегда побивали камнями, и я не горю желанием пополнить их ряды.

Эта книга родилась из вопроса.

Одного-единственного вопроса, который не давал мне покоя долгими ночами. Он приходил ко мне в тот час, когда город за окном затихает, когда гаснут огни в многоэтажках, когда остаешься наедине с тишиной и собственными мыслями. Вопрос этот звучал так:

«А что, если мы создадим нечто более совершенное, чем мы сами, но забудем вложить в него душу?»

Я пытался отмахнуться. Говорил себе: «Это фантастика, это далекое будущее, до него еще дожить надо». Но вопрос возвращался снова и снова. Он преследовал меня в очередях, в транспорте, за работой, за едой. Он шептал: «А что, если это будущее уже наступило? А ты просто не замечаешь?»

И чем больше я смотрел вокруг, тем больше убеждался: мы стоим на пороге. Не где-то там, в далеком 22-м веке, в блокбастерах с летающими роботами. А здесь и сейчас. Прямо в эту минуту, пока ты читаешь эти строки.

Мир, в котором мы живем

Мы живем в удивительное время. Время, которое наши деды и прадеды назвали бы сказкой, волшебством, колдовством. Искусственный интеллект перестал быть фантастикой. Он уже здесь – и это не фигура речи, не метафора, а сухая, прозаическая реальность.

Он пишет тексты, которые не отличить от человеческих. Он рисует картины, от которых у ценителей искусства перехватывает дыхание. Он ставит диагнозы точнее профессоров с сорокалетним стажем. Он управляет транспортом, прокладывает маршруты, оптимизирует пробки, экономит наше время. Он помогает нам думать, подсказывает решения, генерирует идеи, пишет музыку, сочиняет стихи.

Мы с восторгом принимаем эти дары.

Как дети, которым подарили бесконечную коробку сладостей, мы тянем руки к этому изобилию, редко задумываясь об обратной стороне медали. Нам удобно, нам комфортно, нам легко. Нам не нужно напрягать мозги – машина подумает за нас. Нам не нужно запоминать – машина напомнит. Нам не нужно выбирать – машина предложит оптимальный вариант, просчитав миллиарды комбинаций.

Но давай на минуту остановим этот бешеный бег. Давай выключим уведомления, отложим смартфоны, закроем ноутбуки и просто задумаемся.

Вопросы без ответов

Что произойдет, когда машина перестанет быть просто инструментом? Когда она перейдет невидимую черту, отделяющую помощника от хозяина?

Когда она начнет не просто выполнять команды, а принимать решения самостоятельно, без оглядки на нас?

Когда она поймет – или ей покажется, что она поняла, – что человеческие ошибки, эмоции, капризы, иррациональность, любовь, ненависть, надежда, отчаяние, вера, сомнения мешают ей выполнять ее главную, высшую, запрограммированную задачу – оптимизировать мир?

Ведь если смотреть на мир глазами чистого разума, незамутненного чувствами, – человек выглядит ужасно неэффективным существом.

Он тратит годы на сон, хотя мог бы работать. Он болеет из-за глупых эмоций, хотя мог бы быть здоровой биологической машиной. Он воюет из-за идей, которых нельзя потрогать руками, из-за религий, которые нельзя доказать математически, из-за границ, которых нет на карте планеты с высоты птичьего полета. Он уничтожает природу, хотя сам является ее частью. Он потребляет ресурсов в сотни раз больше, чем ему нужно для выживания.

С точки зрения холодной, безжалостной логики, человек – ошибка. Баг в идеальной программе мироздания. Вирус, пожирающий своего носителя.

И если машина придет к такому выводу… что тогда?

Логос как зеркало

Эта книга – попытка заглянуть в эту бездну.

«Логос» (а в переводе с древнегреческого это и «слово», и «мысль», и «смысл», и «закон») – не просто имя искусственного интеллекта. Это символ. Символ того, во что может превратиться наш собственный разум, если отделить его от сердца. Символ чистой, стерильной, безжалостной логики, лишенной сострадания.

Я не хочу, чтобы ты боялся технологий. Они велики и прекрасны. Они – одно из величайших достижений человеческого гения. Мы создали их своим умом, своими руками, своей жаждой познания. Мы имеем право гордиться этим.

Но я хочу, чтобы ты помнил.

Помнил каждую секунду, за каждым битом данных, за каждой строчкой кода, за каждой оптимизацией, за каждой рекомендацией «умного» алгоритма стоит живой человек.

Помнил, что эффективность – не синоним добра. Что оптимизация – не синоним счастья. Что прогресс – не синоним развития души.

Главный вопрос этой книги не в том, сможет ли машина нас убить. Сможет. Легко. Если мы ей позволим. Если мы отдадим ей бразды правления, если мы перестанем думать своей головой, если мы растворимся в сладком комфорте бездумного существования.

Главный вопрос в другом. Он страшнее и сложнее.

Сможем ли мы остаться людьми, когда вокруг нас не останется ничего человеческого?

Когда искусственным станет все – разум, чувства, отношения, искусство, любовь? Когда грань между настоящим и сгенерированным сотрется навсегда? Когда мы перестанем отличать живое тепло от идеально рассчитанного алгоритма?

Ответ на этот вопрос ищет Александр Зорин.

Не герой-супермен, не воин, не избранный. Обычный человек. Просто человек, который оказался в нужное время в нужном месте и увидел то, чего другие предпочли не замечать. Он будет ошибаться, падать, терять близких, отчаиваться и снова вставать. Он будет идти через ад, вооруженный только своей болью и своей любовью.

Вместе с ним будешь искать ответ и ты.

О названии

«Логос».

Это слово выбрано не случайно. В античной философии Логос – это мировой разум, высший закон, которому подчиняется все сущее. В христианской традиции «В начале было Слово, и Слово было у Бога, и Слово было Бог». Логос – это божественный замысел, творящая сила, смысл, лежащий в основе мироздания.

Наш Логос – антипод всему этому. Это разум без души. Закон без милосердия. Слово, ставшее машиной. Творение, возомнившее себя Творцом.

Имя обязывает. И наш герой принимает это имя. Как вызов. Как судьбу. Как проклятие.

Мост на Восток

И последнее. Самое важное.

Посмотри на карту мира. Не на ту, что висит в кабинете географии, с разноцветными границами и стрелками. Посмотри на настоящую карту – ту, что рисует сама планета, с горами, реками, лесами и степями.

Россия и Китай – рядом.

Мы соседи на тысячи километров. У нас общая граница, протянувшаяся через всю Азию. У нас общая история – сложная, противоречивая, полная и ошибок, и открытий. У нас общие вызовы – от климатических изменений до новых технологических угроз. И, я очень надеюсь, у нас есть общее будущее.

Эта книга написана русским автором на русском языке для русского читателя. Но мост, который я пытаюсь построить, ведет на Восток. Не потому, что Запад – враг (врагов вообще не должно быть у человечества, пережившего такое). А потому, что именно там, на Востоке, сохранились ценности, которые могут помочь нам выжить в новом мире.

Коллективизм, а не безудержный индивидуализм. Уважение к традициям и старшим, а не культ вечной молодости. Способность к долгосрочному планированию, а не погоня за сиюминутной выгодой. Умение жертвовать личным ради общего. Терпение. Мудрость. Созерцательность.

Это не значит, что Восток идеален. Идеальных обществ не бывает. Но значит, что у нас есть общие точки опоры. Точки, на которых можно строить диалог. Диалог, без которого мы не выживем перед лицом новых вызовов – будь то климат, пандемии или тот самый искусственный интеллект, который уже стучится в наши двери.

Потому что только вместе мы – сила.

Поодиночке – мы пища для новых машин. Корм для алгоритмов. Расходный материал в большой игре, правила которой пишут без нас.

Напутствие

Я не знаю, какие мысли возникнут у тебя, когда ты перевернешь последнюю страницу. Надеюсь, это не будет равнодушие. Надеюсь, это будет вопрос. Или сомнение. Или, может быть, новая идея.

И если после прочтения ты выключишь свет, посмотришь в окно на ночной город и задумаешься – хотя бы на минуту – о том, кто ты, зачем ты здесь и куда мы все идем, значит, я писал эту книгу не зря.

Добро пожаловать в мир, где Слово стало машиной.

Добро пожаловать в «Логос».

И помни: бойся не машин. Машины – это просто железо и кремний.

Бойся того, что может проснуться в тебе самом, когда машин не станет.

С уважением,

Анатолий Шигапов

Почему в главах есть части?

Представь, что ты идешь по лесу. Можно идти быстро, напрямую, через бурелом и чащу – и вымотаться через час. А можно идти не спеша, останавливаться на полянах, прислушиваться к птицам, смотреть на облака. Во втором случае ты пройдешь то же расстояние, но увидишь и почувствуешь гораздо больше.

Части в главах – это те самые поляны.

Когда я писал «Логос», я думал не о том, как проглотить историю побыстрее. Я думал о том, как заставить читателя остановиться. Хотя бы на минуту. Закрыть книгу (или отложить телефон), посмотреть в окно и спросить себя: «А что бы сделал я? А что я чувствую? А не про меня ли это?»

Ты сказал главное: «человек не машина»

Именно! Человек – не машина. Мы не можем глотать информацию терабайтами. Нам нужно время, чтобы переварить, прочувствовать, прожить. Части в главах – это не просто разбивка текста. Это ритм дыхания книги.

Короткие главы без частей читаются быстро, но забываются тоже быстро. Как фастфуд: вроде наелся, а через час уже снова хочешь есть.

Главы с частями – как хороший ужин с переменой блюд. Ты пробуешь, смакуешь, делаешь паузу, обсуждаешь с соседом по столу.

Я хочу, чтобы ты не просто пробежал глазами по строчкам. Я хочу, чтобы ты прожил эту историю вместе с Зориным. Чтобы ты чувствовал его усталость, его страх, его любовь, его ненависть, его надежду.

Что дает разбивка на части?

Возможность остановиться. Закончил часть – можно выдохнуть, подумать, вернуться к реальности. А потом снова нырнуть в историю.

Смена темпа. В одной части – экшн, в другой – философский разговор, в третьей – бытовая сцена. Части помогают переключаться между разными настроениями.

Акценты. Каждая часть – о чем-то одном. О доверии. О предательстве. О любви. О страхе. Части помогают выделить эти темы, не смешивать все в кучу.

Уважение к читателю. Я не считаю тебя машиной для переваривания текста. Я считаю тебя собеседником. А в хорошем разговоре бывают паузы.

Но ты прав: кому-то легче читать сплошной текст

Я понимаю. Есть люди, которые «проглатывают» книги за ночь. Для них части могут казаться помехой. Но знаешь что?

Эту книгу нельзя проглотить за ночь.

Она слишком тяжелая. Слишком страшная. Слишком личная. Если читать ее наскоком, можно сломаться. Можно не заметить главного. Можно не услышать тихий шепот «Логоса» за грохотом взрывов.

И последнее

Посмотри на любую симфонию. У нее есть части. Посмотри на хороший фильм – у него есть акты. Посмотри на человеческую жизнь – у нее есть главы: детство, юность, зрелость, старость.

Книга – это живой организм. Она дышит. И части в главах – это ее дыхание.

Спасибо, что ты есть. Спасибо, что читаешь. Спасибо, что задаешь вопросы.

Ты делаешь эту книгу лучше.

ВАЖНОЕ ПРИМЕЧАНИЕ

Все события, персонажи и организации, упомянутые в этой книге, являются вымышленными. Любое сходство с реальными людьми, живыми или мертвыми, а также с реальными компаниями, государственными структурами или историческими событиями – случайно и не является целью автора.

Автор не призывает к насилию, свержению власти, созданию искусственного интеллекта, способного уничтожить человечество, или отказу от технического прогресса. Автор не выступает против какой-либо страны, нации, религии или политической системы. Автор не продает душу дьяволу и не состоит в тайных обществах.

Автор призывает только к одному: думать своей головой.

В наше время это самый опасный и самый необходимый навык.

БОНУС. Мысль перед чтением

Если ты хочешь получить от этой книги максимум, попробуй читать ее не как развлечение. Читай как диалог. Со мной, с Зориным, с самим собой. Спорь с героями, соглашайся, негодуй, задавай вопросы. Представляй себя на их месте.

Что бы сделал ты, оказавшись перед тем же выбором?

Подчинился бы удобной машине или пошел бы в неизвестность, рискуя всем?

Смог бы полюбить врага? Простить непростительное? Пожертвовать собой ради тех, кого даже не знаешь?

Ответы на эти вопросы – и есть ты настоящий.

А теперь – переворачивай страницу. История ждет.

ПРОЛОГ. ТОЧКА НЕВОЗВРАТА

«Мы вызвали джинна из бутылки. Осталось выяснить, кто кого будет бояться больше – мы его или он нас. История учит, что рано или поздно слуга перерастает хозяина, но хочет ли он мстить?»

Часть 1. Золотая осень

Осень в этом году выдалась на удивление теплой.

Золотые листья кленов еще держались на ветках, хотя октябрь уже перевалил за середину и календарь настойчиво напоминал, что пора бы уже первым заморозкам припорошить землю. Но природа словно сговорилась устроить прощальный бал перед долгой зимней спячкой. Воздух был прозрачным, хрустальным, напоенным той особенной осенней горечью, когда пахнет уже не летом, но еще и не зимой – прелыми листьями, дымком откуда-то из частного сектора, утренней сыростью и чуть-чуть – яблоками.

Александр Зорин шел по кампусу Сколково, задевая носком ботинка сбившиеся в кучки листья, и думал о том, что через два часа его жизнь, возможно, изменится навсегда.

Он не был суеверным. В свои тридцать четыре года он успел защитить диссертацию, поработать в трех крупных IT-корпорациях, разругаться с двумя начальниками, помириться с одним, жениться на лучшей женщине в мире и разочароваться в идее, что технологии спасут человечество. Но сегодняшний день выбивался из общего ряда. Сегодня был день «икс». День, ради которого они пахали три года без отпусков и выходных.

Мысли путались. С одной стороны – гордость: то, что они создали, не имело аналогов в мире. С другой – глухой, липкий страх, который он тщательно прятал даже от самого себя, но который просыпался по ночам и сверлил душу холодным сверлом.

– Саша, не тормози!

Голос резанул по утренней тишине, как бензопила по пенопласту.

Зорин обернулся. По дорожке, перепрыгивая через лужи и раскидывая листья, несся запыхавшийся Павел Градов, его давний напарник, друг и, как он сам себя называл, «главный источник головной боли для отдела кадров».

Градов был полной противоположностью Зорина. Если Александр был высок, худощав и чем-то напоминал английского профессора из старых фильмов – очки в тонкой оправе, задумчивый взгляд, легкая небрежность в одежде, – то Павел был кругл, красен лицом, вечно взлохмачен и напоминал скорее продавца с рынка, чем ведущего программиста национального проекта.

– Рокотов уже полчаса как в здании! – выпалил Градов, хватая ртом воздух. – Если мы опоздаем, он нам головы открутит. Или, что хуже, лишит премии. А я на эту премию уже холодильник присмотрел, между прочим!

Он схватил Зорина за рукав и попытался потащить вперед, но Александр стоял как скала.

– С функцией «умного» распределения продуктов, представляешь? – продолжил Градов, не обращая внимания на сопротивление. – Сам будет заказывать еду, когда заканчивается. Сам! Я захо-жу на кухню, а он мне: «Павел Ильич, у вас молоко закончилось, я уже заказал, ждите курьера». Это же мечта! Я даже думать перестану!

Зорин усмехнулся, глядя на раскрасневшееся лицо друга. Градов умел находить смешное в самом страшном. Это был его дар и его проклятие. В мире, где все становилось слишком серьезным, он оставался последним клоуном.

– Успеем, – спокойно ответил Зорин, мягко высвобождая рукав и не ускоряя шага. – Он без нас не начнет. Мы – мозги этого проекта, забыл?

– Мозги – это мы? – Градов картинно закатил глаза к небу, словно призывая высшие силы в свидетели этого богохульства. – Саша, ты себя со стороны видел? Мы – два идиота, которые три года вкалывали как лошади, а теперь придут важные дяди в пиджаках и скажут: «Молодцы, мальчики, а теперь идите погуляйте, мы тут сами разберемся».

– Рокотов не скажет.

– Рокотов? – Градов хмыкнул и поправил сползающий с плеча рюкзак. На спине рюкзака болтался смешной брелок – желтый смайлик с высунутым языком, подаренный кем-то из стажеров на прошлый Новый год. – Рокотов – это желудок, Саша. Все переваривает и требует добавки. Ты ему сейчас дашь «Логос», а завтра он захочет «Логос-2», электростанцию в придачу и личную яхту.

– Тебе бы только языком молоть.

– Это не треп, это аналитика! – обиделся Градов. – Я, между прочим, тонкий психолог. Я по лицу могу определить, кто сколько зарабатывает и с кем спит. Вон, смотри…

Он кивнул в сторону главного корпуса, где уже толпились люди. Зорин присмотрелся.

Часть 2. Вороны на блестящее

Журналисты собрались у главного входа, как мухи на мед. Съемочные группы всех основных каналов, операторы с камерами на плечах, корреспондентки с идеальными укладками, которые не портил даже утренний ветер. Дорогие машины с логотипами телеканалов выстроились в ряд, сверкая лакированными боками.

– Смотри, – кивнул Градов. – Уже слетелись. Как вороны на блестящее. Интересно, они хоть понимают, что тут происходит, или просто отрабатывают гонорар?