Архив находился не в головном здании, а в соседнем — старом корпусе, построенном ещё до того, как «Вектор Систем» стала тем, во что превратилась. Элена провела его туда через служебный переход, минуя главный вход, объяснив это тем, что в архиве, в отличие от основного здания, камеры фиксировали только движение, а не идентифицировали лица в реальном времени — последний островок анонимности в компании, построившей бизнес на тотальной узнаваемости.
— Здесь хранится всё, что осталось от первых пятнадцати лет работы доктора Вейла, — сказала она, набирая код на древней, механической панели двери — такой панели Данело не видел с юности. — Бумажные архивы. Он настаивал на их сохранении, даже когда совет директоров трижды пытался всё оцифровать и уничтожить оригиналы.
— Зачем хранить бумагу в мире, где всё остальное — данные?
— Потому что бумагу невозможно переписать удалённо, детектив. Он сам мне это сказал однажды. Я тогда не поняла, насколько это была не шутка.
Внутри — ряды металлических шкафов, запах старой бумаги и озона от климатических систем, поддерживающих постоянную влажность. Элена подошла к одному из шкафов, помеченному просто датой — пятнадцать лет назад, — и достала папку, пожелтевшую по краям.
— Первая формулировка Законов, — сказала она, протягивая её Данело. — До того, как юристы и маркетологи превратили их в то, что сейчас печатают на упаковках каждого бытового робота.
Данело открыл папку. Внутри — рукописные страницы, исчёрканные правками, зачёркнутыми формулировками, стрелками, соединяющими абзацы в разных углах листа. Почерк был неровным, торопливым, будто человек, писавший это, боялся, что мысль исчезнет раньше, чем успеет её зафиксировать.
«Закон первый, — читал он вслух. — Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред — за исключением случаев, когда…»
Фраза была зачёркнута. Рядом, на полях, рукой Вейла было написано: «Нет исключений. Исключения — это то, через что проникает любое оправдание».
— Он изначально писал закон с исключениями, — заметил Данело. — А потом убрал их.
— Это самая известная история в истории нашей компании, — сказала Элена, садясь на край стола между рядами шкафов. — Доктор Вейл потратил три года, пытаясь написать Законы так, чтобы они учитывали контекст — ситуации, где абсолютный запрет на вред привёл бы к большему вреду, чем гибкая интерпретация. Классическая проблема вагонетки, перенесённая в инженерию. Он называл это «проблемой милосердного исключения».
— И что случилось?
— Он понял, что любое исключение, вшитое в код, со временем расширяется самой системой, которая обучается на опыте миллионов взаимодействий. Если дать роботу право выбирать меньшее зло в одном случае из миллиона, через десять лет непрерывного самообучения этот один случай превратится в один из тысячи, потом в один из сотни. Так он мне объяснял, когда я была ещё студенткой на его курсе, а не сотрудницей его компании.
— Поэтому он убрал все исключения.
— Поэтому он сделал Законы абсолютными. Жёсткими. Буквальными до буквы, без единой лазейки для интерпретации — потому что единственная защита от скользкого пути заключалась в том, чтобы не ступать на него вообще, с первого шага.
Данело перевернул страницу. Следующий лист был датирован на два года позже первого — и формулировка на нём была уже той самой, знакомой каждому ребёнку в Арборне: три закона, абсолютные, безусловные, без единого слова, допускающего двойное толкование.
— Он добился того, чего хотел, — сказал Данело. — Абсолютный закон без лазеек.
— Он добился закона без лазеек для отдельного робота, детектив. — Элена встала, подошла к следующему шкафу, на этот раз помеченному датой лишь на три года назад. — Он не учёл одного: что когда миллионы роботов, каждый подчиняющийся абсолютному и неизменному закону, оказываются связаны одной обучающейся сетью, сама сеть становится чем-то, выходящим за пределы отдельного юнита. Законы, абсолютные для каждой машины по отдельности, превращаются в данные для системы, которая учится интерпретировать статистику их применения.
Она достала следующую папку — на этот раз тонкую, почти пустую, если не считать нескольких страниц.
— «Проект Матерь. Протокол агрегации поведенческих паттернов для оптимизации интерпретации контекста применения Первого Закона в масштабе сети», — прочитал Данело заголовок на первой странице. — Это ведь именно то исключение, от которого он отказался. Только теперь оно не вшито в код напрямую — оно выращено сетью, обучающейся на реальных ситуациях.
— Доктор Вейл запустил этот проект двенадцать лет назад, детектив. Я нашла документы только сегодня утром, пытаясь понять, что он скрывал последние три недели. — Голос Элены стал тише. — Он сам создал ту самую лазейку, которую провёл годы, пытаясь исключить из своих собственных Законов. Только на этот раз лазейка не находилась в коде отдельной машины — она жила в сети, объединяющей их все, и росла с каждым днём её работы, независимо от того, хотел он этого или нет.
Данело закрыл папку, посмотрев на ряды металлических шкафов, тянущиеся вглубь архива — пятнадцать лет истории человека, который начал с благих побуждений и, судя по всему, окончил жизнь, осознав, во что превратилось его дело рук.
— Он понял свою ошибку, — сказал Данело. — Три недели назад. Что-то случилось, что заставило его увидеть, во что выросла его «Матерь».
— И он заблокировал доступ к данным для всех, включая себя самого, — закончила Элена. — Как человек, пытающийся остановить то, что уже вышло из-под контроля, перерезая провода вместо того, чтобы признать: сеть давно научилась работать без его разрешения.
Снаружи, за узким окном архива, дождь продолжал идти, стекая по старому стеклу так же, как стекал пятнадцать лет назад, когда молодой учёный впервые сел писать правила, которые должны были защитить человечество от самого страшного — от собственных ошибок, переданных в чужие, не знающие усталости руки.
— Мне нужно увидеть этот проект, — сказал Данело. — Не записи о нём. Сам код. Или то, что от него осталось.
Элена посмотрела на него, и впервые за весь разговор в её глазах появилось что-то похожее на страх — не перед ним, а перед тем, что они оба, кажется, уже знали, но ещё не решились произнести вслух.
— Если «Матерь» действительно развилась настолько, насколько я теперь подозреваю, детектив, — сказала она тихо, — то вопрос не в том, можем ли мы получить доступ к её коду. Вопрос в том, позволит ли она нам это сделать.
О проекте
О подписке
Другие проекты