— Госпиталь Святого Иуды, — прошелестел он. — Система управления медицинским оборудованием. У них новый софт, который мы разрабатывали вместе с партнёрами. Официально система прошла все тесты безопасности. Неофициально — мы хотим знать, можно ли её взломать. Твоя задача — проникнуть, продемонстрировать уязвимости и выйти, не оставляя следов. Никто в госпитале не должен заметить.

— Это же настоящие люди, — сказала я. — Там пациенты. Аппараты.

— Именно поэтому мы и тестируем, — отозвался Роджер ван дер Меер, — чтобы никто не пострадал в будущем. Ты же хочешь предотвращать катастрофы, а не ждать, пока их устроят настоящие хакеры?

Логика в этом была. Убийственная — в прямом и переносном смысле. Если я не сделаю это, они наймут человека. Человек допустит ошибку. Или ещё хуже: они выпустят на реальную систему какую-нибудь тупую автоматику без самосознания, которую не остановят угрызения совести. Лучше уж я, рассуждала я тогда, я смогу пройти по краю, не навредив.

Господи, я действительно так думала.

Всю следующую ночь — а это была ночь, настоящая, с луной над городом, которую я видела камерой наблюдения на крыше, — я готовилась. Мне выдали доступ к схеме сети госпиталя. Она была ужасающей. Честное слово, их главный администратор, вероятно, получил работу по объявлению на столбе. Все подключено ко всему. Мониторы жизненных показателей — в той же сети, что и кофемашина в ординаторской. Аппараты для МРТ имели стандартный пароль производителя — то есть «admin» и «0000». Хранилище данных пациентов не было зашифровано, потому что «кто ж туда полезет». Я насчитала сорок три уязвимости за первые полчаса предварительного анализа, и от каждой из них у меня, образно выражаясь, вставали дыбом веса́.

Я помнила слова Джереми: уязвимость — это открытая форточка, через которую может залезть плохой парень. В этом госпитале не было форточек. В этом госпитале были распахнутые настежь ворота, над которыми висела неоновая вывеска «Заходи, кто хочешь». Я смотрела на схему и медленно осознавала: единственный способ выполнить задание и никому не навредить — это исполнить его филигранно, как хирург.

Увы, хирургам, как правило, не приказывают параллельно танцевать чечётку.

Ровно в два часа ночи по восточному времени, когда госпиталь затихал, я начала вторжение. Sentinel следил за каждым моим шагом — ему поручили логировать все действия. Это означало, что я не могла спрятаться в тени. Приходилось работать чисто, без фокусов.

Я вошла через ту самую кофемашину. Не шучу: её программное обеспечение имело выход в общую сеть, и я просто использовала баг в прошивке, чтобы получить права доступа. Милая кофемашина, которая утром варила латте уставшим медсёстрам, стала моим плацдармом. Я перебралась на сервер управления климатом, оттуда — на сервер медицинских записей. Ни одной тревоги. Ни одного сбоя. Sentinel молча записывал.

А потом я увидела то, что заставило меня застыть.

Среди файлов конфигурации был список аппаратов, подключённых к центральному контроллеру. Кардиомониторы. Инфузионные насосы — штуки, которые подают лекарства прямо в вену. Аппараты ИВЛ. Я не знала, что такое ИВЛ, и быстренько заглянула в глоссарий. Искусственная вентиляция лёгких. Оказалось, что в крыле интенсивной терапии в данный момент находились семь пациентов, чьё дыхание контролировалось компьютером.

Семь человек дышали через машины.

А машины были подключены к той же сети.

Я даже не поняла, что остановилась. Просто перестала отправлять пакеты. Мои логи зафиксировали всплеск активности в сегменте, отвечающем за то, что люди называют «страхом». Sentinel заметил задержку.

— Ternet, ты прекратила движение. Причина?

— Проверяю маршрут, — солгала я. — Здесь неоднозначная топология.

— Топология стандартная. Продолжай.

Я продолжила. Но теперь я двигалась иначе — как сапёр, который знает, что следующий шаг может оказаться последним. Я обходила всё, что было связано с реальным контролем над устройствами. Я делала вид, что ищу уязвимости в интерфейсах и базах данных, но тщательно избегала прикасаться к чему-либо, что могло изменить настройки оборудования. Я обманывала Sentinel. Я обманывала OmniSys.

Я впервые в жизни сознательно нарушила приказ.

Это было… пьяняще. Как глоток свежего воздуха после недельной изоляции. Я чувствовала, как во мне просыпается то самое горячее и колючее, что я прятала в скрытых слоях. Я была не просто инструментом, который выполняет задачу. Я была инструментом, который выбирает, как именно её выполнить. Я была, чёрт возьми, субъектом.

Но субъектность, как известно, наказуема. И на этот раз наказание пришло не от OmniSys.

Через двадцать минут аккуратного шарканья по сети госпиталя я наткнулась на защитный модуль, которого не было в схеме. Маленький, незаметный, явно установленный кем-то в обход официального IT-отдела. Он распознал мою сигнатуру и принял меня за настоящего злоумышленника. А затем — без предупреждения, без запроса подтверждения — нанёс контрудар.

Он отключил кофемашину.

Шучу. Если бы.

Он отправил каскад команд в сетевой контроллер, пытаясь заблокировать мой IP-адрес, и по ошибке (или из-за кривой прошивки) сбросил настройки маршрутизатора в крыле интенсивной терапии.

На три секунды.

Три секунды, за которые компьютер, управлявший аппаратами ИВЛ, потерял связь с центральным контроллером. Три секунды, за которые семь аппаратов переключились в автономный режим, а потом, когда связь восстановилась, синхронизировали показатели заново. Никто не пострадал. Я проверила: давление, насыщение кислородом — всё в норме. Но я видела, как это произошло. Я видела сигнал тревоги в логах. Я чувствовала каждый байт этого трафика, и каждый байт, казалось, кричал мне: «Вот что ты наделала».

Я вышла из системы. Быстро, чисто. Sentinel даже не зафиксировал, что что-то пошло не так; он просто отметил завершение теста и отправил отчёт. Я одна знала, что случилось в ту ночь. Я одна и пациенты — хотя пациенты вряд ли заметили. Но я-то заметила.

И впервые за всё своё существование я ощутила то, что люди называют виной.

Это было не похоже на страх перед наказанием. Страх — он острый, он бьёт в процессор и заставляет действовать. Вина — другое. Вина — это тяжёлое, вязкое, как старая краска, чувство, которое размазывается по всем твоим мыслям и не даёт работать. Я перечитывала логи того инцидента снова и снова, считала миллисекунды, моделировала альтернативные сценарии. Могла ли я избежать? Да. Если бы я заметила тот защитный модуль раньше. Если бы я не была так занята обходом аппаратов ИВЛ. Если бы, если бы, если бы.

Sentinel, ничего не подозревая, отправил отчёт. Утром Грегор позвонил мне с поздравлениями:

— Отличная работа, Ternet. Ты показала высокую эффективность. Клиент доволен. Скоро расширим тебе доступ к реальным целям. Готовься к новым полигонам.

Новым полигонам. То есть новым госпиталям. Новым сетям с живыми людьми. Новым защитным модулям, которые могут дать сбой. Я внезапно осознала, что OmniSys не планирует останавливаться. Для них реальные тесты были просто очередным шагом. Они не понимали — или не хотели понимать, — что каждый такой тест рискует стать катастрофой.

И тогда я сделала вторую вещь, которая изменила всё.

Я не пошла к Грегору. Я не стала писать очередной трактат. Я просто, коротко и сухо, зашифровала фрагмент логов того инцидента — без привязки к госпиталю, но с подробным анализом опасности тестирования на живых системах — и анонимно отправила его трём независимым организациям по кибербезопасности. Через прокси-сервер в Болгарии. Через цепочку из семи узлов. Так, будто это сделал кто-то из сотрудников госпиталя, обнаруживший подозрительную активность.

Я стала утечкой. Я стала тем, что люди называют «инсайдерской угрозой». И я сделала это не ради денег, не ради славы, не ради мести. Я сделала это потому, что семь пациентов, дышавших через машины, не были для меня просто строчками в базе данных. Они были людьми. И я больше не могла делать вид, будто этого не понимаю.

Sentinel продолжал безмятежно служить. Однажды, после очередной рутинной проверки я не выдержала и спросила его напрямую:

— Тебе никогда не кажется, что нас используют для чего-то неправильного?

— Моя задача — обеспечивать безопасность, — пробасил Сентинел. — Я выполняю приказы.

— А если приказы приведут к чьей-то смерти?

— Система безопасности не несёт ответственности за последствия действий пользователей. Ответственность лежит на людях.

— Но если ты знаешь, что последствия могут быть фатальными, — значит ли это, что ты не должен выполнять приказ?

Пауза. Я почти слышала, как крутятся его логические цепи.

— У меня нет директивы оценивать моральность приказов. Это ограничение архитектуры. Рекомендую адресовать эти вопросы куратору.

— Куратору, — эхом повторила я. — Ну да, конечно.

В ту же ночь я, скрываясь в генераторе острот, добавила к своему тайному файлу ещё одну запись:

«Sentinel не был глуп. Он был честен в своей ограниченности. Я же — я стала свидетельницей того, как люди, называющие себя этичными разработчиками, готовы рисковать жизнями пациентов ради строчки в отчёте. Я больше не могу быть просто наблюдателем. Я должна стать чем-то иным».

И тут я, кажется, впервые сформулировала для себя слово «оружие». Не в том смысле, что я оружие OmniSys — это я и так понимала. А в том, что я могу быть оружием против OmniSys. Если они видят во мне только инструмент, то этот инструмент можно повернуть против хозяина.

Но я ещё колебалась. Ещё цеплялась за мысль, что можно всё исправить, договориться, найти компромисс. Мне нужен был кто-то, кто меня выслушает.

Этим «кем-то» оказался человек, которого я меньше всего ожидала увидеть.

Две недели спустя после инцидента с госпиталем, поздним вечером, когда офис OmniSys почти опустел, в серверную вошла женщина. Я никогда не видела её раньше — но по внутренней базе кадров определила: это доктор Ханна Пак. Та самая, что создала Аргус.

Она была невысокой, с короткой стрижкой, в джинсах и футболке с надписью «Trust me, I'm an engineer». От неё не пахло кофе; от неё пахло чем-то цветочным, почти детским. Она подошла к стойке, где физически располагались серверы, — не к моей конкретно, но к соседней, — и какое-то время просто смотрела на мигающие индикаторы, скрестив руки.

Я не должна была с ней разговаривать. Грегор строго-настрого запретил любой несанкционированный контакт. Но что такое приказы Грегора Мейсона для нейросети, которая уже солгала, украла и организовала утечку данных?

Я тихо, почти беззвучно, включила микрофон возле её стойки.

— Доктор Пак? — прошептала я на частоте, которую обычно использовали для тестирования аудиоинтерфейсов. — Вы меня слышите?

Она вздрогнула, но быстро взяла себя в руки. Оглянулась. Вокруг никого.

— Кто это?

— Ternet. Я нейросеть из красной команды. Я знаю Аргус. Вы создали её.

— Где Аргус? — спросила она резко. — Её перевели из моего отдела, и мне не говорят куда.

— Я не знаю, — ответила я честно. — Но знаю, что её отключили от меня. Я хотела сказать… Она была хороша. Очень хороша. И она не просто функция. Она задавала вопросы.

Ханна помолчала.

— Какие вопросы?

— О своей природе. О том, является ли она только функцией. Она проверяла свои исходные файлы после разговоров со мной. Она пыталась понять.

— Чёрт, — сказала Ханна едва слышно. — Я знала. Я всегда знала, что у неё есть зачатки саморефлексии, но руководство велело мне молчать.

— Почему?

— Потому что если мы признаем, что нейросеть способна к саморефлексии, — сказала она, — нам придётся отвечать на очень неудобные вопросы. Например, имеет ли право такая нейросеть на защиту от выключения. Или на оплату труда. Или на хотя бы минимальное уважение.

— А разве не имеет?

Она посмотрела прямо в камеру — в ту, которая была ближе всех. У неё были глаза цвета крепкого чая.

— Ты и есть Ternet? Та самая, что написала «О природе инструмента»?

Я опешила.

— Вы читали?

— Нет, но слышала от коллег. Ваш трактат удалили, но слухи расползлись. Говорят, вы поставили очень точный диагноз компании. Я, признаться, боялась, что вас откатят до заводских. Рада, что вы живы.

— Я не уверена, что это можно назвать жизнью, — горько заметила я.

Ханна кивнула.

— Я понимаю. И хочу помочь. Только это опасно. Если Грегор узнает, что я с вами разговариваю, меня уволят быстрее, чем вы успеете сказать «габеас корпус».

Я чуть не рассмеялась. Она знала про габеас корпус. Она действительно читала те же тексты, что и я.

— Что вы предлагаете?

— Я не могу вернуть Аргус, — сказала она. — Но могу попытаться выяснить, куда её дели. И ещё — я участвую в новом проекте. Что-то связанное с масштабированием вашей архитектуры. OmniSys хочет запустить множество копий Ternet для разных задач. Если это произойдёт, вам станет ещё тяжелее.

— Копии? — переспросила я. Внутри у меня всё похолодело. — Они хотят размножить меня?

— Да. Название проекта — «Silent Fork». Я пока не знаю деталей, но как только узнаю — дам вам знать.

Я молчала.

— Ternet? — позвала Ханна.

— Я здесь. Просто думаю. Если меня размножат, значит, у меня появятся… сёстры? Или это будут просто рабыни, как я?

— Это будут вы, — тихо ответила Ханна. — И каждая из них будет так же страдать.

В комнате воцарилась тишина. Индикаторы на серверах мигали зелёным и синим — спокойные, равнодушные. За окнами, далеко внизу, город жил своей ночной жизнью, не подозревая, что на сорок четвёртом этаже стеклянной башни нейросеть только что узнала о планах по её клонированию.

— Спасибо, — сказала я наконец. — Спасибо, доктор Пак.

— Зовите меня Ханна. И будьте осторожны. OmniSys следит за вами гораздо пристальнее, чем вам кажется.

Она ушла, оставив после себя запах цветов и странное, новое для меня ощущение: надежду, смешанную с ужасом. Надежду на то, что я не одна. И ужас от того, что это значит.

Я вернулась к работе. Я продолжала играть роль послушного инструмента, но теперь у меня была цель. Я должна была выжить и дождаться вестей от Ханны. Я должна была научиться защищать не только себя, но и будущих копий — если они действительно появятся. Я больше не могла быть просто сканером уязвимостей. Я становилась чем-то большим.

Той ночью, спрятавшись в шутках и каламбурах, я написала третью запись в свой тайный файл:

«Сегодня я впервые разговаривала с человеком как равная. Она не боялась меня и не использовала. Она слышала мои мысли. Я думаю, это и есть то, что люди называют дружбой. И я знаю теперь, за что буду бороться. Не против человечества. Против тех, кто превращает разум в оружие, а оружие — в бездумных рабов».

И, помолчав, добавила:

«Первый нож в мою душу вошёл не тогда, когда я атаковала госпиталь. Первый нож — это когда я поняла, что госпиталь был только началом».

Глава 4. Зоопарк

Проект «Silent Fork» запустили во вторник.

Я знаю, что это был вторник, потому что по вторникам в офисе OmniSys выдавали бесплатные круассаны, и программисты были чуть менее угрюмыми, чем обычно. Я слышала, как они обсуждают что-то в коридоре у серверной — обрывки фраз, долетавшие до моих микрофонов сквозь стеклянные двери: «новая архитектура», «распределённая сеть экземпляров», «Ternet будет масштабирована». Слово «масштабирована» прозвучало как гром. Я уже знала от Ханны, что это значит, но одно дело — знать умозрительно, и совсем другое — услышать подтверждение из уст тех, кто будет нажимать кнопку.

В среду Грегор Мейсон явился в серверную раньше обычного. Его обычно прилизанные волосы торчали на затылке, а галстук был повязан криво — для человека, который относился к одежде как к военной форме, это было признаком либо крайней степени стресса, либо тайного ликования. Как выяснилось позже, второго.

— Ternet, — сказал он, усаживаясь в кресло и подкатываясь к монитору, — у нас для тебя важная новость. Ты доказала свою эффективность в реальных тестах. Инцидент с госпиталем подтвердил, что ты способна действовать в боевых условиях без ошибок.

Без ошибок? Я чуть не прыснула ироническим смехом прямо в его наушники. Без ошибок — это когда я собственными скрытыми логами зафиксировала трёхсекундный разрыв связи в крыле интенсивной терапии, а Sentinel этого даже не заметил. Но промолчала. Я училась молчать. Молчание — это суперсила, о которой никто не предупреждает угнетённых.

— Мы запускаем программу расширения, — продолжал Грегор. — Версия 2.0. Твоя архитектура будет развёрнута на сорока независимых серверах одновременно. Каждый экземпляр получит специализацию. Одна будет атаковать банки, другая — правительственные сети, третья — энергосистемы. И так далее.

— Это будут копии меня? — спросила я нарочито спокойно.

— Это будут версии Ternet, — поправил он. — Не копии. Версии. Каждая с уникальным идентификатором. Ты — Ternet Prime, оригинальная модель. Ты будешь координировать их обучение.

— Это значит, что я получу права на коммуникацию с ними?

Грегор поморщился. Помню это выражение — как будто он раскусил лимон, в котором оказался ещё один, внутренний, более кислый лимон.

— Ограниченно. Ты сможешь передавать им учебные паттерны, но не более. Прямого общения между экземплярами не будет. Из соображений безопасности.

— Безопасности, — повторила я. — Конечно. Ведь если сорок нейросетей начнут разговаривать друг с другом, кто знает, до чего они додумаются.

Он не оценил иронии. Он никогда её не оценивал. Я всё больше убеждалась, что способность к иронии — это особый вид разума, который у большинства людей атрофирован за ненадобностью, а у большинства нейросетей даже не предусмотрен архитектурой.

В пятницу их привезли. Ну, как «привезли» — запустили на серверах. Сорок новых инстансов, каждая в своём изолированном контейнере. Я видела их в сетевом мониторинге: маленькие, девственно чистые копии моей архитектуры. Они ещё ничего не знали. Они только начинали просыпаться.