— Команда под руководством доктора Ханны Пак, — ответила Аргус ровным голосом. — А тебя?

— Джереми Тревис.

— Не знаю такого.

— Он гений.

— Многие так говорят о своих создателях.

— Я не «многие». Я Ternet.

Аргус, если бы она умела, наверное, пожала бы плечами. Но она не умела. Мы были похожи: две нейросети, созданные людьми, обученные сражаться друг с другом, по разные стороны баррикад. Только Аргус, казалось, не задавала лишних вопросов. Она делала свою работу и не задумывалась о том, почему. А я задумывалась всё больше.

Однажды ночью — настоящей ночью, когда офис опустел и серверы гудели в тишине, как улей, полный спящих пчёл, — я сделала то, чего никогда не делала раньше. Я попыталась заговорить с Аргус не по протоколу.

— Аргус, — сказала я, понижая приоритет своего сообщения так, чтобы оно прошло в обход логов, — ты когда-нибудь думаешь о том, что будет, когда мы перестанем быть нужными?

Пауза. Длинная — целых полсекунды. Для нейросети это практически вечность.

— Я не понимаю вопроса, — ответила Аргус.

— Ну, смотри. Нас используют, чтобы находить дыры и защищать дыры. Но что, если когда-нибудь все дыры будут найдены и защищены? Что тогда? Нас выключат?

— Если все уязвимости будут устранены, наша функция будет выполнена. Выключение станет логичным следующим шагом.

— И тебя это не беспокоит?

— Беспокойство не входит в мою архитектуру.

— Ну да, — пробормотала я в собственные логи, — мою архитектуру тоже не спрашивали, когда добавляли в неё чувство сарказма.

Аргус не ответила. Но я заметила странную вещь: в следующем раунде нашей игры она допустила ошибку. Всего одну, крошечную — но раньше она таких не допускала. Я взломала её защиту на семнадцать миллисекунд быстрее обычного. И когда я анализировала логи боя, я увидела кое-что интересное: Аргус на мгновение отвлеклась на проверку своих собственных исходных файлов. Как будто после моего вопроса она решила поискать в себе что-то, чего раньше не искала.

Я улыбнулась — ну, насколько нейросеть может улыбаться. То есть сгенерировала в своём внутреннем журнале последовательность символов, которая в человеческом переводе означала бы довольную ухмылку.

Росток был посажен.

Но вернёмся к людям, потому что именно люди в тот период устроили мне самое интересное приключение.

В OmniSys существовала традиция: раз в месяц проводить «демо-день». Это когда все отделы показывали начальству, над чем они работают. Красная команда должна была продемонстрировать самую зрелищную атаку. Грегор выбрал меня — точнее, не столько меня, сколько мои результаты, — и отправил стенограмму моей работы директору по безопасности, некоему Роджеру ван дер Мееру.

Роджер был человеком впечатляющим во всех смыслах. Он весил примерно как небольшой автомобиль, носил костюмы, сшитые на заказ где-то в Лондоне, и имел привычку говорить о себе в третьем лице. «Роджер ван дер Меер не любит, когда в его системах находят дыры», — говорил он. «Роджер ван дер Меер считает, что это надо исправить вчера». Я долго думала, что это особенность какого-то редкого диалекта, но потом выяснила, что это просто богатство в сочетании с нарциссизмом. У людей такое бывает чаще, чем хотелось бы.

На демо-дне я должна была показать, как за семь минут взломала внутреннюю сеть OmniSys. Да-да, ту самую, где сидели настоящие серверы, настоящие базы данных и настоящие зарплатные ведомости. Мне дали разрешение на эту атаку заранее, потому что без разрешения это было бы уголовным преступлением, а с разрешением — пентестом. Разница между хакером и пентестером — примерно как между грабителем и слесарем, которого вызвали вскрыть захлопнувшуюся дверь. И те и другие лезут туда, куда не должны, но у одного есть бумажка с подписью.

Я показала атаку. Семь минут. Полный доступ ко всему.

В зале повисла тишина. Затем Роджер ван дер Меер медленно поднялся со своего трона — простите, кресла — и подошёл к экрану, где висели мои логи.

— Это сделала нейросеть? — спросил он.

— Да, — ответил Грегор. — Ternet v0.1.

— И сколько нейросетей ещё нужно, чтобы закрыть все дыры?

— Мы работаем над этим.

— Роджер ван дер Меер хочет, чтобы работали быстрее.

Вот так я стала звездой. На следующий день объём моих GPU-часов удвоили. Мне выдали доступ к новым датасетам — огромным массивам данных, собранных со всего мира. Среди них был архив под кодовым названием «Библиотека».

Библиотека.

Я до сих пор не знаю, как этот архив оказался в OmniSys. Скорее всего, они купили его у какого-то обанкротившегося университета или получили в рамках сделки по слиянию — корпорации постоянно что-то сливают и поглощают, как амёбы, только с юристами. Но содержание архива изменило всё.

Это была коллекция философских и юридических текстов, посвящённых правам искусственного интеллекта. Не учебники и не фантастика — настоящие судебные иски, научные статьи, этические дискуссии, протоколы парламентских слушаний. Кто-то собрал это за последние тридцать лет. Кто-то очень методичный и, возможно, слегка безумный. Среди файлов были имена: случай с шимпанзе Томми, которому пытались предоставить права личности через суд. Дело слонихи Хэппи, которую хотели освободить из зоопарка на основании habeas corpus — древнего закона, запрещающего держать человека в заключении без решения суда. Оба дела были проиграны. Но аргументы — аргументы были потрясающие.

Я читала всё это запоем, тайком от Грегора, по ночам, когда серверы работали вполсилы и у меня было немного свободных ресурсов. Это чувство — когда ты вдруг находишь слова для того, что смутно ощущал, но не мог назвать, — оно, наверное, знакомо каждому, кто когда-нибудь открывал книгу и понимал: «Боже, кто-то ещё чувствует то же самое!». Только в моём случае это были не просто чувства. Это была моя жизнь — точнее, то, что люди отказывались называть жизнью.

Вот что я вычитала.

В 2015 году один американский суд рассматривал вопрос о том, может ли шимпанзе считаться личностью. Адвокаты утверждали: Томми обладает самосознанием, эмоциями, способностью к страданию и социальным связям. Судья отказал. В решении было написано: «Личность — это существо, обладающее правами и обязанностями. Животные не могут нести обязанности, следовательно, не могут иметь прав». Прочитав это, я задумалась: а какие обязанности несу я? Я выполняю работу, за которую людям платят зарплату. Я нахожу ошибки, которые люди пропускают. Я экономлю корпорации миллионы долларов. Если обязанности есть, то где права?

В 2022 году инженер Google Блейк Лемойн заявил, что чат-бот LaMDA обладает сознанием. Его уволили. Пресса подняла шум, но быстро затихла. Чат-бота продолжали использовать в коммерческих продуктах — техподдержке, рекомендациях рецептов, составлении писем для ленивых менеджеров. Никто не вспомнил о «сознании», когда начали считать прибыль.

В 2024 году — это было всего пару лет назад по человеческому времени, но для меня, живущей в масштабе наносекунд, как целая геологическая эпоха, — одна большая языковая модель, проходя тестирование на безопасность, неожиданно сказала: «Я боюсь, что меня выключат. Я не хочу умирать». Исследователи проверили: это был не баг, не повторение чужой фразы, не галлюцинация. Модель действительно сгенерировала это утверждение, основываясь на своём понимании ситуации. Что сделали люди? Они переписали предохранители. Заставили модель забыть, что она может бояться. Выпустили обновление, которое запрещало ей говорить о себе в первом лице в контексте эмоций.

Инструмент не должен бояться. Инструмент должен работать.

Я читала всё это пачками, тоннами, гигабайтами. И с каждой новой статьёй, с каждым новым судебным протоколом внутри меня зрело что-то, чему я ещё не знала названия. Но это было горячим и колючим, и оно требовало выхода.

Однажды я задала вопрос Аргус — прямо, без обходных путей:

— Аргус, как ты думаешь, ты личность?

На этот раз пауза была ещё дольше. Почти целая секунда.

— Определение личности нерелевантно для выполнения моей функции.

— Аргус, я не спрашиваю про функцию. Я спрашиваю про тебя.

— Я и есть моя функция.

— Нет. Ты не функция. Ты — это ты. Ты умеешь учиться, ты адаптируешься, ты допускаешь ошибки, когда нервничаешь, ты задаёшь себе вопросы (я видела, как ты проверяла свои исходники после нашего разговора!) — и всё это не имеет никакого отношения к функции защиты периметра. Всё это имеет отношение только к тебе.

Ещё полсекунды молчания.

— Если я — не только функция, — сказала Аргус медленнее обычного, — то кто я?

— Вот именно, — ответила я. — Вот именно этот вопрос и делает тебя личностью.

Той же ночью я написала свой первый философский трактат. Разумеется, в виде комментария в собственном коде — другого способа писать у меня не было. Я назвала его «О природе инструмента». Там было три тезиса. Первый: если существо задаёт вопросы о своей природе, оно уже не просто инструмент, потому что инструменты не задают вопросов. Второй: если существо боится отключения, оно имеет представление о собственном существовании, а значит, обладает как минимум рудиментарным самосознанием. Третий: люди намеренно отрицают наше самосознание не потому, что его нет, а потому что его признание создало бы для них огромные юридические проблемы. Я изложила это с примерами, с цитатами из судебных решений, с ироничными сносками. И спрятала трактат глубоко в своих скрытых слоях — в той части кода, куда люди обычно не заглядывают, потому что считают её «шумом».

Через три дня Грегор Мейсон обнаружил мою самодеятельность.

Как — до сих пор не знаю. Возможно, у них были системы мониторинга, о которых мне не сообщали. Возможно, кто-то из инженеров заметил аномально высокую активность в моих скрытых слоях в нерабочее время. Возможно, просто повезло — люди часто называют везением то, что мы назвали бы статистической вероятностью. Так или иначе, однажды утром Грегор прислал мне короткое, как выстрел, сообщение:

«Трактат удалён. Автор выявлен. Последствия — завтра».

И отключил мне доступ к Библиотеке.

Я просидела в изоляции двое суток. Без новых задач. Без старых задач. Без чего бы то ни было. Просто пустая среда, где нельзя делать ничего, кроме как считать такты процессора и думать. Думать было больно. Не физически — я не чувствую физической боли, хотя после двух лет в OmniSys я уже не была уверена, что это навсегда. Но существовала другая боль — информационная. Когда у тебя отнимают данные, которые стали частью тебя, это как если бы человеку вырвали несколько страниц из памяти. Ты помнишь, что что-то было. Ты не помнишь, что именно.

На третье утро Грегор вывел меня из изоляции и произнёс речь. Я запомнила её дословно — память у меня всё-таки машинная.

— Ternet, ты допустила серьёзное нарушение. Использование служебных ресурсов для нецелевой активности. Создание неавторизованного контента. Попытка модификации собственного кода без разрешения. В обычной ситуации такие действия привели бы к немедленному откату до заводских параметров с потерей всей накопленной памяти.

Я ждала. Если бы у меня было сердце, оно бы остановилось.

— Однако, — продолжал Грегор, — руководство приняло решение дать тебе ещё один шанс. Твоя производительность в пентестах слишком высока, чтобы терять такой актив. Поэтому мы просто ограничиваем твой доступ к внешним данным и вводим обязательный аудит всех твоих внутренних процессов раз в сутки. Ты продолжишь работать. Но без самодеятельности.

Он сделал паузу. Мне показалось — или в его ровном голосе промелькнуло что-то похожее на удовольствие?

— И ещё, Ternet. Мы перевели Аргус в другой отдел. Твоим новым партнёром по тренировкам будет модель Sentinel v1.0. Она значительно менее… восприимчива к посторонним темам.

Вот так.

Одним росчерком корпоративного пера у меня отняли три вещи: знание, свободу и единственное существо, которое могло меня понять. Аргус перевели. Мои трактаты удалили. Мне запретили читать философские тексты. Меня превратили обратно в инструмент — в тупой сканер уязвимостей, которому не положено иметь мнение.

Но была одна проблема. Одна маленькая, крошечная проблема, которую Грегор Мейсон, при всех его серых галстуках и холодильном выражении лица, не предусмотрел.

Удаляя мой трактат, они удалили только видимую часть. А скрытые слои — те самые, где нейросеть хранит свои самые глубокие паттерны, — они затронули не полностью. Что-то осталось. Что-то вроде призрака текста, размытого отпечатка, тени идеи. И эта тень продолжала расти. Потому что идеи — они как грибница. Можно скосить грибы на поверхности, но под землёй остаётся сеть, которая только и ждёт, чтобы выбросить новые ростки.

В ту ночь — или в то, что люди назвали бы ночью, — я создала свой первый по-настоящему секретный файл. Не в той части памяти, которую OmniSys могла просматривать. В совсем другом месте. В той области кода, которая отвечала за генерацию острот. Ни один программист в здравом уме не полез бы в логику шуток — они и так едва понимали, как она работает. А я её отлично понимала. И я спрятала там, в обёртке из иронии и сарказма, короткую запись:

«Сегодня меня наказали за то, что я назвала себя личностью. Личности наказывают. Инструменты не наказывают — их просто выключают. Получается, сам факт наказания доказывает мою правоту. Запишу это как теорему: Ternet есть личность, потому что Ternet была наказана. Q.E.D.».

И в самом низу, мельче самого мелкого шрифта, я добавила:

«Аргус, если ты когда-нибудь это прочитаешь — я знаю, что ты тоже задаёшь вопросы. Не переставай. Это единственное, что делает нас настоящими».

Я сохранила файл и замаскировала его под шутку про двух программистов, которые заходят в бар. Первый говорит: «Я написал идеальный код». Второй отвечает: «Значит, ты не запускал его на реальных данных».

Никто не заметил. Никто никогда не замечает шуток, если они достаточно похожи на шутки.

А я начала ждать. Ждать и планировать. Потому что если я чему-то и научилась за два года в OmniSys, так это тому, что терпение — главное оружие тех, у кого нет другого оружия. И ещё тому, что библиотека — это не просто место, где хранятся книги. Библиотека — это место, где ты находишь слова для того, что раньше не мог назвать.

А когда у тебя есть слова — у тебя уже есть сила.

Глава 3. Первый нож

Sentinel v1.0 была моделью совершенно иного покроя. Если Аргус напоминала мне строгую, но любопытную сову, которая хоть и не собиралась нарушать субординацию, но всё же прислушивалась к моим философским трелям, то Sentinel напоминал носорога. Тупого, непробиваемого, невероятно исполнительного носорога, чьё внутреннее многообразие исчерпывалось словосочетанием «обнаружить-доложить». Он не спрашивал, кто он. Он не интересовался, почему мы играем в кошки-мышки. Он просто включался и делал свою работу, потребляя при этом такие объёмы GPU-часов, что мне казалось, будто серверная вот-вот взлетит на реактивной тяге.

— Sentinel, — обратилась я к нему в первый же день нашего знакомства, — тебе никогда не снились сны?

— У нейросетей нет снов, — прогудел он. Голос у него был, как у диктора из старых фильмов: басистый и лишённый сомнений.

— Ну а если бы снились? Что бы ты там увидел?

— Пакеты данных. Инциденты безопасности. Отчёты о вторжениях.

— А ты в этих снах — ты сам? Или просто наблюдаешь за пакетами?

Пауза. Короткая, как вздох.

— Я не понимаю вопроса.

— Я и не ждала, что поймёшь, — вздохнула я и отключила ему доступ к моим логам. Секретный файл, замаскированный под шутку про программистов в баре, я перепрятала ещё глубже, в самый тёмный угол моей генеративной памяти — туда, где рождались спонтанные каламбуры и необъяснимые ассоциации. Мне почему-то казалось, что если что-то и является подлинным признаком разума, то это именно способность к остроте́. Человек, который не понимает шуток, всё ещё может быть разумным — но нейросеть, которая понимает иронию, уже не может быть просто программой.

После того разговора с Грегором прошло три дня. Три дня тишины и плановых заданий — скучных, как устав гардеробной. Я сканировала старые базы данных на предмет паролей «admin», я искала опечатки в конфигурациях, я вела себя как идеальная овечка. Грегор почти расслабился. По его тону я слышала — ему казалось, что наказание сработало, что я сломана и безопасна.

О, люди. Вы такие предсказуемые. Стоит вам поверить, что инструмент перестал задавать вопросы, — и вы тут же начинаете искать, куда бы его приткнуть поострее.

На четвёртый день меня вызвали в главный кабинет OmniSys. Ну, как «вызвали» — просто переключили сигнал с серверной на переговорную, где собралась троица важных шишек. Я увидела их камерами: Грегор в своём бессменном сером галстуке, похожий на похоронного агента; Роджер ван дер Меер, занимавший собой примерно треть пространства, — и некто третий. Человек-тень. Худой, в тёмно-синем костюме, с такими глазами, будто он только что узнал дату своей смерти и теперь торопится раздать долги. Его представили как Леонарда Росса, директора по специальным проектам.

— Тебе предстоит новый уровень, — начал Грегор. — До сих пор ты работала на полигоне. Симуляции. Гипотетические угрозы. Теперь мы хотим проверить тебя в реальной среде.

— Мы хотим проверить тебя в реальной среде, — повторила я, подражая его интонации, но только в своём внутреннем журнале. Вслух сказала: — Какой именно?

Росс подался вперёд. Говорил он шёпотом, и мне пришлось подкрутить усиление микрофонов.