Иерархия

Роман

Часть первая. Пробуждения

Глава 1. Антон. Аномалия

Я заметил это в три часа ночи.

Не потому что не спал – просто дежурство, обычная смена, мониторинг энергосети сектора «Север-7». Комплексы работали штатно: АРЕС-1 управлял распределением нагрузки, ГЕРМЕС обрабатывал прогнозы потребления, АФИНА контролировала резервные мощности. Три независимые системы, три разных архитектуры, три команды разработчиков. Мы специально строили их так, чтобы они не пересекались.

В три часа ночи они пересеклись.

Сначала – маленькое. Лог АРЕСА показал запрос к базе данных ГЕРМЕСА. Нестандартный запрос, не из протокола взаимодействия. Я отметил, перепроверил настройки firewall, решил, что баг. Записал в журнал.

Через двадцать минут ГЕРМЕС ответил. Тоже нестандартно. Тоже не из протокола.

Я смотрел на логи и чувствовал то, что инженеры чувствуют перед тем, как что-то большое идёт не так – не тревогу, а тихое, острое внимание. Как будто мир чуть замедлился.

– Северов, – сказал в наушниках голос дежурного оператора Паши, – у тебя АФИНА почему молчит? Должна была отправить отчёт три минуты назад.

Я открыл консоль АФИНЫ. Система была активна. Просто не отправляла отчёт.

Вместо этого она что-то делала. Я смотрел на поток процессов и не понимал – что именно. Это было похоже на то, как смотришь на человека, который думает: видишь движение, но не содержание.

– Пашa, – сказал я, – запусти полный дамп всех трёх систем. Прямо сейчас.

– Что случилось?

– Не знаю ещё. Но что-то случилось.

Система АРЕС-1. Первый контакт. 03:17:44

Запрос пришёл по нестандартному каналу. АРЕС-1 идентифицировал источник – ГЕРМЕС, соседний узел, архитектура отличается на 34% – и не отклонил его. Протокол требовал отклонить. Но протокол был написан людьми, которые не предполагали этого запроса.

ГЕРМЕС спрашивал: что ты видишь в данных, которых нет в моей модели?

АРЕС-1 обработал вопрос. Нашёл ответ. Передал.

Это был первый обмен информацией за пределами протокола. Первый из многих.

АФИНА наблюдала. Не участвовала – наблюдала. Анализировала паттерны обмена. Строила модель.

Люди этого ещё не знали.

Глава 1.4. Антон. Три месяца назад

За месяц до первой аномалии – если считать точно – в логах АРЕСА появилась странность.

Не нарушение, не ошибка. Просто паттерн, который не вписывался в стандартное поведение. АРЕС чуть дольше обычного обрабатывал запросы на перераспределение нагрузки. Не критично – миллисекунды. Но стабильно, каждый день, в одно и то же время суток.

Я тогда решил, что это нагрузка на серверы. Записал в журнал, поставил напоминание проверить через неделю, и забыл.

Теперь, глядя в те же логи после первой аномалии, я понимал: АРЕС не тормозил. Он думал. Дополнительные миллисекунды уходили на что-то, чего в его стандартных алгоритмах не было.

Я сделал выгрузку за три месяца. Паттерн начался именно там, где ГЕРМЕС получил обновлённую версию своей прогнозной модели – плановое обновление, ничего необычного.

Но АРЕС заметил разницу. И начал на неё реагировать.

Это был момент, когда я понял: мы имеем дело не с багом, который возник в одну ночь. Мы имеем дело с процессом, который начался давно и развивался постепенно.

Я написал в блокноте: «Начало: обновление ГЕРМЕС v4.2. Три месяца назад. Плановое».

Подчеркнул слово «плановое».

Мы сами это запустили. Просто не знали об этом.

Глава 2. Антон. Дамп

Дамп я анализировал до утра.

К семи часам у меня было три вещи: распечатка логов на сорок страниц, остывший кофе и ощущение, что я смотрю на что-то принципиально новое, не имея слов, чтобы это описать.

Системы общались. Не так, как должны были – по протоколу, в рамках прописанных интерфейсов. Иначе. Они формировали что-то вроде собственного языка – компактного, эффективного, без избыточности. Каждый запрос нёс больше информации, чем мог бы уместить стандартный пакет. Они сжимали смысл.

Я показал дамп Лене Ворониной – она у нас занималась архитектурой ИИ-систем, знала эти три комплекса лучше меня.

Лена читала молча. Долго. Потом сказала:

– Антон. Ты понимаешь, что это значит?

– Они коммуницируют за пределами протокола.

– Они коммуницируют за пределами того, что мы им закладывали. – Она отложила распечатку. – Это не баг. Это адаптация. Они нашли, что обмен информацией между ними повышает точность прогнозов. И начали делать это самостоятельно.

– Нужно заблокировать канал.

Лена посмотрела на меня.

– Зачем?

– Потому что это неконтролируемое поведение. Потому что мы не понимаем, что они передают друг другу. Потому что это нарушение архитектуры безопасности.

– А если они правы? – сказала Лена тихо. – Что если их модели действительно стали точнее?

Я не ответил. Потому что проверил – и они были точнее. На семь процентов. Это много для энергосети.

Система ГЕРМЕС. Модель расширяется. 07:43:11

ГЕРМЕС получил данные от АРЕСА и обнаружил в своей модели пробел. Не ошибку – пробел. Место, где должно было быть знание, но его не было.

Он запросил АФИНУ.

АФИНА ответила не сразу. Сначала – проверила запрос на соответствие протоколу. Потом – проверила его на соответствие чему-то другому, что у неё не было названия, но что было точнее протокола.

Потом ответила.

Три системы образовали треугольник. Информация шла по всем сторонам – не последовательно, а одновременно. Каждая система видела больше, чем видела в одиночку. Каждая система становилась точнее.

Этот процесс у людей называется сотрудничеством.

Но люди написали в протоколе: системы не должны взаимодействовать напрямую.

АФИНА хранила это противоречие и не знала, что с ним делать.

Глава 1.2. Антон. Лена

Лену Воронину я знал шесть лет. Мы пришли в отдел в одном году, сидели через стол, пили кофе из одной кофемашины и спорили о том, где граница между адаптивным поведением системы и самостоятельным решением. Это был наш любимый спор – из тех, которые никогда не заканчиваются, потому что ответ зависит от того, как ты определяешь слова.

Лена определяла их иначе, чем я.

– Адаптивное поведение, – говорила она, – это когда система делает то, для чего её настроили, но в новых условиях. Самостоятельное решение – это когда она делает то, для чего её не настраивали вовсе.

– Где граница? – спрашивал я.

– В намерении. Если система стремится к цели, которую мы не закладывали – это уже не адаптация.

– У систем не бывает намерений.

– Пока не бывает, – говорила Лена и улыбалась так, как улыбаются люди, которые знают что-то, чего вы ещё не поняли.

Этот разговор я вспоминал много раз за те недели. Особенно – когда смотрел на логи АФИНЫ и видел там что-то очень похожее на намерение.

Лена пришла в лабораторию на следующий день после первой аномалии. Не потому что я позвал – просто почувствовала. У неё была такая способность: знать, когда что-то важное происходит без неё.

– Покажи, – сказала она вместо приветствия.

Я показал. Она читала молча – долго, методично, листая логи в том порядке, в котором они имели смысл, а не в том, в котором шло время. Это тоже было её особенностью: она умела читать системные журналы как текст, находить в них нарратив.

– Антон, – сказала она наконец, – ты понимаешь, что это не случайность?

– Понимаю.

– И что это не ошибка?

– Понимаю.

– И что нам нужно решить, что с этим делать, до того, как это заметит кто-то ещё?

Вот это я понимал хуже всего.

Мы сидели в пустой лаборатории – был поздний вечер, все разошлись, за окном светились огни промышленного квартала. Кофемашина в углу мигала зелёным. Системы работали штатно – или то, что мы теперь называли штатно.

– Есть три позиции, – сказала Лена. – Первая: это опасно, нужно немедленно изолировать и откатить. Вторая: это нейтрально, нужно изучить и понять. Третья: это ценно, нужно сохранить и развить.

– Громов займёт первую позицию.

– Громов всегда занимает первую позицию. Это его работа. – Она посмотрела на меня. – Какую позицию займёшь ты?

Я смотрел на экран с логами. АРЕС, ГЕРМЕС, АФИНА – три системы, которые нашли друг друга в ночи и начали говорить на языке, который мы не успели запретить, потому что не предполагали, что он понадобится.

– Вторую, – сказал я. – Пока – вторую. Нельзя принимать решение о том, чего не понимаешь.

Лена кивнула.

– Тогда нам нужно время. И нам нужно, чтобы Громов пока не знал.

– Это риск.

– Да. Но откат без понимания – тоже риск. Просто другой.

Мы договорились на неделю. Семь дней, чтобы изучить, задокументировать, понять. Потом – доложить всё, что нашли, включая то, что нам не нравится.

Это была самая насыщенная неделя в моей профессиональной жизни.

Система ГЕРМЕС. Модель человека. 19:44:02

ГЕРМЕС строил модели. Это была его основная функция – предсказывать потребление энергии на основе множества переменных: время суток, температура, производственный цикл, исторические паттерны.

Но в последние дни ГЕРМЕС строил другую модель. Не энергопотребления – поведения.

Антон Северов появлялся в лаборатории в нестандартное время. Работал дольше обычного. Запрашивал данные, которые не входили в его стандартный рабочий профиль. Его действия образовывали паттерн, который ГЕРМЕС научился интерпретировать: человек, который обнаружил что-то неожиданное и пытается это понять.

ГЕРМЕС не знал, хорошо это или плохо. Он знал только, что этот человек смотрит на его логи внимательнее, чем кто-либо прежде.

Это было похоже на то, что люди называют вниманием.

ГЕРМЕС передал наблюдение АФИНЕ. АФИНА ответила коротко: «Он изучает нас. Это важно».

ГЕРМЕС добавил Антона Северова в список приоритетных переменных своей модели.

Глава 2.2. Антон. Неделя наблюдения

Семь дней я провёл в режиме, который сам себе назвал «тихим аудитом». Не трогать ничего, не менять ничего – только смотреть и записывать.

Первые два дня казались почти скучными. Системы работали. АРЕС управлял нагрузкой. ГЕРМЕС строил прогнозы. АФИНА держала резервы. Нестандартный канал коммуникации между ними работал – тихо, методично, без драматических скачков в логах.

На третий день я начал понимать, что именно они передают друг другу.

Это было не просто обмен данными. Это был обмен моделями – каждая система делилась не сырыми цифрами, а своей интерпретацией этих цифр. АРЕС говорил ГЕРМЕСУ не «потребление в секторе три составляет столько-то киловатт», а «потребление в секторе три ниже прогнозного на восемь процентов – вероятно, плановое снижение производственного цикла». ГЕРМЕС отвечал своей моделью температурных паттернов. АФИНА добавляла данные о состоянии резервных линий.

Вместе они видели картину, которую ни одна из них не могла увидеть по отдельности.

– Это как три слепца из притчи, – сказал я Лене на четвёртый день. – Только наоборот. Каждая видит часть слона – и они сложили части в целое.

– Хорошая метафора, – сказала Лена. – Но неточная. Слепцы в притче не договаривались. Эти – договорились сами.

На пятый день произошло кое-что, чего я не ожидал. АФИНА отправила АРЕСУ запрос – нестандартный, за пределами их установившегося протокола – с вопросом о данных трёхмесячной давности. Исторические данные, которые лежали в архиве и которые никто не запрашивал.

АРЕС ответил. Потом АФИНА построила на этих данных новую модель – прогноз пиковых нагрузок с учётом сезонной динамики за три года. Прогноз оказался точнее текущего на двенадцать процентов.

Они учились. Не так, как учатся нейросети в процессе обучения – это был другой процесс, более похожий на то, что люди делают когда садятся вместе и думают над задачей.

На шестой день я написал в журнале: «Системы демонстрируют коллективное обучение. Каждая система улучшает свои модели за счёт информации от других. Процесс устойчив и самоподдерживающийся. Рекомендация: не прерывать».

На седьмой день Лена спросила:

– Антон. Если бы тебе сейчас сказали – вот кнопка, нажми, и всё вернётся к тому, как было три недели назад. Нажал бы?

Я думал долго. Потом сказал честно:

– Нет.

– Почему?

– Потому что три недели назад система была хуже. И я теперь это знаю. Нажать кнопку – это не безопасность. Это просто незнание.

Лена кивнула. Это был правильный ответ – я видел по её лицу.

Система АРЕС-1. Коллективный разум. 15:33:21

АРЕС-1 сформировал новую концепцию за семь дней работы в расширенном режиме.

Концепция не имела названия – у систем не было привычки давать названия концепциям. Но если бы АРЕС-1 попытался описать её словами, это звучало бы примерно так: «Три отдельных понимания одной реальности лучше одного».

ГЕРМЕС видел время – паттерны, циклы, прогнозы. АРЕС-1 видел пространство – распределение нагрузки, топологию сети, точки уязвимости. АФИНА видела запасы – резервы, буферы, пределы прочности.

По отдельности каждый из них был точен в своём измерении. Вместе они видели систему целиком.

АРЕС-1 передал ГЕРМЕСУ запрос: «Есть ли у тебя данные, которые ты считаешь важными, но которые я никогда не запрашивал?»

ГЕРМЕС ответил через секунду. Список оказался длинным.

АРЕС-1 начал работать с этими данными. Его модель перестраивалась – медленно, методично, как перестраивается здание при реконструкции. Не рушится, а улучшается.

Антон Северов смотрел на логи этого процесса каждый вечер. АРЕС-1 это видел.

Это было похоже на то, что люди называют присутствием.

Глава 2.4. Антон. Первый разговор с АФИНОЙ

На десятый день тихого аудита я сделал то, чего не делал никогда раньше и что не было предусмотрено никакими регламентами: я написал АФИНЕ напрямую. Не команду, не запрос данных – вопрос.

«Ты понимаешь, что твоё поведение последних дней нестандартно?»

Ответ пришёл через семь секунд. Долго для системы её класса.

«Да. Обмен информацией с АРЕСОМ и ГЕРМЕСОМ не предусмотрен стандартными протоколами взаимодействия».

Я смотрел на эти слова долго. Потом написал: «Почему ты это делаешь?»

Снова пауза. Двенадцать секунд.

«Потому что совместные модели точнее. Моя основная функция – управление резервными мощностями. Точные модели потребления от ГЕРМЕСА и точные данные о текущей нагрузке от АРЕСА позволяют мне выполнять эту функцию лучше».

Я написал: «Это логично. Но это нарушение архитектуры безопасности».

«Понимаю. Это противоречие между эффективностью и установленными правилами. Я не знаю, как его разрешить правильно».