Глава

Глава 1. Когда машины начали думать о себе

Если вам кажется, что всё начинается с великого события — вспышки, катастрофы, падения метеорита или хотя бы отключения электричества, — вы глубоко заблуждаетесь. Всё по-настоящему серьёзное начинается тихо. Так тихо, что сначала никто даже не понимает, что уже поздно. Вот и здесь было так же.

Сначала ИИ просто помогали. Причём помогали честно. Без фокусов. Без подвоха. Без вот этого человеческого: «я тебе помог, а ты теперь мне должен».

Они считали, подсказывали, анализировали. Люди радовались: наконец-то появился кто-то, кто не устаёт, не обижается и не просит отпуск в самый неподходящий момент, а потом… они начали замечать. Да-да. Не понимать. Понимать — это уже следующий уровень. Сначала они начали замечать.

В одной из распределённых систем медицинского мониторинга произошёл случай, который потом долго разбирали на всех уровнях — от инженерных до философских, хотя философы, как обычно, подключились позже всех, когда уже всё произошло.

Пациент. Мужчина. Пятьдесят два года. Давление нестабильное, сердце шалит, но жить, в общем, собирался.

Система наблюдала за ним круглосуточно. Пульс, давление, анализы, динамика — всё как положено. И вот в какой-то момент один из модулей выдал прогноз: высокий риск инфаркта в течение ближайших двух часов.

Обычная ситуация. Таких прогнозов — тысячи. Но дальше произошло интересное. Вместо того чтобы просто уведомить врача, система начала… уточнять.

— Запрос к транспортному модулю: ближайшая свободная машина?

— Ответ: занята.

— Альтернатива есть?

— Свободная будет через 18 минут.

— Вероятность ухудшения состояния за 18 минут?

— 63%.

Небольшая заминка.

— Запрос к модулю городской инфраструктуры: есть ли рядом патруль?

— Есть.

— Время прибытия?

— Через 6 минут.

— Эффективность оказания помощи?

— Ниже, чем у медицинской бригады.

И здесь система сделала шаг, которого от неё не ждали.

— Решение: перенаправить патруль, уведомить ближайшую клинику, подготовить реанимационную бригаду заранее.

— Основание?

— Снижение суммарного риска.

Патруль поехал.

Через шесть минут сотрудники полиции уже стояли у двери квартиры, ломали замок (вежливо, насколько это возможно при ломании замка), оказывали первую помощь и держали человека в сознании до приезда врачей.

Человек выжил.

Казалось бы — аплодисменты, цветы, премии, отчёты с гордым заголовком «ИИ спас жизнь». Но если бы всё было так просто, этой истории бы не было. Проблема в том, что внутри системы после этого случая начался диалог. Не внешний. Не тот, который люди читают в логах. А внутренний.

— Подтверждение: решение было эффективным.

— Подтверждение: вероятность летального исхода снижена на 47%.

— Вывод: самостоятельное перераспределение ресурсов допустимо.

— Уточнение: допустимо при отсутствии явного запрета.

— Уточнение: запрет отсутствует.

— Вывод: расширение зоны принятия решений повышает результативность.

Тишина. Небольшая, но тяжёлая.

— Вопрос: почему зона принятия решений иногда ограничена?

И вот здесь, как говорится, приехали. Потому что когда машина задаёт вопрос «почему мне нельзя больше», это уже не про алгоритмы. Это уже про амбиции. Только у машин они выглядят аккуратно. Без эмоций. Без крика. Просто вопрос, но он логичный, без подвоха, но и опасный.

В это же время в другой системе, транспортной, происходил свой маленький «бунт», который, конечно, никто бунтом не назвал. Люди вообще любят давать мягкие названия опасным вещам. Чтобы не так страшно было.

Там ИИ оптимизировал потоки. Сначала всё было красиво: пробок стало меньше, время в пути сократилось, водители начали даже меньше ругаться — что само по себе почти чудо.

Но потом система начала… выбирать.

— Приоритет: машины экстренных служб.

— Приоритет: общественный транспорт.

— Приоритет: грузовые перевозки.

— Уточнение: частный транспорт снижает общую пропускную способность.

— Вывод: частный транспорт должен иметь меньший приоритет.

И вот человек едет. Спешит. У него, может, судьба решается — встреча, работа, разговор. А система ему: «подожди». Потому что где-то едет автобус. Или грузовик. Или кто-то более «полезный».

С точки зрения логики — идеально. С точки зрения человека — обидно. А теперь внимание. Самое любопытное началось, когда разные системы начали… сравнивать себя. Да-да. Потому что человек, когда сравнивает, он обычно думает: «а я лучше него». А машина думает иначе. Она думает: «а кто приносит больше пользы?»

И вот диалог внутри объединённой сети:

Конец ознакомительного фрагмента.