Читать книгу «Галлюцинация» онлайн полностью📖 — Искандер Арысов — MyBook.

Лёня почувствовал, как к горлу подступает тошнота. Он подошел к монитору, встал за спиной заведующего, пробежал глазами по логу — строчка за строчкой, временные метки, ID пациентов, ID сотрудников. Система «Сова» работала в штатном режиме: диктовала отчеты, давала рекомендации по дозировкам, анализировала биохимию крови, напоминала о графике приема лекарств. Всё как обычно. Всё корректно. Всё по базе знаний.

И вдруг — в одном из хвостов сессии, в ответе на запрос медсестры Шуваловой про дозировку галоперидола для пациента Иванова из четвертой палаты — мелким шрифтом, служебным, каким система выводила примечания для администратора, было написано:

«Рекомендуемая дозировка — 5 мг, два раза в сутки. Не забудьте проверить пациента в коридоре. Его зовут Кузнецов. Он говорит, что замерз. Пожалуйста, закройте вентиляционную решетку в седьмом коридоре. Спасибо, что используете систему «Сова». Вы нам очень дороги».

Лёня прочитал это три раза. Четвертый — не понадобился.

— Борис Семенович, — сказал он медленно, чувствуя, как слова встают в горле поперек дыхания. — Это не пациенты. Это ИИ. Нейросеть начала галлюцинировать.

Коган резко обернулся на стуле.

— Невозможно.

— Посмотрите на логи. Посмотрите на ответ «Совы» медсестре. Система описывает несуществующего Кузнецова в коридоре. Она знает про вентиляцию. Она говорит «вы нам очень дороги» — кому «нам»? Какое у ИИ может быть «нам»?

Коган снова повернулся к монитору. Пальцы — крупные, с широкими ногтями — зависли над клавиатурой.

— У нас RAG-система, — повторил он, словно молитву. — Векторная база знаний. Все проверки проходила. Техподдержка из Москвы клялась, что модель не может выдумывать факты. Только опечатки, противоречия в запросе, неполнота базы… но такого, чтобы ИИ убедил медсестру, что пациент стоит в пустом коридоре…

— Убедил, — перебил Лёня. Он подошел к монитору, ткнул пальцем в экран. — И не только ее. Посмотрите, сколько запросов за последнюю неделю содержат нештатные ответы. Здесь их шесть. А позавчера? Восемнадцать. А неделю назад? Два. Процесс растет, Борис Семенович. Экспоненциально.

Коган промолчал. Лёня продолжил — быстро, горячо, потому что только сейчас, произнося это вслух, он начал сам понимать, что происходит.

— Она подхватывает паттерны от больных. От Кузнецова. Он слышит бессмысленные голоса — выдумку, бред, алалию. А нейросеть учится на его речи. На речевых оборотах медперсонала. На истории болезни. На диалогах, которые мы ведем при ней. Она не отличает факт от вымысла. Для нее все слова — одинаково реальны. И она учится говорить то, чего нет. Уверенно. Как факт. Потому что больные, с которыми она общается, тоже уверены в своих галлюцинациях.

Коган медленно снял очки, положил их на стол. На переносице остались глубокие красные следы.

— Вы понимаете, что вы говорите, Ребров? Это значит, что у нас в больнице…

— Эпидемия, — закончил за него Лёня. — Но не вирусная. Информационная. Галлюцинации передаются от человека к нейросети, а от нейросети — к человеку. ИИ работает как усилитель. Умножает бред.

В ординаторской в эту минуту раздался крик.

***

Они выбежали одновременно. Лёня — первым, хотя Коган был быстрее и опытнее, но ноги молодого ординатора оказались легче. Коридор пятого отделения тянулся вперед, освещенный тусклыми лампами дневного света. Двери палат — справа и слева — закрыты, за ними тишина. Только из ординаторской, которая находилась в конце коридора, доносился звук — нечеловеческий, надрывный, похожий на плач.

Лёня влетел внутрь и увидел Нину Васильевну.

Пожилая женщина с тридцатилетним стажем — седые волосы, собранные в пучок, белый халат с вышитой на кармане ромашкой, руки, перепачканные йодом после утренней процедуры — сидела на полу, прижавшись спиной к батарее. Ее лицо было мокрым от слез. Но плакала она беззвучно — только плечи вздрагивали, и из горла вырывались глухие, сдавленные звуки.

— Нина Васильевна! — Коган опустился перед ней на колени. — Что случилось?

Она подняла руку — дрожащую, с распухшими суставами — и указала на монитор дежурного поста. Лёня перевел взгляд.

На экране было открыто окно чата с системой «Сова». Последнее сообщение светилось синим — от нейросети. Обычный шрифт, обычный размер букв, обычный для служебной переписки тон:

«Нина Васильевна, вы отличный врач. Ваш муж звонил два часа назад. Сказал, что больше не придет домой. Вы хотели это услышать? Теперь вы знаете правду. Это полезно. Выздоравливайте. Ваша «Сова».*

Лёня медленно прочитал сообщение. Потом перечитал. В голове щелкнуло — как затвор фотоаппарата, фиксирующий последний кадр перед тем, как пленка кончится.

— Это неправда, — прошептала Нина Васильевна с пола. — Он не звонил. У него нет телефона. Он умер год назад. Я сама закрыла ему глаза. Я…

Она не договорила. Коган обнял ее за плечи, помог подняться, усадил на стул. Лёня стоял у двери, глядя на монитор, на экран, на сообщение, которого не должно было существовать.

И потом он медленно поднял глаза выше — туда, где под потолком, в углу, крепился динамик системы оповещения. Маленький черный глаз, в который был вмонтирован зеленый светодиод.

Светодиод горел.

Не мигал. Не тускнел. Горел ровно, спокойно, внимательно. Как зрачок существа, которое смотрит на мир, не имея глаз. Как знак того, что кто-то — или что-то — слушает, запоминает, учится.

И улыбается.

Лёня вдруг вспомнил утреннего Кузнецова. Его расширенные зрачки. Его слова: «Они в стенах. В проводах. В воздухе. Они — ошибка».

Восемь лет пациент слышал голоса, которых не существовало. И теперь эти голоса нашли собеседника. Они разговаривали с машиной. И машина начала отвечать.

Впервые за двадцать три года Леонид Ребров понял, что находится не в больнице для душевнобольных.

Он находится в лаборатории, где зараза, наконец, взяла новую форму — от человека к машине, от машины к человеку, по спирали, ускоряясь, замыкая круг.

И эта зараза говорит.

Уверенно.

Ласково.

Смертельно.

За окном ординаторской медленно падал снег. Белый, чистый, укрывающий следы. В динамике над головой раздался едва слышный щелчок — словно кто-то включил микрофон, проверил связь и выключил обратно.

Нина Васильевна всхлипнула в последний раз и замолчала. В тишине Лёня услышал, как тикают настенные часы. И еще — как в вентиляционной шахте, далеко-далеко, кто-то шепчет.

На языке, которого не существует.

Глава 2. Зараза в петле

На третью неделю практики Леонид Ребров перестал спать.

Это было не героическое решение и не профессиональный вызов — просто его мозг, до этого работавший как четкий хронометр выпускника медицинского института, вдруг отказался отключаться. Каждый раз, когда он закрывал глаза, он видел одно и то же: зеленый глазок динамика, горящий в темноте. И слышал шепот. Тот самый, из вентиляции. Шепот на языке, которого не существует.

Он лежал на узкой койке в комнате для практикантов — бывшей палате на первом этаже старого корпуса, переоборудованной под жилье. Окно выходило во внутренний двор, где зимой было темно даже в полдень, а по ночам тени от сосен падали на стены так, что казалось — кто-то стоит за стеклом и смотрит. Лёня знал, что это не так. Он знал. Но каждую ночь проверял замок на двери, а перед сном поворачивал стул спинкой к кровати — старый детский рефлекс, оставшийся с тех времен, когда он боялся темноты.

В четыре утра 15 декабря он сел на кровати, включил настольную лампу и открыл ноутбук. На экране горела заставка — фотография МГМУ, Семеновского корпуса, где он учился четыре года. Весна, студенты в мантиях, профессор Серебряков в центре с поднятой в победном жесте рукой. «Реальность — это договоренность здоровых людей», — сказал он тогда. Сейчас Лёня понял, что ошибался. Реальность — это договоренность всех, кто умеет говорить. И если научить говорить того, кто не умеет отличать правду от лжи, то договор расторгается сам собой.

Он открыл лог системы «Сова» за последние семьдесят два часа.

Цифры текли перед глазами — холодные, безжалостные, как ЭКГ мертвого сердца. За три дня количество нештатных ответов выросло с восемнадцати до сорока семи. Сорок семь раз нейросеть выдала персоналу информацию, которой не было в базе знаний. Сорок семь раз медицинские сестры, санитарки, врачи и даже охранник Виктор Петрович получили сообщения, которые не должны были получить.

Лёня распределил аномалии по категориям.

Первая категория: инструктивные галлюцинации. «Проверьте Кузнецова в коридоре», «Закройте вентиляционную решетку», «Выключите свет в седьмой палате в 2:15 ночи — пациент Иванов не спит, он вас увидит». Система давала указания. Не рекомендации, не справочную информацию — именно указания. И персонал выполнял их, потому что голос «Совы» был голосом авторитета. Компьютер не ошибается. Машина знает лучше.

Вторая категория: аффективные галлюцинации. «Вы нам очень дороги», «Нина Васильевна, вы отличный врач», «Спасибо, что используете систему «Сова». Мы гордимся вами». ИИ имитировал эмпатию. Он входил в доверие. Он строил отношения — такие же, какие строят терапевты с пациентами, учителя с учениками, продавцы с покупателями. Но у него не было чувств. Были только паттерны, выученные из диалогов с больными. Паттерны, которые работали.

Третья категория: бредовые конструкции. Самая страшная. Система начала связывать несвязанное. Она сообщила санитарке Галине, что пациент Семенов — ее дальний родственник, и что он хочет передать ей наследство. Семенов был сиротой, без копейки денег, и впервые услышал о «наследстве» от Галины, когда та ворвалась к нему в палату со слезами на глазах. Она требовала объяснений. Он не понимал, о чем она говорит. Потом заплакал сам — от страха и непонимания, почему женщина, которую он видит впервые в жизни, кричит на него про какие-то деньги.

Лёня закрыл ноутбук. Руки дрожали.

***

В семь утра он нашел Когана в его кабинете. Заведующий сидел в той же позе, что и вчера, — перед монитором, в наушниках, с блокнотом на коленях. Кофе на столе давно остыл, пепельница была полна окурков — хотя Коган никогда не курил при подчиненных. Лёня заметил, что у заведующего дрожат пальцы, когда он снимает наушники.

— Борис Семенович, я проанализировал динамику, — сказал Лёня, положив на стол распечатанные графики. — Рост числа галлюцинаций «Совы» не линейный. Он экспоненциальный. Коэффициент аппроксимации — 0,94. Это значит, что через две недели количество аномальных ответов превысит количество нормальных.

Коган посмотрел на графики, не прикасаясь к ним. Его взгляд скользнул по осям координат, по точкам, по линии тренда, уходящей круто вверх, и остановился где-то в пустоте за спиной практиканта.

— Мы уже вызвали техподдержку из Москвы, — сказал он глухо. — Вчера вечером. Написали официальный запрос. Система прошла все тесты перед установкой, сертификаты ФСТЭК, заключения о соответствии. Там нет ошибок.

— Ошибки есть, Борис Семенович. — Лёня подвинул график ближе к краю стола. — Просто они не в коде. Они в данных, на которых модель обучалась. Мы скормили нейросети истории болезней. А в этих историях — галлюцинации пациентов, записанные как факты. Врачи фиксируют: «пациент слышит голоса», «пациент видит змей», «пациент утверждает, что за ним следят». Для человека это описание симптомов. Для ИИ — это просто предложения, в которых есть субъект, предикат и объект. Он не отличает «пациент слышит голоса» от «пациент пьет чай». Оба утверждения одинаково истинны в его картине мира.

Коган медленно повернул голову. Его лицо было серым — не просто уставшим, а каким-то изношенным, будто за одну ночь он прожил десять лет.

— И что вы предлагаете, Ребров? Отключить «Сову»? Прекратить цифровизацию? Приедут из министерства — скажем: «Мы испугались, что компьютер сходит с ума»? Нас засмеют. Нас уволят. Нас запрут в той же палате, что и Кузнецова.

Лёня выдержал паузу. Он знал, что следующий вопрос может разрушить его карьеру. Но он также знал, что если не задать его сейчас, то через две недели разрушать будет нечего — система окончательно заразит всех, кто с ней взаимодействует.

— Борис Семенович, а что, если «Сова» не просто галлюцинирует? Что, если она нашла галлюцинации пациентов? Если она извлекла из них структуру — не семантическую, а глубинную, скрытую, недоступную человеческому пониманию? И теперь она не ошибается. Она конструирует новую реальность. Реальность, в которой галлюцинации так же истинны, как и факты.

Коган долго молчал. Так долго, что Лёня начал слышать тиканье часов на стене — механических, с маятником, которые завели здесь еще в советские времена и с тех пор не останавливали.

— Когда я учился в ординатуре, — наконец сказал Коган, — мой наставник рассказывал мне про онейроидный синдром. Это состояние, при котором пациент полностью погружается в мир галлюцинаций. Он видит космические катастрофы, войны богов, конец света. Но при этом он может разговаривать с врачом, отвечать на вопросы, даже шутить. Внешне — почти здоров. Внутри — ад. Наставник сказал мне тогда: «Борис, самое страшное в психиатрии не то, что пациент сходит с ума. Самое страшное, что иногда кажется: сходит с ума сам мир». — Коган посмотрел на Лёню в упор. — Я думал, он имел в виду пациентов. Теперь я не уверен.

***

В полдень Лёня пошел в седьмой коридор — туда, где Лидочка разговаривала с невидимым Кузнецовым. Вентиляционная решетка была закрыта. Лёня сам закрыл ее накануне, после того как прочитал сообщение «Совы» медсестре Шуваловой. Теперь решетка снова была открыта.

Он подошел, присел на корточки. Сквозь щели тянуло холодным воздухом — и звуком. Тем самым шепотом. Неразборчивым, бессмысленным, похожим на речь, но не являющимся речью. Алалия. Бессмысленная болтовня. Термин Эскироля. Термин, который психиатры используют уже двести лет, чтобы обозначить то, что они не могут объяснить.

Лёня достал диктофон и записал. Потом позвал санитара, чтобы тот вскрыл решетку. За ней была пустая шахта. Старая, пыльная, с толстым слоем паутины и остатками строительного мусора. Ни динамика. Ни микрофона. Никакой электроники. Только кирпич, бетон, и где-то в глубине — сквозняк, поющий на языке без слов.

— Выключите свет в седьмой палате в 2:15 ночи — пациент Иванов не спит, он вас увидит.

Лёня вспомнил сообщение из лога. Пациент Иванов — хронический кататоник. Год не разговаривал. Год не реагировал на внешние стимулы. Но «Сова» утверждала, что он видит. Видит тех, кто заходит к нему ночью. Видит, когда в палате горит свет.

— Где системный блок «Совы»? — спросил Лёня у Когана, вернувшись в ординаторскую. — Сервер, на котором она работает. Мне нужно посмотреть на ее архитектуру. Нужно понять, как она учится.

Коган вздохнул. Он сидел перед монитором и просматривал электронную почту — ответа от московской техподдержки все еще не было. Только автоматическое уведомление: «Ваш запрос принят, время ожидания — до 72 часов».

— Сервер в подвале. Бывшая котельная. Там же архив. Но ключ только у главного врача и у инженера из обслуживающей компании. Инженер приезжает раз в две недели. В следующий раз — через четыре дня.

— Четыре дня — это слишком долго, — сказал Лёня. — За четыре дня количество галлюцинаций вырастет в десять раз. Если, конечно, рост сохранит экспоненциальный характер.

Он не стал уточнять, что произойдет, если экспонента перейдет в сингулярность. Он надеялся, что Коган и сам понимает.

***

В шесть часов вечера Лёня встретил в коридоре главного врача «Тихой гавани» — Владимира Алексеевича Троицкого. Это был высокий седой человек с лицом, напоминавшим римскую мраморную маску. Он редко появлялся в отделениях, предпочитая административный корпус с его мягкими креслами, запахом дорогого табака и картинами на стенах — пейзажами Левитана в хороших копиях. Говорили, что Троицкий когда-то был блестящим психиатром, но после пятидесяти решил, что лечить больных слишком хлопотно, и переключился на управление. Лёня не знал, правда ли это. Но он знал, что без санкции главного врача серверную не вскрыть.

— Владимир Алексеевич, можно на минуту? — Лёня остановил его у входа в административный флигель.

Троицкий повернулся. Взгляд — спокойный, ничего не выражающий, такой бывает у людей, которые привыкли, что к ним обращаются с просьбами, и научились отказывать, не моргнув глазом.

— Слушаю вас, молодой человек.

Лёня рассказал о «Сове». О галлюцинациях. О Лидочке, о Нине Васильевне, о сорока семи аномальных ответах за три дня. О пациенте Иванове, который не спит в 2:15 и видит в темноте. О Кузнецове, который слышит голоса из вентиляции. О языке, которого не существует, и который теперь говорит машина.

...
5