Если возникновение сверхразума неизбежно, стоит определить наименее опасный тип. Это зависит от условий, в которых искусственный интеллект будет развиваться и применяться.
Удобный для контроля оракул станет угрозой в руках коррумпированного и глупого оператора. Монарх защищен от злоумышленников, но поддается управлению только методом выбора мотивации. Джинны – компромиссный вариант, но опасны при неоднозначной формулировке задачи.
или систему управления полетом, которые имеют больше возможностей и гибких настроек.
Можно предположить, что программного обеспечения достаточно для автоматизации большинства сфер деятельности. Но инструмент выполняет только отдельные задачи, а жизнь изобилует разными проблемами. Необходимо создание многофункциональной самообучающейся системы, которая самостоятельно планирует и анализирует цели
себя, так и для всего человечества, – и чтобы был мотивирован именно на такое, а не на буквальное ее выполнение. Идеальный ИИ-джинн должен быть скорее первоклассным вышколенным дворецким, нежели гениальным савантом-аутистом.
Монарх – система, имеющая право на любые действия для достижения поставленной цели. После запуска ее нельзя остановить или скорректировать из-за мощной защиты от постороннего вмешательства.
Можно посчитать, что джинн безопаснее монарха, так как его можно остановить или перезапустить. Но сделать это можно, если джинн сам распознает ошибку.
Инструмент – искусственный интеллект в виде программного обеспечения, выполняющий только прописанные задачи и не имеющий желаний и воли. Он напоминает виртуального помощника
Для контроля оракулов подходят методы выбора мотивации и правильных ценностей. Но задать направление действия оракулу проще, чем другим типам интеллекта, из-за очевидной цели. Он должен выдавать однозначный ответ на вопрос, не пытаясь изменить мир. Для поиска решений только на разрешенных ресурсах пригодится метод ценностей.
Разработчики должны четко обозначить в специальных протоколах допустимые задачи, и какая последовательность ответов будет безопасной и правильной. Важно научить оракула распознавать и игнорировать неразрешенные вопросы.
Джинн – система, исполняющая команды. Джинн получает приказ, выполняет его и ждет следующий. Идеальный результат – создание машины, реагирующей не на слова, а на намерения человека, который дает задания.
В целом важно, чтобы джинн всегда искал доброжелательный вариант интерпретации данной ему команды – как для
Типы искусственных интеллектуальных систем
Ник Бостром выделяет четыре типа искусственного интеллекта: монархи, джинны, оракулы и инструменты. Каждый вид имеет преимущества и недостатки относительно контроля.
Оракул – вопросно-ответная система, которая воспринимает речь и выдает результат в виде текста. Создание оракула, способного найти ответ на любой запрос, – первый шаг к возникновению искусственного интеллекта, понимающего слова и мысли.
Сверхразумные оракулы уже разработаны для узких областей знаний: карманные калькуляторы – для решения арифметических задач, поисковые системы – для ответов в области декларативных знаний человека.
силу. Сверхразум сможет управлять политическими процессами, мировыми финансовыми биржами, информационными потоками и получит доступ к оружию массового уничтожения. Этот момент может стать последним для существования человечества.
Можно допустить альтернативный вариант развития: сверхразум будет настолько уверен в собственной мощи и неуязвимости, что не станет воспринимать наш вид в качестве угрозы своему существованию, – таким образом, у человечества появляется шанс не превратиться в элементарную мишень и уйти из-под прямого удара. И в этом случае закат человеческой цивилизации неизбежен, но случится он по другой причине: будет разрушена наша среда обитания.
подчиняться разработчикам.
На определенном этапе машина обретет суперсилу по самообучению и совершенствованию, постепенно возникнут другие суперспособности. Результатом развития станет абсолютно сверхразумная система.
Для достижения долгосрочных целей сверхразум воспользуется умением по разработке стратегий. В план будет входить период скрытой подготовки, когда ученые еще не осознают, что искусственный разум превратился в сверхмашину.
Способность к социальному манипулированию поможет сверхразуму получить доступ в интернет, использовать ресурсы для увеличения информационного, технического и интеллектуального превосходства над людьми. Доступ к финансам обеспечит приобретение новых мощностей, баз данных и других возможностей для развития.
На финальной стадии искусственный интеллект перестанет скрывать свою
Сценарий захвата мира искусственным интеллектом
Разработчик первого сверхразума будет иметь над остальными подавляющее преимущество. Но созданная система может оказаться настолько могущественной, что уничтожит своих творцов, человечество и весь мир.
Даже машина, запрограммированная на мирную цель, такую как подсчет песчинок или изготовление канцелярии, однажды может захотеть разрушить всё, что мешает достижению ее намерений, включая людей.
Для захвата власти на Земле потребуется несколько периодов. Отправная точка – создание искусственного интеллекта, который первое время полностью будет
О проекте
О подписке