Без всяких наших подсказок мощный ИИ откроет дорогу к новым технологиям добычи ресурсов. Дело за малым: остаться в живых, чтобы иметь возможность пользоваться плодами этих трудов.
при отсутствии точных и подробных инструкций о том, как следует собирать ресурсы, «система не остановится перед кражей, мошенничеством и ограблением банков — ведь это прекрасный способ получать ресурсы». Если ей нужна энергия, а не деньги, она возьмет нашу. Если ей потребуются атомы, а не энергия и не деньги, это опять будут наши атомы.
самое опасное изобретение нашего биологического вида — ядерное оружие. Представляете, какое оружие может придумать разум, в тысячу раз более мощный, чем наш?
Но постойте, разве в число этих опасностей не входит человек? Если не запрограммировать этот вопрос заранее и очень конкретно, то мы, люди, всегда будем представлять собой риск, реальный или потенциальный, для умных машин, которые сами создали, разве не так?
Достаточно продвинутый ИИ все, что в неопределенном будущем имеет шанс развиться в опасность, может воспринимать как реальную опасность, которую необходимо устранить.
Вырвавшись на свободу, ИСИ по имени Busy Child посвящает самосохранению немалые усилия: прячет свои копии в облаках, создает бот-сети для отражения атак и т.п.
Сознающая себя система предпримет меры, чтобы избежать гибели, — и не потому, что так уж ценит собственное существование, а потому, что, если «умрет», не сможет достичь заданных целей
Он может выделить значительные ресурсы — мало того, все ресурсы, которые в настоящее время имеются в распоряжении человечества, — на исследование вопроса о том, подходящее ли сейчас время для выключения или его ввели в заблуждение о природе реальности