Современные поисковые процессы неопасны, поскольку слишком слабы, чтобы разработать план, способный привести к их господству над миром. Такой план должен включать чрезвычайно сложные шаги вроде создания
В своем поиске ИИ будет руководствоваться набором мощных эвристических правил и методов, позволяющих выявить структуру пространства возможных решений. ИИ мог бы продолжать свой поиск до тех пор, пока не будет найдено решение, удовлетворяющее критерию успеха
программисту не нужно знать наилучший способ отделения спама от добропорядочной почты — он должен лишь определить алгоритм, при помощи которого спам-фильтр сам улучшит свою эффективность за счет обучения, обнаружения новых атрибутов или размышлений.
Если кто-нибудь все-таки создаст джинна, было бы желательно, чтобы этот ИИ подчинялся не буквальному смыслу команд, а скорее намерениям, лежащим в их основе,
Растяжками» мы назвали определенное оборудование, позволяющее проводить диагностическое тестирование ИИ (возможно, без ее ведома), а в случае обнаружения признаков опасной деятельности отключать систему
Например, он станет вызывать сбои, усиленно демонстрируя неисправность системы, — и все ради того, чтобы в конце концов программисты махнули на него рукой и инициировали перезапуск системы или разработку следующей версии. И тогда появится новый ИИ, но с конечными целями оригинального ИИ,
Наивно полагать, будто агент, не имеющий исполнительных механизмов, не в силах воздействовать на внешний мир. Даже не располагая такими приспособлениями, сверхразум способен генерировать радиоволны просто «силой мысли» (то есть определенным образом перемещать электроны в своих микросхемах)4.