Некоторые футурологи, философы и писатели-фантасты делают пугающие прогнозы о том, куда в конечном итоге нас может привести эта технология. Они утверждают, что, как только ИИ станет достаточно умным, чтобы разрабатывать себе подобных, появится петля положительной обратной связи: умный ИИ сможет создать еще более умного ИИ, который в свою очередь создаст еще более умного ИИ, и так далее. Такого рода аргументы опираются на закон Мура, который гласит, что число транзисторов в микросхеме удваивается примерно каждые два года (а скорость процессоров удваивается каждые 18 месяцев). Сторонники этой идеи полагают, что экспоненциальное увеличение скорости компьютеров неизбежно приведет к появлению суперинтеллекта. Однажды, считают они, мы достигнем «технологической сингулярности » – когда рост подобных ИИ станет неуправляемым, что приведет к потенциальной катастрофе для человечества.