Суперинтеллект будет продуктом, созданным человеком, а не появившимся в результате естественной эволюции, а потому у него не может быть тех инстинктов выживания, размножения или доминирования, которые управляют поведением людей или животных. Скорее всего, он просто будет стремиться достичь поставленных перед ним целей наиболее эффективным способом. Опасность состоит в том, что если люди окажутся препятствием для достижения одной из этих целей — например, обратить вспять глобальное потепление, то суперинтеллект может легко, даже случайно, стереть их с лица земли. Чтобы сделать это, компьютерной программе, чей разум и воображение намного превосходят человеческие, не потребуется никаких вооруженных роботов. Глубокое понимание химии, физики и нанотехнологий позволит ИИ мгновенно достичь своих целей, используя гораздо более изобретательные способы. Исследователи называют это «проблемой управления» или «проблемой выравнивания значений», и она беспокоит даже тех, кто относится к СИИ с оптимизмом.