Цитаты из книги «Последнее изобретение человечества: Искусственный интеллект и конец эры Homo sapiens»

Один подход порождает книги вроде курцвейловской «Сингулярность рядом». Цель авторов таких книг — заложить теоретические основы в высшей степени позитивного будущего. Если бы в таком будущем произошло что-то плохое, вести об этом потонули бы в веселом гомоне оптимизма. Второй подход к проблеме представляет книга Джеффри Стибела «Создан для мысли

Генетическое программирование — алгоритм машинного обучения, использующий возможности естественного отбора для поиска ответов на вопросы,

программы, которые создают программы

Однако их предшественники — программы, способные себя модифицировать, — уже работают всюду, и довольно давно. Специалисты по ИИ значительную часть самомодифицирующихся программных методик объединяют в широкую категорию «машинного обучения».

Существует ли противоядие против дефектных ракет и дрянных программ? Программы, которые исправляют себя сами, говорит Омохундро. «Подход к искусственному интеллекту, который применяет моя компания, состоит в создании систем, которые понимают собственное поведение и способны наблюдать за собой в процессе работы и решения задач. Они замечают, когда в работе происходят сбои, а затем изменяют и улучшают себя».

При всем том создание компьютерных программ — одно из самых непредсказуемых инженерных занятий, полное ошибок и проблем с безопасностью».

Еще одно непременное качество дружественного ИИ — стремление избежать догматических ценностей.

ИИ должен глубоко понимать нашу природу и не наносить вреда людям даже случайно, даже через непредвиденные последствия своих действий (что нередко происходило в рассказах Азимова в рамках действия Трех законов робототехники).

В нашем случае дружественность означает, что ИИ не должен быть враждебно или амбивалентно настроен по отношению к людям никогда, какими бы ни

Дружественность по отношению к человеку — одна из ценностей, которыми, на наш взгляд, должен обладать ИИ. Поэтому неважно, какие цели ставит перед собой ИИ — от игры в шахматы до управления автомобилем, — защита человеческих ценностей (и человека как такового) должна составлять существенную часть кодекса его поведения.