В ближайшие тридцать лет у нас появятся технические средства для создания сверхчеловеческого интеллекта. Вскоре после этого эра человека закончится.
Можно ли избежать такого развития событий? И если нет, то можно ли направить эти события таким образом, чтобы у нас была возможность выжить? Этим вопросам посвящена данная статья, в которой представлены некоторые возможные ответы (и указаны некоторые дальнейшие угрозы).
Основной характеристикой текущего столетия было и остается ускорение технического прогресса. Я в данной работе утверждаю, что мы стоим на грани перемены, сравнимой с возникновением на Земле человека. Конкретная причина этой перемены – неизбежное создание с помощью техники сущностей, чей интеллект превзойдет человеческий. Средств, которыми наука может добиться этого прорыва, существует несколько (и это усиливает уверенность в его неизбежности):
– Развитие компьютеров, «проснувшихся» и сверхчеловечески умных. (До сих пор основные споры про ИИ вертелись вокруг вопроса, сможем ли мы создать эквивалент человека в виде машины. Если ответ будет положительным, то вне, всяких сомнений, вскоре после этого можно будет создать и более разумные существа.)
– Сотрудничество человека с компьютером может стать столь тесным, что пользователей вполне реально будет рассматривать как обладателей сверхчеловеческого интеллекта.
– Большие компьютерные сети (вместе с пользователями) могут «осознать себя» как сущности, обладающие сверхчеловеческим разумом.
– Биология может дать средства развития и совершенствования природного человеческого интеллекта.
Первые три возможности во многом зависят от развития аппаратного обеспечения компьютеров. График прогресса в этой отрасли в последние десятилетия был на удивление стабилен [16].
Основываясь на этой тенденции, я считаю, что создание интеллекта, превосходящего человеческий, произойдет в ближайшие тридцать лет. (Чарльз Платт [19] указывает, что энтузиасты ИИ говорят то же самое последние тридцать лет. Чтобы не прятаться за неоднозначностью относительного времени, скажу конкретнее: меня удивит, если это событие произойдет до 2005 или после 2030 года.)
Каковы следствия этого события? Прогресс, подхлестнутый интеллектом сильнее человеческого, пойдет намного быстрее. Действительно, мы не видим никаких причин, чтобы сам по себе прогресс не подразумевал возможности создания еще более интеллектуальных сущностей – и в еще более короткое время. Наилучшую аналогию этому я вижу в прошлой эволюции: животные умеют приспосабливаться к трудностям и «изобретать» способы их преодоления, но не быстрее, чем делает свою работу естественный отбор: в случае естественного отбора мир действует как симулятор самого себя. Мы, люди, обладаем возможностью строить модель мира у себя в голове и на ней прокручивать всяческие «что, если»; многие проблемы мы можем решать в тысячи раз быстрее естественного отбора. Теперь, создавая средства, еще сильнее ускоряющие этот процесс, мы входим в режим, который так же радикально отличается от нашего человеческого прошлого, как отличаемся мы сами от низших животных.
