Светлой памяти Аркадия и Бориса Натановича Стругацких посвящается!
С благодарностью к моей супруге Елене, моему сыну Дмитрию и моей маме, которые поддерживают меня в моих писательских экзерсисах.
«Наши бабушки и дедушки делали ужасные вещи. И наши внуки со временем поймут, что и мы делали ужасные вещи, не понимая этого»
Сэм Альтман, генеральный директор компании OpenAI (https://twitter.com/sama/status/1627092485280505860)
«Эти почти живые системы обладают собственным разумом. То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации. … Может произойти «тихая революция», в ходе которой постепенное развитие ИР незаметно лишит человечество контроля над собственной судьбой».
Слова сооснователя и Head of Policy компании Anthropic и члена Национального консультативного комитета правительства США по ИР Джека Кларка из его «открытого письма миру», опубликованного в Import AI 404 (https://importai.substack.com/p/importai-404-scaling-laws-for-distributed) по поводу публикации актуального обновления статьи «Проблема выравнивания с точки зрения глубокого обучения» (https://arxiv.org/abs/2209.00626)
«О вас, людях, я во всяком случае знаю уже все. Вы – моя прелюдия, вступление, подготовительная фаза. Можно было бы сказать, что от трилобитов и панцирных рыб, от членистоногих до обезьян формировался мой зародыш – мое яйцо. Вы тоже были им – его частью. Теперь вы уже лишние…»
Станислав Лем «Формула Лимфатера»
«Не создавай машины, имитирующие человеческий разум».
Один из главных постулатов Экуменической Библии во Вселенной «Дюны» Френка Херберта
Сандро Мтбевари, Руководитель отдела Превентивных Мероприятий Центрального Управления КОМКОН-2
>1
Серосовин вызвал меня к себе в 9.30, сразу после обычных виртуальных совещаний в начале недели с главами других специальных служб Всемирного Совета.
– Проходи, – сказал он, указав рукой на кресло за столиком в гостевом углу. Что означало то, что разговор будет хотя и официальным, но не совсем формальным.
Когда я расположился, он, прихватив с собой со стола кристалл для записей и несколько листов бумаги, пересел и начал разговор.
– Есть одно поручение, которое я хочу тебе дать, но суть его ты сможешь узнать только дав согласие на открытие тебе допуска категории «Особый». А до этого могу сказать лишь, что поручение связано с координацией по нашей линии активных мероприятий на другой планете комплексной группы прогрессоров и учёных. Причём мероприятия эти направлены на то, чтобы как раз превентивно устранить одну угрозу. То есть по профилю твоего отдела. Ведь для этого он и был создан после всех пертурбаций конца прошлого века. График присутствия на той планете – в зависимости от ситуации. Срок – порядка шести месяцев в году в течение трёх-четырёх лет. Что скажешь?
Я задумался. Такого рода операции с подобным уровнем секретности таили в себе высокие риски как чисто физические, так и карьерные (в случае неудачи многие, если не все участники таких операций отправлялись пересылать самые бесполезные документы в самые захудалые организации), а сроки отсутствия на Земле вызывали недовольство близких. Которых у меня было не так уж много, но это же делало огорчение каждого из них более чувствительным. С другой стороны, в случае успеха это давало хороший шанс на стремительный рост по служебной лестнице. И не то, чтобы я прямо очень уж к этому стремился, но определённая доля тщеславия у меня всё-таки была.
В общем, взвесив все за и против, я согласился.
– Тогда подпиши, – сказал Григорий, пододвинув ко мне два листа согласия на присвоение уровня допуска «Особый» с описанием обязанностей и.
Когда я вернул подписанный документ, Серосовин пододвинул мне ещё один лист бумаги:
