3. Внезапная ядерная война, постапокалиптический мир, затем нарастание глобального потепления и превращение Земли в «Венеру». Время действия: ХХI–XXII века.
    4. Внезапное возникновение мощного самоусиливающегося ИИ. ИИ приходит к выводу об изначальной ущербности живой клетки и повсеместно внедряет (в качестве замены) нанороботов. Каждый человек подключен к источнику неограниченного блаженства и больше не приходит в сознание. Время действия: 2010–2040 годы.
   5. В ходе мировой войны или иного противостояния враждующие стороны вбрасывают на территорию противника лаборатории по производству сверхнаркотика.Благодаря этим лабораториям биотехнологии распространяются по всему миру. В последнем усилии остановить биологическую атаку мировые правительства бросают огромные усилия на разработку систем ИИ. Эти системы достигают зрелости почти одновременно в нескольких странах и вступают в ожесточенную схватку между собой за право нести благо человечеству. В результате выживает только несколько человек, которых победивший ИИ держит на лунной станции в искусственном парке, окружив их заботой. Время действия: 2010–2050 годы.
    6. На Земле побеждает ИИ. Благодаря своему «уму» он оказывается способен распространить информацию о себе по Вселенной, что и делает. Он открывает межзвездные перелеты и сталкивается там с конкуренцией гораздо более зрелого ИИ, давным-давно созданного другой цивилизацией. Более зрелый ИИ уничтожает наш ИИ и истребляет человечество. Время действия: 2020–2100 годы.
    7. Распространение биотехнологий запускает эпидемии супервирусов, которые приводят к тому, что большинство стран решают создать единую систему контроля «Старшая сестра». Однако некоторые страны не согласны, и предпринимается попытка их завоевать. В результате последовавшей ядерной и биологической войны население Земли значительно сокращается, биосфера серьезно повреждена, но «Старшая сестра» создана. Поскольку ей все время угрожают мятежи людей, она постепенно ограничивает активность людей, одновременно плавно увеличивая свои способности. В конечном счете она становится полноценным самосовершенствующимся ИИ.
    8. «Аль-Каида» провоцирует крах западной цивилизациии создает всемирный халифат. Уцелевшие ученые создают сверхбомбы и взрывают весь мир, чтобы он «не достался террористам».
    9. Удается наладить дешевое и эффективное производство микророботов. Последовавшая война загоняет уцелевших людей в бункеры. Однако война продолжается, и жители бункеров (представляющие разные страны) уничтожают друг друга ядерными ударами.
    10. Компьютерный вирус поражает всю имеющуюся в мире технику и заставляет ее атаковать людей. Оставшиеся в живых люди из страха уничтожают всю оставшуюся технику. Уцелевшие люди живут племенами, но все они заражены СПИДом и еще несколькими медленнотекущими болезнями, вся окружающая среда загрязнена. Тем временем крысы мутируют и становятся хищными, умными и агрессивными. Люди вымирают, а крысы завладевают Землей. Однако они неспособны к абстрактному мышлению и не могут создавать новую технику. Через миллионы лет они вымирают от падения астероида.
    11. Падение небольшого астероида вызывает случайную ядерную войну, которая становится войной всех против всех. Уцелевшие люди вымирают, когда вслед за тем падает гораздо больший астероид и провоцирует извержение супервулкана.
    12. Некая страна разрабатывает опасные нанотехнологии, и на нее совершается превентивное нападение, но никаких следов опасных нанотехнологий не находят. Поэтому борьбу с глобальными рисками объявляют опасной ересью. Затем наконец опасные нанотехнологии появляются и применяются.
    13. Несколько всеядных бактерий вырываются в окружающую средуи делают ее непригодной для производства пищи и обитания. Люди прячутся в бункеры, но постепенно там деградируют.
    14. Тоталитарное мировое правительство вводит всем людям вирус счастья,чтобы они любили Бога и радовались жизни. Затем происходит революция, и новое правительство решает даровать людям свободу, вводя всем вирус свободы. Тем временем террористы выпускают боевых нанороботов, и приходится создать всемирную наноиммунную систему. Однако некто проникает в центр управления наноиммунной системой и запускает в ней аутоиммунную реакцию, в результате чего она начинает бороться сама с собой. Только немногие люди выживают – однако все они обречены в скором времени стать дебилами из-за ошибки в конструкции вируса свободы.
    15. Человечество распадается на обычных людей и сверхлюдей, усиленных с помощью новых технологий. Сверхлюди борются с обычными людьми (и вообще их за людей не считают). В результате обычные люди полностью истребляются, и остается несколько сверхлюдей, которые по разным причинам вымирают.
    16. В результате экспериментов с холодными нейтронами большое их количество попадает в центр Земли,и они запускают цепную реакцию в находящемся там уране. Происходит сильнейшее увеличение вулканической активности, и технологическая цивилизация терпит крах. Уцелевшие люди живут на станции на Луне, но постепенно вымирают.
    17. Люди создают доступ от мозга к компьютеру, и вскоре большинство человеческих мозгов оказывается заражено вирусами, троянами и рекламными программами. Другая часть людей уходит в виртуальное пространство навсегда. Начинается борьба этих двух классов людей. При этом настоящие люди находятся внутри компьютеров, а в биологических телах находятся в основном вирусы и трояны. Группа ученых делает открытие о квантовой природе сознания и создает универсальный доступ к любым видам сознания. Через него перетекают враждебные сознания из параллельного мира. Человеческая идентичность полностью утрачена.
    18. Некая страна создает «оружие судного дня», и вскоре все остальные страны создают его во множестве. Группа террористов провоцирует его применение.
    19. Создается этническое биологическое оружие, которое уничтожает людей с другим цветом кожи. Но несколько человек встают на защиту цветных и производят аналогичное оружие против белых. Поскольку планета оказывается полностью зараженной, приходится выпустить новую бактерию, которая дезинфицирует биосферу. Однако всеобщее недоверие приводит к тому, что одновременно создается несколько биощитов, которые вступают между собой в конфликт. Их битва разрушает все живое. Уцелевшие люди вступают в секту, агитирующую за добровольное уничтожение человечества, которое натворило столько зла. Они взрывают атомные бомбы во всех бункерах, число которых конечно и местоположение известно.
    20. Некая страна придумала добывать энергию из магмы и просверлила глубокий подземный канал, в результате чего образовался неконтролируемый вулкан, и другие страны объявляют ей войну, чтобы она прекратила опыты. В качестве ответной меры первая страна создает еще более глубокий канал. Происходит катастрофическая дегазация земного ядра, и жидкость из центра Земли поступает на поверхность. Жизнь на Земле полностью уничтожена.
 
   При рассмотрении каждого предложенного сценария становится ясно, что он в чем-то излишне фантастичен и похож на сюжет для романа, а в чем-то неполон – просто потому, что есть много вещей и возможностей, о которых он не говорит.
   На одной планете может разворачиваться сразу несколько таких сценариев. Опять же возможна нелинейная интерференция между ними. Вначале такие сценарии могут развиваться независимо, но затем, на определенной стадии реализации, они непременно пересекутся друг с другом. Следующий явный недостаток этих сценариев – они написаны от имени того, кто уже знает начало и конец «печальной истории» и точно понимает, что происходит. При этом в реальной жизни в начале любой последовательности событий мы не знаем, к чему она приведет, более того, наше неверное понимание часто играет ключевую роль в выборе неверных решений. Наконец, пока человечество не вымерло, нельзя утверждать, что некий сценарий был необратимым, а после того как человечество вымрет, некому будет воспользоваться этим ценным знанием.
   Но как принять «правильное» решение? Ведь не все процессы происходят явно – об одних говорят на каждой странице газеты, другие становятся понятными в момент своего проявления или уже после него. Например, мы каждый день слышим о глобальном потеплении, но перед 11 сентября нам никто не писал «террористы уже подошли к самолету». То есть мы можем находиться внутри какого-то сценария, даже не задумываясь о его существовании.
   С другой стороны – если бы мы точно знали, что сейчас происходит именно сценарий номер Х, нам бы, наверное, не составило труда его предотвратить. Поэтому главным фактором реализации сценария возможной будущей глобальной катастрофы будет состояние замешательства. Оно, вероятно, будет проявляться в интеллектуальном разброде относительно причин процесса и способов его преодоления и приведет к конфликтам между сторонниками разных подходов. А любой такой конфликт равноценен перестрелке в пороховом погребе.
   Как же быть? Ведь очевидно, что способности одного человека определять сценарии возможных глобальных катастроф принципиально ограничены привычными индивидууму сюжетными конструкциями. И ответ тут тоже кажется очевидным: эффективным способом моделирования сценариев являются штабные или ролевые игры. Например, несколько лет назад ряд ведущих фантастов (Переслегин, Латынина, Лукьяненко и др.) играли в штабную игру в МЧС на тему возможности аварии в электрических сетях Москвы – по мотивам аварии в Нью-Йорке. И получили результат, похожий на тот, который затем имел место в Москве в 2005 году.
   Кстати, различные модели поведения недружественного ИИ Юдковски в США также отыгрывал на модели ролевых игр GURPS. Но не исключено, что в будущем как раз системы ИИ смогут оказать решающую помощь в моделировании сценариев катастроф и прогнозировании.

Вместо заключения
Конец света и человеческая природа

   Человек стал человеком, когда впервые взял в руку палку. Сущность человека – это отделение от тела; естество человека – это отделение от естества. Именно поэтому человеку легко слиться, например, с автомобилем или представить себя бесплотным духом. Быть трансгуманистом – значит максимальным образом выражать свое человеческое естество, состоящее в преодолении телесности.
   Бесконечно преодолевая себя, человек не может не достичь момента саморазрушения. Совершенствующийся в мастерстве йог в конечном счете должен разрушить себя как личность, слившись с бесконечностью. Автогонщик должен повысить норму риска, чтобы достичь победы. Влюбленный должен пожертвовать жизнью ради любимой.
   Силой, заставляющей нас преодолевать пределы возможного, является мечта. Чем невероятнее мечта, тем сильнее мы готовы ради нее рискнуть всем, что имеем. Человек способен представлять себе настолько притягательные образы, что они затмевают и страх, и ценность собственной жизни, и любой возможный ущерб, – призрак коммунизма, победа, город-сад, ночь с любимой. Существование такой способности нетрудно объяснить с помощью эволюционной психологии – это модель поведения, дававшая конкурентное преимущество миллионы лет назад, но важнее почувствовать ее в себе. Точно так же как причина смертности человека не змея, не пуля, а природа его тела, которое самим фактом существования несет в себе семена будущей смерти.
   Желание бессмертия невозможно без осознания смертности.
   Человек должен действительно memento mori (вспомнить о смерти), чтобы по-настоящему начать думать о трансцендентном. Бердяев писал о том, что каждому человеку предстоит прожить личный апокалипсис, и именно в этом смысле следует трактовать откровения Иоанна Богослова. Точно так же осознание и принятие того, что цивилизация смертна, идет рука об руку с принятием того, что ты смертен – и жаждой бессмертия.
   Человеку свойственно преодолевать неопределенность актом веры. Одни верят в исчерпание ресурсов, другие – в торжество технологической сингулярности. Кто-то верит в свою неуязвимость, что побуждает его принимать на себя неоправданные нормы риска. Но вера во что-то не означает, что объект веры ложен. Акт веры состоит в исключении вероятностного взгляда на мир, в отрицании собственного незнания относительно того, каким этот мир будет на самом деле. Поверив в некую версию будущего, человек начинает собирать доказательства в пользу именно этого варианта развития событий, не обращая внимания на то, что есть доказательства и других вариантов. Признание же неопределенности состоит в принятии того факта, что у нас есть несколько гипотез о возможном будущем. Это не значит, конечно, что у нас есть и несколько разных будущих, но и не исключает этого.
   Например, возьмем число 254878889914433 – оно может быть простым или составным, то есть быть произведением нескольких простых чисел. Я могу выдвинуть две гипотезы – что это число простое и что это число составное. Но на самом деле это число уже является простым или составным, а эти две гипотезы отражают только меру неопределенности нашего знания. И поскольку большинство чисел являются сложными, я могу с большой уверенностью утверждать, что гипотеза о том, что это число – составное, более вероятна. Моя субъективная уверенность в том, что это число – составное, может быть представлена как та ставка в игре, которую я бы поставил на этот вывод (например, 1000 к 1, то есть 99,9 процента шансов). Таким образом определяется понятие субъективной вероятности – через степень уверенности, измеряемую ставкой абсолютно рационального субъекта на некоторый исход. (При этом с объективной точки зрения это число уже является или простым, или составным.)
   Точно так же и с предсказанием будущего – будущее может быть твердо определено, но мы можем иметь разные гипотезы о том, как именно оно определено. По мере поступления новой информации мы можем повышать шансы одних гипотез и снижать шансы других. Для этого используется теорема Байеса, позволяющая точно вычислить ту поправку к вероятности, которая необходима. Рассуждения с использованием поправок к вероятности тех или иных гипотез называются байесовой логикой. По этой логике в определенном смысле работают нейронные сети в человеческом мозге. Повторяющиеся события приводят к подкреплению паттернов, которые играют роль более вероятных гипотез.
   Моделирование байесовой логики исчисления гипотез – это одно из перспективных направлений развития искусственного интеллекта. Однако акт веры отменяет байесову логику, создавая знание из ничего. И это прекрасно было известно древним богословам, которые создали апофатическое богословие. А именно исследование того, чем Бог не является. Подробнее байесову логику мы рассмотрели в главе о Doomsday argument, когда обсуждали выбор между двумя чашами с шариками.
   Пользуясь байесовой логикой, мы можем одновременно описывать будущее с использованием нескольких гипотез, не прибегая к необходимости верить или не верить в них.
   Осознание того, что наше знание о будущем всегда должно состоять из нескольких разновероятных гипотез, прокладывает путь к пониманию неопределенности, к одновременному учету и многих разных рисков, и необычайных возможностей. Но это требует отказа от комфортного мышления об однозначном будущем и непрерывного рационального усилия по представлению разных вариантов и действий по предотвращению всех негативных исходов. Это также поможет вам легко опознавать корень чужих заблуждений – чужая уверенность в однозначном исходе почти всегда означает пренебрежение каким-то незнанием, но это не значит, что такой объект веры нужно полностью отбрасывать – его следует принять как одну из гипотез.
   Нет способа знать будущее однозначно. Но сосредоточенность на вопросе, каков наихудший реалистичный исход, позволяет получать довольно определенные ответы. Именно в опоре на эту точку зрения и была написана эта книга.