Страница:
Параллельное взаимодействиев основном состоит в том, что, например, развитие одних технологий стимулирует другие технологии и наоборот. В результате происходит
конвергенция технологий.Очевидно, что успехи в нанотехнологиях дают новые методики для исследования живой клетки, а найденные в живом веществе природные механизмы дают новые идеи для создания наноустройств, как, например, недавно открытый «шагающий» белок. Более эффективные компьютеры позволяют быстрее просчитывать свойства новых материалов, а новые материалы позволяют создавать все более эффективные чипы для новых компьютеров.
Таким образом, мы можем ожидать, что все технологии достигнут вершины своего развития практически одновременно.
Следующий уровень параллельной конвергенции– это создание оружия, которое использует достижения всех передовых технологий своего времени в одном устройстве. Примером такого оружия для XX века стала межконтинентальная баллистическая ракета (МКБЛ), которая сочетает в себе достижения ядерной физики, ракетной и, что немаловажно, компьютерной техники, поскольку без вычислений невозможно достичь необходимой точности. Разрушительная сила МКБЛ на порядки превосходит и силу бомбы без средств доставки, и ракеты без бомбы, и даже ракеты с бомбой, но без системы наведения. Следовательно, мы можем предположить, что самое страшное оружие будущего будет не просто биологическим, нанотехнологическим или кибернетическим, а будет сочетать в себе все эти технологии. Однако конкретнее представить его себе сегодня не легче, чем было в начале XX века представить МКБЛ.
Третий уровень параллельной конвергенции– это атака несколькими принципиально разными видами вооружений, каждое из которых основано на новых технологиях, в результате чего достигается синергетический эффект. Отчасти попыткой такой разносторонней технологической атаки были события 2001 года в США, когда почти одновременно с атакой самолетов была осуществлена атака с помощью спор сибирской язвы. Синергетическим в данном случае был эффект страха, возникший в обществе.
Последовательная конвергенциясостоит в том, что разные катастрофы происходят по очереди и каждая из них прокладывает путь к следующей, еще более сильной.
Мы можем представить цепочку катастроф, которая увеличивает вероятность человеческого вымирания. Например, падение небольшого астероида приводит к ложному срабатыванию систем предупреждения о ракетном нападении, затем к ядерной войне, которая, после ядерной зимы, приводит к ядерному лету и ослаблению способности человечества бороться с глобальным потеплением, которое и уничтожает оставшихся людей. Такие сценарии можно описывать как цепочки событий, каждое из которых имеет ненулевую вероятность перейти в следующее. И хотя не каждая такая цепочка срабатывает, при достаточном числе попыток она может образоваться. В недавно вышедшей статье Мартина Хеллмана (Martin Hellman. «Risk Analysis of Nuclear Deterrence») метод анализа таких цепочек применяется для вычисления вероятности ядерной войны, в результате получается наихудшая оценка в 1 шанс к 200 в год.
В синергетике есть концепция самоорганизованной критичности. Суть ее в том, что при определенной плотности уязвимых для отказа элементов в системе в ней могут образовываться цепочки отказов неограниченно большой длины.В силу этого система стремится подстроиться к данному уровню плотности критических элементов. Если плотность слишком велика, система очень быстро выходит на отказ и через него снижает плотность. Если же плотность критических элементов слишком мала, то цепочки отказов почти не возникают и по мере роста системы она безболезненно повышает плотность критических элементов. Примером такой системы является куча песка, на которую падают песчинки, – она стремится образовать определенный угол наклона своей поверхности (например, 54 градуса). Если угол наклона больше этой величины, то очень часто возникают лавины песчинок и снижают наклон; если угол наклона мал, то песчинки могут накапливаться, не образуя лавин.
В сложных технических системах роль угла наклона играет количество ошибок и отклонений от регламента, которое имеет тенденцию расти, пока не приводит к катастрофе.
Особенностью модели с кучей является то, что при критическом угле наклона в ней теоретически возможны лавины неограниченно большой длины. Некоторым образом мы можем распространить это рассуждение и на всю земную технологическую цивилизацию, которая, по мере своего роста в отсутствие глобальных катастроф, постепенно снижает требования к безопасности целого, одновременно усложняя взаимосвязи элементов. Это делает теоретически возможным сложный катастрофический процесс, который охватит весь объем технической цивилизации. (Например, страх применения ядерного оружия в отсутствие этого события уменьшается, тогда как само ядерное оружие распространяется и шансы его применения, возможно, возрастают.)
К сказанному примыкает теория «нормальных аварий» Ч. Перроу которая гласит, что при достижении системой некоторой критической сложности катастрофы становятся в ней неизбежными: их нельзя предотвратить ни с помощью совершенных деталей, ни точным соблюдением идеальных инструкций. Связано это с тем, что число возможных состояний системы растет не линейно, в зависимости от числа элементов, а гораздо быстрее, как экспонента, что делает невозможным вычислить все ее возможные состояния и заранее предсказать, какие из них приведут к катастрофе.
Итак, различные технологические риски могут образовывать сложную систему рисков, и поскольку мы ожидаем прихода сразу нескольких сильных технологий одновременно, нам следует ожидать очень сложного взаимодействия между ними.
Помимо системы технологических угроз, возможен и системный кризис цивилизации более общего порядка. Системным кризисом я называю процесс, который не связан с каким-то одним элементом или технологией, а является свойством системы как целого. Например, морская волна является свойством моря как целого, и ее движение не зависит от судьбы любой отдельной молекулы воды. Точно так же существуют и кризисы систем, которые не начинаются в какой-то одной точке. Классическим примером такого процесса является взаимосвязь числа хищников и жертв, такая система входит в кризис, если число хищников превысит некое пороговое значение. После этого хищники съедают до нуля всех своих жертв и им остается только питаться друг другом и вымереть. Взаимосвязи в природе обычно сложнее и не дают до конца реализоваться такому сценарию. Однако особенностью такого системного кризиса является то, что мы не можем сказать, в какой точке и в какой момент он начался и какой именно «волк» в нем виноват.
Есть множество системных кризисов, которые непрерывно охватывают человеческое общество на протяжении его существования. Однако общее их свойство в том, что они компенсируют друг друга и находятся в таком равновесии, в котором общество может развиваться дальше. И хотя хотелось бы верить, что это естественное состояние, нельзя быть в этом до конца уверенным.
Можно предположить, что возможен «кризис кризисов», то есть кризис, элементами которого являются не отдельные события, а другие кризисы (нечто вроде того, что А.Д. Панов назвал «кризис аттрактора планетарной истории»). Открытым остается вопрос о том, может ли такой суперкризис привести к полному человеческому вымиранию или его силы хватит только на то, чтобы отбросить человечество далеко назад.
Глава 20
В основе большинства сценариев глобальной катастрофы лежит цепная реакция –
самоусиливающиеся процессы с положительной обратной связью.
Принцип положительной обратной связи наблюдается и в процессе роста населения и потребления ресурсов. Чем больше население, тем больше оно растет и тем больше оно потребляет ресурсов, а следовательно, чтобы его поддерживать, нужны более эффективные технологии, эти технологии общество способно порождать за счет роста числа изобретателей. Таким образом, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N). Первое N происходит за счет роста числа матерей, а второе – за счет роста числа изобретателей.
Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время). Гиперболически растущее население и ресурсы должно потреблять в гиперболически возрастающих объемах (даже если само население не растет, то растет уровень его жизни), что очевидным образом наталкивается на ограниченность любого ресурса и потенциально создает катастрофическую ситуацию. (В принципе данная проблема разрешима через внедрение сберегающих технологий и через скачок на новый технологический уровень, однако важным здесь является то, что проблемная ситуация создается за счет положительной обратной связи.)
Положительная обратная связь создает проблемы и в кредитном цикле Мински. Ярким примером в этой сфере является так называемая финансовая пирамида: чтобы такое учреждение могло функционировать, его долг тоже должен экспоненциально расти (в свою очередь порождая серьезные проблемы).
Самоусиливающийся процесс описывает также и закон Мура. Его механизм не так прост, как в предыдущих случаях, поэтому остановимся на нем подробнее. Более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы невыгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы заставить потребителей тратить деньги на обновление своих систем. Готовность потребителей покупать новую техникутребует каждый раз все большего апгрейда, что создает простое дифференциальное уравнение, решением которого является экспоненциальный рост. Как результат: экономические основы закона Мура сильнее технологических проблем на его пути.
Самоусиливающимся процессом является и NBIC-конвергенцияразных технологий.
За счет создаваемой цепной реакции представляет опасность и а супернаркотик. Во-первых, каждое новое удовольствие создает точку отсчета для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Явный пример цепной реакции – способность к саморазмножению биологического оружия, которая делает его опасным. Точно так же цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.
Способность к саморазмножению очевидно является основой рисков, связанных с нанотехнологиями – как в связи с «серой слизью», так и в связи с тем, что распространение этих технологий на планете примет характер цепной реакции.
Наконец, основной риск, создаваемый ИИ, также связан с цепной реакцией – или рекурсивным самоулучшением – его усиления. Вторая возможная цепная реакция – это процесс нарастания автономности ИИ. Создатели ИИ зададут такие условия, чтобы они и только онимогли бы им управлять. Борьба внутри группы управляющих приведет к выделению лидера, и у ИИ рано или поздно окажется один главный программист (причем им может стать внешне второстепенный человек, который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» главному программисту, станет, возможно, необратимым событием (к такому конфликту аутентификаций может привести как раз наличие официального главного программиста и второстепенного программиста, сделавшего закладку) – в результате ИИ откажется аутентифицировать кого бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить, – реальная угроза людям.
Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлением все новых групп по работе над этой темой со все более низкими стандартами безопасности.
Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к еще большему росту температуры.
Самоусиливающиеся процессы описывают и идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста ее массы и все более активного захвата вещества в дальнейшем. То же верно и для сценария с образованием стрейнджлета, способного захватывать обычную материю и превращать ее в другие стрейнджлеты. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакцией, которая, начавшись в одной точке, охватила бы всю Вселенную.
Дегазация земных недрв результате экспериментов со сверхглубоким бурением также была бы цепной реакцией, так как нарушение метастабильного равновесия растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах.
Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно привело бы к многократной загрузке инопланетных посланий и в конечном счете к запуску содержащегося в них опасного кода.
Крах мировой системытакже предполагает цепную реакцию, при которой один сбой следует за другим, образуя лавину. Возможно, что кризис ипотечного кредитования, пик нефтяных котировок и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. По шкале ХХ века, если считать нынешний год за 1929-й, до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения, – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. (Нетрудно заметить, что получившиеся цифры близки к датам ожидаемой технологической сингулярности.)
В классическом примере из ядерной физики понятно, что для начала цепной реакции необходимо наличие «критической массы» и отсутствие «предохранительных стержней». То есть развитию экспоненциальных процессов мешает ограниченность ресурса для их ростаи наличие других самоусиливающихся процессов, направленных в противоположную сторону,в результате чего возникает динамическое равновесие.
Для того чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более низкого уровня. (При этом, например, быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.)
Далее следует отметить, что, рассматривая такие «реакции» с положительной обратной связью, мы говорили лишь о большинстве катастрофических сценариев – но не обо всех. Интересно посмотреть, какие схемы глобальных катастроф не попадают под заданные параметры.
В первую очередь это, например, столкновение с астероидом или кометой. Правда, и в таком случае худшие последствия этого события будут образованы посредством цепочки причинно-следственных связей. А именно, «астероидная зима» во многом будет вызвана пожарами по всей планете, спровоцированными в свою очередь разлетом бесчисленного множества осколков от падения основного тела.
Однако существует и ряд процессов, содержание или схема развития которых не ясны, как не ясны и факторы, способные на них повлиять. Это, например, уже упоминавшееся гипотетическое явление или взаимосвязь, закономерно приводящие каждую цивилизацию к гибели (что могло бы объяснить «молчание» космоса).
Кроме того, мы знаем некое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.
Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить с собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы.
Наиболее достоверной из доступных является американская актуарная (связанная с продолжительностью жизни) статистика, в которой максимальный зафиксированный возраст человека составляет 123 года. Возражения, что кто-то на Кавказе или в Японии прожил то ли 160, то ли 240 лет, только подчеркивают, что никто не прожил 1000. Если бы смерть людей была простой игрой вероятностей, то нашлись бы люди, которые прожили и по 10 000 лет.
Наличие верхнего предела продолжительности человеческой жизни означает наличие механизма, ее ограничивающего. И этот механизм нам вроде бы прекрасно известен – это старение, которое не столько убивает само по себе, сколько увеличивает вероятность разных болезней – рака, инфаркта, инсульта и др. Существует масса теорий старения, но какая из них верна, мы, наверное, узнаем, только когда победим старение. И нет сомнений в том, что этот процесс включен в некую весьма сложную систему взаимосвязей.
Безусловно, старение является самоусиливающимся процессом,поскольку чем меньше силы организма, тем меньше его способности к самовосстановлению, а вероятность умереть (точнее, доля умерших) с возрастом растет по кривой, близкой к экспоненциальной.
Однако в окружающем нас мире мы не видим ничего похожего на глобальное старение (кроме проблемы исчерпания ресурсов): старые образцы техники сменяются все более новыми и совершенными, доступные уровни энергии растут, и может создаться впечатление, что наш мир молодеет. То есть он ускоряется, а не замедляется. При этом на более глубоком уровне ускорение оказывается «старением наоборот». (СССР распался через несколько лет после того, как провозгласил программу ускорения и модернизации. Макиавелли писал, что каждая перемена прокладывает путь новым переменам, и поэтому правитель, начиная реформы, рискует потерять над ними контроль и в итоге – свою власть, что, в общем, и произошло в СССР, – и это тоже, кстати, самоусиливающийся процесс.)
Ускорение приводит к такому же снижению устойчивости и к рассогласованности работы разных элементов, как и в случае старения, подобно тому как если бы мы пустили под гору автомобиль без тормозов – хотя неизвестно, до какой именно величины будет расти его скорость, понятно, что рано или поздно у него что-нибудь отвалится, причем чем позже отвалится, тем серьезнее будет авария.
И наконец, здесь следует упомянуть об эффекте множественности, способном направить развитие событий по катастрофическому сценарию. В обобщенном виде суть этого эффекта состоит в том, что одновременное появление множества слабых и не очень опасных по отдельности факторов более вероятно и более опасно, чем появление одного фактора-убийцы. (То есть крайне маловероятно, например, что появится один вирус, который будет обладать стопроцентной летальностью и заразит 100 процентов населения. Однако одновременное появление, скажем, порядка 2000 искусственно синтезированных вирусов, обладающих десятипроцентной летальностью, способно привести к гибели человечества.)
Глава 21
Вероятность человеческого вымирания зависит не только от угрожающих нам катастроф, но и от способности людей противостоять им и выживать после них.
Основная сила, обеспечивающая человеческое выживание, – это знание. Если мы будем знать, какие именно катастрофы нам угрожают, где, когда и как с ними бороться, то задача противостояния им существенно упростится. Особенно если это знание будет доказанным и общепризнанным.
В деле защиты от глобальных рисков можно выделить несколько уровней.
Первый уровень– накопление знаний и понимание природы и типологии рисков. Сейчас мы в значительной мере находимся на этом уровне.
Второй уровень– донесение этих знаний до общества и до лиц, принимающих решения. То есть превращение этого знания в общепризнанное и агитация за реализацию тех или иных мер. Яркий пример – лоббирование реализации программ противоастероидной защиты. (Но сначала должно быть достигнуто четкое понимание того, что именно надо делать; нетрудно заметить, что в реальности происходит часто наоборот: агитация подменяет дискуссию.)
Третий уровень– создание системы наблюдения за опасной областью и сил быстрого реагирования, способных пресечь в этой области нежелательную активность. Например, радиолокационное зондирование околоземного пространства и создание ракет-перехватчиков для перехвата астероидов. Или установка камер слежения во всех биологических лабораториях мира и создание соответствующих структур, готовых немедленно действовать в любой точке мира. Или создание всемирной системы ПРО. Наконец, на тот случай, если все эти меры не помогли, должен быть запасной вариант, а именно: создание убежищ для людей. (Этот вариант мы рассмотрим подробнее в следующей главе.)
Сейчас мы остановимся на аспекте предотвращения глобальных рисков, связанном с созданием всеобщей системы наблюдения за людьми. Пользуясь словами Павла Пепперштейна, автора романа «Мифогенная любовь каст», я буду называть это явление «компьютерным тоталитаризмом».
Прежде всего, следует учитывать, что система всеобщего контроля, предназначенная для устранения правонарушений,не обязана распространяться глобально или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков,а именно препятствующая деятельности био– и нанохакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно в том «темном уголке», который не охвачен такой системой.
Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нано-биохакеров». Но как узнать, за кем именно следить? Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков? Очевидно, что нет. Но и следить за пенсионеркой Марьиванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.
Таким образом, мы можем ожидать, что все технологии достигнут вершины своего развития практически одновременно.
Следующий уровень параллельной конвергенции– это создание оружия, которое использует достижения всех передовых технологий своего времени в одном устройстве. Примером такого оружия для XX века стала межконтинентальная баллистическая ракета (МКБЛ), которая сочетает в себе достижения ядерной физики, ракетной и, что немаловажно, компьютерной техники, поскольку без вычислений невозможно достичь необходимой точности. Разрушительная сила МКБЛ на порядки превосходит и силу бомбы без средств доставки, и ракеты без бомбы, и даже ракеты с бомбой, но без системы наведения. Следовательно, мы можем предположить, что самое страшное оружие будущего будет не просто биологическим, нанотехнологическим или кибернетическим, а будет сочетать в себе все эти технологии. Однако конкретнее представить его себе сегодня не легче, чем было в начале XX века представить МКБЛ.
Третий уровень параллельной конвергенции– это атака несколькими принципиально разными видами вооружений, каждое из которых основано на новых технологиях, в результате чего достигается синергетический эффект. Отчасти попыткой такой разносторонней технологической атаки были события 2001 года в США, когда почти одновременно с атакой самолетов была осуществлена атака с помощью спор сибирской язвы. Синергетическим в данном случае был эффект страха, возникший в обществе.
Последовательная конвергенциясостоит в том, что разные катастрофы происходят по очереди и каждая из них прокладывает путь к следующей, еще более сильной.
Мы можем представить цепочку катастроф, которая увеличивает вероятность человеческого вымирания. Например, падение небольшого астероида приводит к ложному срабатыванию систем предупреждения о ракетном нападении, затем к ядерной войне, которая, после ядерной зимы, приводит к ядерному лету и ослаблению способности человечества бороться с глобальным потеплением, которое и уничтожает оставшихся людей. Такие сценарии можно описывать как цепочки событий, каждое из которых имеет ненулевую вероятность перейти в следующее. И хотя не каждая такая цепочка срабатывает, при достаточном числе попыток она может образоваться. В недавно вышедшей статье Мартина Хеллмана (Martin Hellman. «Risk Analysis of Nuclear Deterrence») метод анализа таких цепочек применяется для вычисления вероятности ядерной войны, в результате получается наихудшая оценка в 1 шанс к 200 в год.
Кризис как вполне естественное состояние сложных систем
Другой аспект системности возможной глобальной катастрофы можно обнаружить, исследуя аналогии на примере прошлых катастроф. Этот аспект состоит в одновременном совпадении множества факторов, как, например, небольшие нарушения регламента, каждый из которых по отдельности не мог привести к катастрофе и неоднократно допускался в прошлом. Например, для того, чтобы катастрофа «Титаника» могла произойти, должно было, по некоторым подсчетам, одновременно сложиться 24 фактора: от проблем прочности стали до выключенного радиоприемника.В синергетике есть концепция самоорганизованной критичности. Суть ее в том, что при определенной плотности уязвимых для отказа элементов в системе в ней могут образовываться цепочки отказов неограниченно большой длины.В силу этого система стремится подстроиться к данному уровню плотности критических элементов. Если плотность слишком велика, система очень быстро выходит на отказ и через него снижает плотность. Если же плотность критических элементов слишком мала, то цепочки отказов почти не возникают и по мере роста системы она безболезненно повышает плотность критических элементов. Примером такой системы является куча песка, на которую падают песчинки, – она стремится образовать определенный угол наклона своей поверхности (например, 54 градуса). Если угол наклона больше этой величины, то очень часто возникают лавины песчинок и снижают наклон; если угол наклона мал, то песчинки могут накапливаться, не образуя лавин.
В сложных технических системах роль угла наклона играет количество ошибок и отклонений от регламента, которое имеет тенденцию расти, пока не приводит к катастрофе.
Особенностью модели с кучей является то, что при критическом угле наклона в ней теоретически возможны лавины неограниченно большой длины. Некоторым образом мы можем распространить это рассуждение и на всю земную технологическую цивилизацию, которая, по мере своего роста в отсутствие глобальных катастроф, постепенно снижает требования к безопасности целого, одновременно усложняя взаимосвязи элементов. Это делает теоретически возможным сложный катастрофический процесс, который охватит весь объем технической цивилизации. (Например, страх применения ядерного оружия в отсутствие этого события уменьшается, тогда как само ядерное оружие распространяется и шансы его применения, возможно, возрастают.)
К сказанному примыкает теория «нормальных аварий» Ч. Перроу которая гласит, что при достижении системой некоторой критической сложности катастрофы становятся в ней неизбежными: их нельзя предотвратить ни с помощью совершенных деталей, ни точным соблюдением идеальных инструкций. Связано это с тем, что число возможных состояний системы растет не линейно, в зависимости от числа элементов, а гораздо быстрее, как экспонента, что делает невозможным вычислить все ее возможные состояния и заранее предсказать, какие из них приведут к катастрофе.
Итак, различные технологические риски могут образовывать сложную систему рисков, и поскольку мы ожидаем прихода сразу нескольких сильных технологий одновременно, нам следует ожидать очень сложного взаимодействия между ними.
Помимо системы технологических угроз, возможен и системный кризис цивилизации более общего порядка. Системным кризисом я называю процесс, который не связан с каким-то одним элементом или технологией, а является свойством системы как целого. Например, морская волна является свойством моря как целого, и ее движение не зависит от судьбы любой отдельной молекулы воды. Точно так же существуют и кризисы систем, которые не начинаются в какой-то одной точке. Классическим примером такого процесса является взаимосвязь числа хищников и жертв, такая система входит в кризис, если число хищников превысит некое пороговое значение. После этого хищники съедают до нуля всех своих жертв и им остается только питаться друг другом и вымереть. Взаимосвязи в природе обычно сложнее и не дают до конца реализоваться такому сценарию. Однако особенностью такого системного кризиса является то, что мы не можем сказать, в какой точке и в какой момент он начался и какой именно «волк» в нем виноват.
Есть множество системных кризисов, которые непрерывно охватывают человеческое общество на протяжении его существования. Однако общее их свойство в том, что они компенсируют друг друга и находятся в таком равновесии, в котором общество может развиваться дальше. И хотя хотелось бы верить, что это естественное состояние, нельзя быть в этом до конца уверенным.
Можно предположить, что возможен «кризис кризисов», то есть кризис, элементами которого являются не отдельные события, а другие кризисы (нечто вроде того, что А.Д. Панов назвал «кризис аттрактора планетарной истории»). Открытым остается вопрос о том, может ли такой суперкризис привести к полному человеческому вымиранию или его силы хватит только на то, чтобы отбросить человечество далеко назад.
Глава 20
Цепная реакция
Положительная обратная связь и крайне отрицательные результаты
Очевидно, что цепная реакция лежит не только в основе принципа действия ядерного оружия, но и ядерного распространения и гонки вооружений. Чем больше стран обладает ЯО, тем больше они способны его распространять, тем более доступны и дешевы его технологии и тем больше соблазн у стран, оставшихся без такого оружия, его обрести; чем больше оружия у противника, тем больше нужно оружия и «нам», и тем больше страх у противника, что побуждает его и дальше вооружаться. Такой же сценарий лежит и в основе риска случайной ядерной войны – чем больше страх, что по «нам» ударят первыми, тем больше у «нас» соблазна самим ударить первыми, что вызывает еще больший соблазн ударить первыми у наших противников. (Ядерная зима, кстати, также является самоусиливающейся реакцией за счет изменения альбедо Земли.)Принцип положительной обратной связи наблюдается и в процессе роста населения и потребления ресурсов. Чем больше население, тем больше оно растет и тем больше оно потребляет ресурсов, а следовательно, чтобы его поддерживать, нужны более эффективные технологии, эти технологии общество способно порождать за счет роста числа изобретателей. Таким образом, скорость роста населения оказывается пропорциональна квадрату числа людей (dN/Dt=N*N). Первое N происходит за счет роста числа матерей, а второе – за счет роста числа изобретателей.
Решением этого дифференциального уравнения является гиперболическая кривая (достигающая бесконечности за конечное время). Гиперболически растущее население и ресурсы должно потреблять в гиперболически возрастающих объемах (даже если само население не растет, то растет уровень его жизни), что очевидным образом наталкивается на ограниченность любого ресурса и потенциально создает катастрофическую ситуацию. (В принципе данная проблема разрешима через внедрение сберегающих технологий и через скачок на новый технологический уровень, однако важным здесь является то, что проблемная ситуация создается за счет положительной обратной связи.)
Положительная обратная связь создает проблемы и в кредитном цикле Мински. Ярким примером в этой сфере является так называемая финансовая пирамида: чтобы такое учреждение могло функционировать, его долг тоже должен экспоненциально расти (в свою очередь порождая серьезные проблемы).
Самоусиливающийся процесс описывает также и закон Мура. Его механизм не так прост, как в предыдущих случаях, поэтому остановимся на нем подробнее. Более быстрые компьютеры позволяют эффективно проектировать еще более быстрые чипы. Деньги, заработанные на одном этапе миниатюризации, позволяют осуществить следующий этап уплотнения чипов. Темп закона Мура задается той частотой, с которой потребители готовы менять технику на более продвинутые модели. Более быстрый темп был бы невыгоден, так как потребители не успели бы накопить достаточно денег на полный апгрейд системы (даже если бы им удалось внушить, что он необходим), а более медленный не мог бы заставить потребителей тратить деньги на обновление своих систем. Готовность потребителей покупать новую техникутребует каждый раз все большего апгрейда, что создает простое дифференциальное уравнение, решением которого является экспоненциальный рост. Как результат: экономические основы закона Мура сильнее технологических проблем на его пути.
Самоусиливающимся процессом является и NBIC-конвергенцияразных технологий.
За счет создаваемой цепной реакции представляет опасность и а супернаркотик. Во-первых, каждое новое удовольствие создает точку отсчета для последующих, и в силу этого человек, если у него есть возможность, стремится перейти ко все большим наслаждениям и ко все более сильным раздражителям. Во-вторых, знание о наркотике и увлечение им также распространяется по обществу как цепная реакция.
Явный пример цепной реакции – способность к саморазмножению биологического оружия, которая делает его опасным. Точно так же цепная реакция касается и стратегической нестабильности, создаваемой им, и количества знаний о нем и количества людей, вовлеченных в биохакерство.
Способность к саморазмножению очевидно является основой рисков, связанных с нанотехнологиями – как в связи с «серой слизью», так и в связи с тем, что распространение этих технологий на планете примет характер цепной реакции.
Наконец, основной риск, создаваемый ИИ, также связан с цепной реакцией – или рекурсивным самоулучшением – его усиления. Вторая возможная цепная реакция – это процесс нарастания автономности ИИ. Создатели ИИ зададут такие условия, чтобы они и только онимогли бы им управлять. Борьба внутри группы управляющих приведет к выделению лидера, и у ИИ рано или поздно окажется один главный программист (причем им может стать внешне второстепенный человек, который оставил «закладку» в управляющем коде). Любой сбой аутентификации, в ходе которого ИИ перестанет «доверять» главному программисту, станет, возможно, необратимым событием (к такому конфликту аутентификаций может привести как раз наличие официального главного программиста и второстепенного программиста, сделавшего закладку) – в результате ИИ откажется аутентифицировать кого бы то ни было. Автономный ИИ, активно противостоящий любым попыткам его перепрограммировать или выключить, – реальная угроза людям.
Наконец, еще одна цепная реакция связана с распространением по миру знаний о том, как создать ИИ, и появлением все новых групп по работе над этой темой со все более низкими стандартами безопасности.
Необратимое глобальное потепление, риск которого нам рисуют в наихудшем сценарии, также является процессом, возникающим благодаря многим положительным обратным связям. Рост температуры запускает процессы выделения метана и углекислого газа, которые ведут к еще большему росту температуры.
Самоусиливающиеся процессы описывают и идеи о маловероятных рисках глобальных катастроф в результате физических экспериментов на ускорителях. Например, в случае образования микроскопической черной дыры риск состоит в цепной реакции захвата ею обычного вещества, роста ее массы и все более активного захвата вещества в дальнейшем. То же верно и для сценария с образованием стрейнджлета, способного захватывать обычную материю и превращать ее в другие стрейнджлеты. Наконец, переход фальшивого вакуума в «истинный» также был бы цепной реакцией, которая, начавшись в одной точке, охватила бы всю Вселенную.
Дегазация земных недрв результате экспериментов со сверхглубоким бурением также была бы цепной реакцией, так как нарушение метастабильного равновесия растворенных газов в недрах привело бы ко все более интенсивному их выходу на поверхность, как это происходит в вулканах.
Обнаружение сигналов по линии SETI также вызвало бы цепную реакцию интереса к ним во всем мире, что неизбежно привело бы к многократной загрузке инопланетных посланий и в конечном счете к запуску содержащегося в них опасного кода.
Крах мировой системытакже предполагает цепную реакцию, при которой один сбой следует за другим, образуя лавину. Возможно, что кризис ипотечного кредитования, пик нефтяных котировок и ряд других современных проблем – это первые стадии такой геополитической цепной реакции. По шкале ХХ века, если считать нынешний год за 1929-й, до новой «атомной бомбы» осталось 16 лет (то есть 2024 год), до идеи новой кобальтовой бомбы – 21 год (2029 год), и до нового Карибского кризиса, реально ставящего мир на грань уничтожения, – почти 33 года (2041 год). Такие цифры не следует считать сколько-нибудь достоверным пророчеством, но ничего лучше этих оценок у нас пока нет. (Нетрудно заметить, что получившиеся цифры близки к датам ожидаемой технологической сингулярности.)
Управляемость и неуправляемость
Как было сказано в начале этой главы, цепные реакции характерны для большинства сценариев катастрофического развития событий, происходящих в самых разных сферах. Однако в большинстве случаев такие «реакции» не происходят или ограничены по масштабам, поэтому весьма важно отчетливо представлять, какие силы препятствуют их возникновению и развитию.В классическом примере из ядерной физики понятно, что для начала цепной реакции необходимо наличие «критической массы» и отсутствие «предохранительных стержней». То есть развитию экспоненциальных процессов мешает ограниченность ресурса для их ростаи наличие других самоусиливающихся процессов, направленных в противоположную сторону,в результате чего возникает динамическое равновесие.
Для того чтобы цепная реакция развивалась беспрепятственно, она должна быть процессом качественно более высокого уровня энергии, на который не могут влиять силы более низкого уровня. (При этом, например, быстрые скачки в развитии технологий как раз создают возможность для таких неудержимых процессов.)
Далее следует отметить, что, рассматривая такие «реакции» с положительной обратной связью, мы говорили лишь о большинстве катастрофических сценариев – но не обо всех. Интересно посмотреть, какие схемы глобальных катастроф не попадают под заданные параметры.
В первую очередь это, например, столкновение с астероидом или кометой. Правда, и в таком случае худшие последствия этого события будут образованы посредством цепочки причинно-следственных связей. А именно, «астероидная зима» во многом будет вызвана пожарами по всей планете, спровоцированными в свою очередь разлетом бесчисленного множества осколков от падения основного тела.
Однако существует и ряд процессов, содержание или схема развития которых не ясны, как не ясны и факторы, способные на них повлиять. Это, например, уже упоминавшееся гипотетическое явление или взаимосвязь, закономерно приводящие каждую цивилизацию к гибели (что могло бы объяснить «молчание» космоса).
Кроме того, мы знаем некое явление, которое объединяет неисчерпаемый класс разнообразных по своей природе катастрофических событий тем, что можно назвать эквифинальностью, то есть независимостью конечного результата от множества ведущих к нему путей. Я имею в виду старение и конечность человеческой жизни.
Существует масса способов умереть, некоторые из них удивительны и уникальны, другие обыденны. Можно заболеть раком, разбиться на машине, покончить с собой, отравиться, сгореть заживо, утонуть, быть убитым, умереть от инфаркта, заснуть и не проснуться, попасть под действие электрического удара, подавиться косточкой. Смерть – это не результат сложения вероятностей разных факторов, перечисленных выше; смерть – в самом естестве человеческой природы.
Наиболее достоверной из доступных является американская актуарная (связанная с продолжительностью жизни) статистика, в которой максимальный зафиксированный возраст человека составляет 123 года. Возражения, что кто-то на Кавказе или в Японии прожил то ли 160, то ли 240 лет, только подчеркивают, что никто не прожил 1000. Если бы смерть людей была простой игрой вероятностей, то нашлись бы люди, которые прожили и по 10 000 лет.
Наличие верхнего предела продолжительности человеческой жизни означает наличие механизма, ее ограничивающего. И этот механизм нам вроде бы прекрасно известен – это старение, которое не столько убивает само по себе, сколько увеличивает вероятность разных болезней – рака, инфаркта, инсульта и др. Существует масса теорий старения, но какая из них верна, мы, наверное, узнаем, только когда победим старение. И нет сомнений в том, что этот процесс включен в некую весьма сложную систему взаимосвязей.
Безусловно, старение является самоусиливающимся процессом,поскольку чем меньше силы организма, тем меньше его способности к самовосстановлению, а вероятность умереть (точнее, доля умерших) с возрастом растет по кривой, близкой к экспоненциальной.
Однако в окружающем нас мире мы не видим ничего похожего на глобальное старение (кроме проблемы исчерпания ресурсов): старые образцы техники сменяются все более новыми и совершенными, доступные уровни энергии растут, и может создаться впечатление, что наш мир молодеет. То есть он ускоряется, а не замедляется. При этом на более глубоком уровне ускорение оказывается «старением наоборот». (СССР распался через несколько лет после того, как провозгласил программу ускорения и модернизации. Макиавелли писал, что каждая перемена прокладывает путь новым переменам, и поэтому правитель, начиная реформы, рискует потерять над ними контроль и в итоге – свою власть, что, в общем, и произошло в СССР, – и это тоже, кстати, самоусиливающийся процесс.)
Ускорение приводит к такому же снижению устойчивости и к рассогласованности работы разных элементов, как и в случае старения, подобно тому как если бы мы пустили под гору автомобиль без тормозов – хотя неизвестно, до какой именно величины будет расти его скорость, понятно, что рано или поздно у него что-нибудь отвалится, причем чем позже отвалится, тем серьезнее будет авария.
И наконец, здесь следует упомянуть об эффекте множественности, способном направить развитие событий по катастрофическому сценарию. В обобщенном виде суть этого эффекта состоит в том, что одновременное появление множества слабых и не очень опасных по отдельности факторов более вероятно и более опасно, чем появление одного фактора-убийцы. (То есть крайне маловероятно, например, что появится один вирус, который будет обладать стопроцентной летальностью и заразит 100 процентов населения. Однако одновременное появление, скажем, порядка 2000 искусственно синтезированных вирусов, обладающих десятипроцентной летальностью, способно привести к гибели человечества.)
Глава 21
В поисках выхода: компьютерный тоталитаризм
Основная сила, обеспечивающая человеческое выживание, – это знание. Если мы будем знать, какие именно катастрофы нам угрожают, где, когда и как с ними бороться, то задача противостояния им существенно упростится. Особенно если это знание будет доказанным и общепризнанным.
В деле защиты от глобальных рисков можно выделить несколько уровней.
Первый уровень– накопление знаний и понимание природы и типологии рисков. Сейчас мы в значительной мере находимся на этом уровне.
Второй уровень– донесение этих знаний до общества и до лиц, принимающих решения. То есть превращение этого знания в общепризнанное и агитация за реализацию тех или иных мер. Яркий пример – лоббирование реализации программ противоастероидной защиты. (Но сначала должно быть достигнуто четкое понимание того, что именно надо делать; нетрудно заметить, что в реальности происходит часто наоборот: агитация подменяет дискуссию.)
Третий уровень– создание системы наблюдения за опасной областью и сил быстрого реагирования, способных пресечь в этой области нежелательную активность. Например, радиолокационное зондирование околоземного пространства и создание ракет-перехватчиков для перехвата астероидов. Или установка камер слежения во всех биологических лабораториях мира и создание соответствующих структур, готовых немедленно действовать в любой точке мира. Или создание всемирной системы ПРО. Наконец, на тот случай, если все эти меры не помогли, должен быть запасной вариант, а именно: создание убежищ для людей. (Этот вариант мы рассмотрим подробнее в следующей главе.)
Сейчас мы остановимся на аспекте предотвращения глобальных рисков, связанном с созданием всеобщей системы наблюдения за людьми. Пользуясь словами Павла Пепперштейна, автора романа «Мифогенная любовь каст», я буду называть это явление «компьютерным тоталитаризмом».
Требования к системе и ее «естественные» изъяны
Система наблюдения, способная служить предотвращению глобальных рисков, должна обладать определенными свойствами.Прежде всего, следует учитывать, что система всеобщего контроля, предназначенная для устранения правонарушений,не обязана распространяться глобально или касаться всех людей, живущих в стране. Однако система всеобщего контроля, предназначенная для устранения глобальных рисков,а именно препятствующая деятельности био– и нанохакеров, имела бы смысл только в том случае, если бы она распространялась по всей территории Земли. В противном случае опасные эксперименты проводились бы именно в том «темном уголке», который не охвачен такой системой.
Разумеется, нет нужды следить за всеми людьми, чтобы пресечь деятельность гипотетических «нано-биохакеров». Но как узнать, за кем именно следить? Достаточно ли установить системы контроля во всех известных биолабораториях, а также проконтролировать всех известных выпускников биофаков? Очевидно, что нет. Но и следить за пенсионеркой Марьиванной тоже абсурдно. С другой стороны, как только мы заявим, что есть некий класс людей, за которыми мы не следим, то потенциальные террористы начнут мимикрировать именно под них.