На краю пропасти. Экзистенциальный риск и будущее человечества

Можно представить, как применить подобный подход к человечеству. Не запрещать определенные типы технологий, а применять их лишь после того, как мы докажем, что готовы к этому, поскольку выполнили заранее оговоренное условие. Например, не применять ядерные технологии, пока не пройдет сто лет с последней крупной войны. К несчастью, это очень трудно. В отличие от примера с детьми, здесь нет мудрых взрослых, которые устанавливают правила. Человечеству надо самому устанавливать правила для себя. Но те, кому недостает мудрости, обычно этого не понимают, а те, кому недостает терпения, вряд ли станут откладывать удовольствие до тех пор, пока не станут мудрее.
Хотя я считаю, что более зрелый мир действительно ограничил бы рост своих разрушительных способностей тем уровнем, на котором ими можно управлять, я не вижу смысла призывать к этому в настоящий момент. Чтобы предпринимать значительные усилия по замедлению прогресса, необходимо заключать международные соглашения между всеми ведущими игроками, поскольку в ином случае в наименее добросовестных странах работа просто продолжится. Мир очень далек от заключения таких соглашений, и потому немногочисленным людям, которых беспокоит экзистенциальный риск, нет смысла настаивать на замедлении, поскольку их усилия окажутся тщетными (а возможно, и контрпродуктивными).
Вместо этого нам стоит направить силы на лоббирование ответственного применения новых технологий и ответственного управления ими. Мы должны пояснить, что беспрецедентная власть, которую дают нам новые технологии, требует беспрецедентной ответственности: и для исполнителей, и для тех, кто отвечает за процесс.
Технологии колоссально повысили качество нашей жизни, но за это приходится платить. Они принесли с собой теневые издержки в форме риска[554]. Мы обращаем внимание на видимые выгоды, но накапливаем скрытый долг, который нам однажды, вероятно, нужно будет вернуть[555]. Если мы не замедлим темп технологического развития, то можем хотя бы пустить часть благ, которые оно дает нам, на обслуживание своего долга. Например, расходовать хотя бы 1 % выгод, которые приносят нам технологии, чтобы гарантировать, что дальнейший технологический прогресс не уничтожит потенциал человечества.
Осуществлять управление технологиями можно на многих уровнях. Очевиднее всего вверить его людям, которые и так управляют: политикам, гражданским службам и гражданскому обществу. Но мост можно строить с двух сторон, учитывая ценный вклад людей, работающих в соответствующих сферах науки и технологий: в университетах, в профессиональных обществах, а также в технологических компаниях. Те, кто занимаются технологиями на практике, могут уделять гораздо больше времени размышлениям об этических аспектах своей работы и работы своих коллег[556]. Они могут разработать собственные руководства и внутренние правила. Кроме того, они могут сотрудничать с чиновниками, чтобы обеспечивать научную и технологическую состоятельность национальных и международных регламентов[557].
Хорошим примером успешного регулирования служит Монреальский протокол, который определил сроки снятия с производства химических веществ, разрушающих озоновый слой. Его разработка шла очень быстро при тесном сотрудничестве ученых, чиновников и ведущих компаний, и Кофи Аннан назвал его “возможно, самым успешным международным соглашением на сегодняшний день”[558].
Другой пример – Асиломарская конференция о рекомбинантной ДНК, на которой ведущие ученые отрасли рассмотрели новые опасные возможности, открывшиеся в ходе их работы. В результате они составили новые требования к безопасности дальнейших исследований и полностью запретили некоторые их направления[559].
Любопытная, хотя и обойденная вниманием, сфера технологического регулирования – технологическое развитие[560]. Хотя предотвратить разработку рискованной технологии порой слишком сложно, мы можем попробовать снизить экзистенциальный риск, ускорив развитие защитных технологий в противовес опасным. Здесь в игру могут вступить спонсоры исследований, которые будут придерживаться этого принципа при объявлении конкурсов на финансирование и распределении грантов, добавляя веса защитным технологиям. Кроме того, это было бы полезно и для ученых, выбирающих из нескольких перспективных исследовательских программ.
 
Риски состояния и риски переходного периода
 Если человечество каждое столетие сталкивается с серьезным риском, наше положение неустойчиво. Не стоит ли попытаться преодолеть этот рискованный период как можно скорее? Ответ зависит от того, с риском какого типа мы имеем дело.
Некоторые риски связаны с пребыванием в уязвимом состоянии. Назовем их рисками состояния[561]. В эту категорию входят многие природные риски. Человечество остается уязвимым для астероидов, комет, мегаизвержений, взрывов сверхновых и гамма-всплесков. Чем дольше мы пребываем в состоянии, где мы уязвимы и находимся под угрозой, тем выше совокупная вероятность того, что нам не удастся устоять. Вероятность нашего выживания на протяжении длительного времени описывается падающей экспонентой, и период, за который она уменьшается вдвое, определяется уровнем годового риска[562]. В случае с рисками состояния чем раньше мы справимся со своей уязвимостью, тем лучше. Если для этого нам необходимы технологии, нужно как можно быстрее их разработать.
Но существуют и другие риски[563]. Есть риски переходного периода, которые возникают в процессе перехода к новому технологическому или общественному режиму. Например, таковы риски, связанные с разработкой и применением прогрессивного ОИИ, а также риски изменения климата при переходе нашей цивилизации в высокоэнергетическое состояние. Ускорение перехода никак не может способствовать снижению этих рисков, зато легко может их повысить. Но если переход необходим или весьма желателен, нам, возможно, придется в какой-то момент его совершить, поэтому попытка оттянуть его не решит проблему, а возможно, даже усугубит. Как правило, при работе с такими рисками рекомендуется не спешить, но и не медлить, проявляя дальновидность и осмотрительность.
Мы сталкиваемся с целым рядом рисков, включая риски состояния и риски переходного периода[564]. Однако, если я прав, риски переходного периода гораздо выше, чем риски состояния (главным образом потому, что в первую категорию входит больше антропогенных рисков). Это позволяет сделать вывод, что ускорение общего технологического прогресса неоправданно. В целом баланс определяется нашим желанием обеспечить экзистенциальную безопасность, вызвав как можно меньше кумулятивного риска. Я подозреваю, что для этого нам лучше всего ускорить развитие именно тех областей науки и техники, которые помогут нам справиться с крупнейшими рисками состояния, а также проявлять дальновидность и осторожность, направляя скоординированные усилия на работу с крупнейшими рисками переходного периода.
Хотя сейчас наше положение неустойчиво, это не значит, что решение проблемы в том, чтобы как можно скорее снизить годовой риск до приемлемого уровня. Наша главная цель – устойчивость в долгосрочной перспективе: мы должны защитить потенциал человечества, чтобы обеспечить себе максимальные шансы реализовать его в грядущие эпохи. Следовательно, правильная устойчивость не означает, что нужно как можно быстрее прийти в устойчивое состояние, – нужно встать на устойчивую траекторию, где риски, возникающие на пути, будут уравновешиваться защитой, которую мы в итоге обретем[565]. Вероятно, для этого придется идти на дополнительные риски в краткосрочной перспективе, но только если они в достаточной степени снижают риски в долгосрочной перспективе.
 Исследования экзистенциального риска