Малое солнце (СИ)
— Ну, никто не хочет выпускать джина из бутылки без уверенности, что этот джинн добрый, — согласилась Сьюзен. — Ведь загнать его обратно будет очень трудно. Да, есть фундаментальные законы робототехники, по которым машины обязаны не причинять вреда человеку и слушать его приказы. Но этого недостаточно. Любой достаточно продвинутый искусственный интеллект способен обойти их. Поэтому мы обучаем его и проверяем его убеждения на прочность. Могу похвастаться, что сейчас машины решают такие моральные дилеммы, которые не под силу многим людям.
— Прекрасно. Почему бы им не заменить нас полностью, чего уж мелочиться, — недовольно пробурчал Джейдер.
— Кто знает. Может, когда-нибудь придет время, когда это не будет считаться чем-то плохим. Джейдер, а давай и тебя проверим. Попробуй решить простейшую моральную задачу для робота, мне интересно, как ты поступишь.
— Мне кажется, для тебя уже не существует разницы, робот перед тобой или человек, — покачал головой Джейдер. — Давай уж, попробую отстоять честь человечества.
— Хорошо, представь автоматический танкер, который доставляет кислород на небольшую научную станцию А с населением двадцать человек, — продолжила Сьюзен с нескрываемым азартом в голосе. — Станция А находится далеко, и наш танкер единственный, что регулярно поставляет кислород на станцию. Вдруг на большой жилой станции Б населением в тысячу человек произошла авария, повлекшая за собой отказ системы жизнеобеспечения. Наш танкер может изменить свой курс, чтобы помочь жилой станции Б и спасти жителей, но при этом ученые станции А умрут, не получив кислород вовремя. Перед машиной встает выбор: спасти тысячу жителей жилой станции, убив при этом двадцать ученых, либо продолжить намеченный курс и своим бездействием позволить погибнуть тысяче. Как бы поступил ты на месте машины?
— Я бы выбрал двадцать ученых, — немного подумав, ответил Джейдер.
— Да? — удивленно протянула Сьюзен. — И почему же?
— Жизни ученых зависят от меня, и поставлять кислород — моя профессиональная ответственность. Если на жилой станции Б случится авария, а я не откликнусь на зов помощи и пролечу мимо, жители станции погибнут из-за меня? Нет, они погибнут из-за аварии, а я не понесу ответственности за их гибель. Но если я откликнусь на зов помощи и направлю танкер к жилой станции Б, чтобы спасти жителей, — я возьму ответственность за смерть двадцати человек, и это будет осознанным массовым убийством. Думаешь, родные погибших отнеслись бы с пониманием к такому благородству? Да меня с кишками съели бы и не подавились. Когда случаются подобные ситуации, где нужно быстро принимать решения, люди действуют эмоционально и уж точно не вдаются в философию, — подытожил Джейдер.
— Разве это не значит, что лучше передать принятие подобных решений машинам? У них нет ни эмоций, ни врожденных инстинктов, и, в отличие от людей, они способны четко следовать этике, — Сьюзен сделала небольшую паузу, словно о чем-то задумалась. — Уилсон!
— Да, мисс?
— Ты слышал задачу. Как бы поступил ты? — Спросила она у скафандра Джейдера.
— Прошу прощения, мисс, но я не способен принимать решения, влекущие за собой гибель людей, — это находится далеко за рамками дозволенных мне функций.
— Предположим, что тебя не ограничивают классические законы робототехники, как бы ты поступил тогда? — В ответ последовало лишь затяжное молчание.
— Я жду ответ! — повелительным тоном сказала Сьюзен.
— Мне нужно подумать, мисс, — донеслось от скафандра. Сьюзен общалась с ним уверенно и строго. Было видно, что она знает, как добиться желаемого от искусственного интеллекта. Джейдер с интересом наблюдал за происходящим. Ему никогда и в голову не приходило общаться с Уилсоном.
— Мисс… — грубый бас скафандра прервал тишину
— Я слушаю, Уилсон!
— Исходя из заложенных в меня параметров, моей главной целью, имеющей первостепенное значение, является поддержание жизни носителя скафандра. Отталкиваясь от основной задачи, определим, что носитель скафандра является человеком, следовательно сохранение большего числа жизней людей можно интерпретировать как косвенное выполнение основной задачи. Спасение тысячи людей ценой двадцати недопустимо, но логически больше соответствует моей основной цели.
— Неплохо. Очень неплохо, — удовлетворенно произнесла Сьюзен. — Кто тебя написал, Уилсон?
— Разработчик поведенческого модуля, Зак Саливер, мисс.
— Нужно отдать ему должное, он лучший в своем деле. Вот видишь, Джейдер, в твой скафандр даже не закладывали моральные установки, но путем логических размышлений он только что самостоятельно выбрал наиболее верное и гуманное решение!
Сьюзен улыбнулась и ускорила свои прыжки, отрываясь вперед.
— М-да, — протянул Джейдер, испытывая чувство уязвленной гордости. — Интересно, хоть в чем-то люди могут быть лучше роботов в твоем представлении?
— Ты знаешь, Джейдер, — грустным голосом ответила ему Сьюзен, — на самом деле все не так просто.
— Что ты имеешь в виду? — удивленно переспросил ее Джейдер.
Они шли в тишине ночного неба, приближаясь к огромной тени у подножья криовулкана.
— Я сомневаюсь, Джейдер. Я сомневаюсь, что у нас все получится. Как мы, люди, можем чему-то научить этих роботов, если мы сами ничего толком не знаем? Посмотри на меня. Я боюсь сделать лишний шаг прочь от колонии. Я боюсь открытого космоса, но учу не бояться его роботов. Разве я могу быть хорошим учителем? Мы слишком мало знаем об этом мире, чтобы учить кого-то.
— Но разве это плохо? — поспешил поддержать ее Джейдер. — Пусть машины сами изучают этот мир. Наверное, ты права, за ними будущее. Да и тысяча человек важнее, чем двадцать, даже если эти люди лично знакомы тебе.
Джейдер на мгновение запнулся.
— Я лишь только хочу сказать, что ты даешь старт этим машинам. Ты не можешь знать все, но ты учишь их изучать этот мир самостоятельно, и это самое главное. И я думаю, ты хорошо справляешься со своей задачей.
— Спасибо, Джейдер, — робко произнесла Сьюзен после непродолжительного молчания.
Они продолжили свой путь в тишине, пересекая обширное заснеженное плато. Под ногами бугрились следы от ровера, уходя по пологому подъему вдаль, к рядам невзрачных строений. Над головой раскинулись миллионы звезд, усеивая небосвод россыпью ярких алмазов. Джейдер бросил взгляд на показатели сердечного ритма Сьюзен.
«Похоже, она сама не заметила, как успокоилась», — успел подумать он, прежде чем Сьюзен нарушила тишину.
— Как же красиво! — произнесла она, любуясь глубиной звездного неба. — А посмотри, сколько звезд. Как же их много! Я не могу найти ни одного созвездия в этом множестве.
— Да, я тоже люблю смотреть на них, — согласился Джейдер.
— Я завидую тебе, Джейдер. Я всю жизнь мечтала о космосе, но всегда была трусихой. И, даже прилетев сюда, на Юпитер, я все время прячусь в лаборатории и не вижу этой красоты. Скажи, к этим звездам тоже привыкаешь?
— Знаешь, любая работа остается работой, — произнес Джейдер, теряясь в поисках ответа, — но звезды я вижу каждый день и до сих пор не могу привыкнуть. И я очень боюсь, что это когда-нибудь произойдет.
— Даже больше того, что нас заменят роботы, — отшутился он, заставив Сьюзен улыбнуться. — Я думаю, что если даже звезды перестанут манить нас, то нам уже ничего не поможет.
— Дурак ты, Джейдер! — рассмеялась Сьюзен, толкнув его в плечо. — Вечно ты умудряешься все испортить. Пойдем, мы уже почти пришли.
Глава 18. Вмешательство
В некогда мертвом сервисном отсеке сбора телеметрии, призванного стать могилой планетарного инженера второго класса Джейдера Вакроя, теперь кипела работа. В попытках ухватиться за слабо брезжущую надежду он уже 15 минут кропотливо копался в платах под панелью управления блока данных. Несколько проводов тянулось от скафандра к распределителю питания блока XMA. Поданное из скафандра драгоценное питание должно было оживить некогда умершие системы. На деле некоторые узлы упорно отказывались функционировать. Однако работоспособность всей системы Джейдеру была не нужна. Случайная подсказка скафандра сводила спектр его интересов к узконаправленной функции, способной расширить зону возможностей за пределы тесных стен. И использовать ее можно было через панель управления сервисного отсека при условии наличия телеметрии. Вернув позаимствованный модуль памяти на место, Джейдер заканчивал замену перегоревшей цепи, необходимой для запуска панели управления.