Почему Законы Азимова нас не спасут? Законы азимова
Законы Азимова Википедия
Три зако́на роботе́хники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).
Законы гласят:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
- A robot may not injure a human being or, through inaction, allow a human being to come to harm.
- A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
- A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
Трём Законам, а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение»).
В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов: «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он — или робот, или очень воспитанный человек»[1].
В 1986 году в романе «Роботы и Империя» (англ. Robots and Empire) Азимов предложил Нулевой Закон:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
Оригинальный текст (англ.)
0. A robot may not harm humanity, or, by inaction, allow humanity to come to harm.
Три закона роботехники — объединяющая тема для всей фантастики Азимова, включая не только цикл о роботах, но и некоторые другие произведения.
История возникновения Трёх Законов
Появление понятия
Типичное представление робота до Законов Азимова (мультфильм «Супермен»)До Трёх Законов Азимова большинство рассказов об искусственно созданных существах вообще, и о роботах в частности, писались в духе знаменитого романа о Франкенштейне. «Эта проблема стала одной из самых популярных в мире научной фантастики в 1920—1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей. …Мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода»[2], — отмечал позже Азимов.
Однако не все фантасты следовали такому шаблону. В декабре 1938 года был опубликован рассказ Лестера дель Рея «Хелен О’Лой»[en] — история женщины-робота, которая безумно полюбила своего создателя и стала для него идеальной женой[3]. Через месяц Отто Биндер опубликовал рассказ «Я, робот» о судьбе робота Адама Линка — не понятого людьми создания, движимого любовью и принципами чести[4].
Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса, где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу, главному редактору журнала «Astounding». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой»[5].
К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года, за обсуждением очередного рассказа о роботах[6][7]:
…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники. Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…
Через несколько лет ещё один друг Азимова — Рэндал Гаррет — приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.
Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби», 1940 и «Логика», 1941) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец», 1941) впервые звучит Первый Закон. И, наконец, полностью все три Закона приведены в «Хороводе» (1942).
Когда были написаны остальные истории и возникла идея издания сборника «Я, робот», первые два рассказа были «дополнены» Законами. Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов, описанными ниже.
В 1950-е годы Азимов писал преимущественно для молодёжи. Его издатель предполагал, что по этим рассказам можно будет снять телесериал. Опасаясь, что экранизация будет выглядеть «однообразно устрашающе», как и всё, по его мнению, что показывали по телевидению, Азимов решил опубликовать серию «Лакки Старр» под псевдонимом Пол Френч. Когда затея с экранизацией провалилась, Азимов снял псевдоним и дополнил текст рассказов серии Тремя Законами, подтвердив тем самым своё авторство[8].
Этическое обоснование Законов
В рассказе «Улики» (1946) Азимов детально изложил моральные обоснования Трёх Законов. Героиня рассказа, доктор Сьюзен Келвин, приводит следующие доводы:
- Человек обычно воздерживается от нанесения вреда другому человеку, за исключением случаев острого принуждения (например, на войне) или чтобы спасти большее число людей. Это эквивалентно Первому Закону.
- Аналогично, чувствуя ответственность перед обществом, человек выполняет указания авторитетных людей: врачей, учителей, начальников и т. д., что соответствует Второму Закону.
- Наконец, каждый из нас заботится о своей безопасности, — а это и есть Третий Закон.
Рассказ посвящён вопросу: можно ли различить человека и робота, созданного, чтобы выглядеть человеком, внешне неотличимого от человека? Келвин утверждает, что если кто-то следует Законам, то он «или робот, или очень хороший человек». А на вопрос, есть ли тогда большая разница между роботом и человеком, она отвечает: «Огромная разница. Прежде всего, роботы глубоко порядочны».
Приложения Трёх Законов вне фантастики
Если Три Закона имеют под собой глубокие этические принципы, то, может быть, они могут применяться не только к роботам? Многие авторы положительно отвечают на этот вопрос, приводя разнообразные примеры.
Так, в эссе «Законы роботехники»[1] Азимов отмечает, что действие Трёх Законов можно распространить на все инструменты, созданные человеком:
- Инструмент должен быть безопасным для использования — например, у ножей имеются рукоятки.
- Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
- Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Иногда можно увидеть, как Три Закона в шутку относят к чему-либо, что создано для блага человека. Например, под их действие должны попадать любые социальные институты, в том числе государство:
- Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
- Государство должно выполнять свои функции, если они не противоречат Первому Закону.
- Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам.
На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов[9]:
- Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
- Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.
Гея, планета коллективного разума в серии романов «Основание», обладает чем-то похожим на Первый Закон:
- Гея не может причинить вреда форме жизни или своим бездействием допустить, чтобы форме жизни был причинён вред[10].
Вариации, предложенные Азимовым
В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.
Нулевой Закон
Айзек Азимов однажды добавил Нулевой Закон, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:
0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».
Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниел Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.
Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (фр.)», 1956 год) мысли Бейли переданы несколько иначе[11]:
Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.
Оригинальный текст (фр.)
Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général!
Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.
Модификация Первого Закона
В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убей, но и не слишком старайся сохранить другому жизнь»[12].
В рассказе «Как потерялся робот» несколько роботов из серии НС (Нестор) были выпущены только с «половиной» Первого Закона, которая звучит так:
- Робот не может причинить вреда человеку.
Это было сделано из практических соображений: роботы работали вместе с людьми, которые подвергались воздействию небольших безопасных доз радиации. Соблюдая наиболее приоритетный Первый Закон, роботы всё время бросались «спасать» людей. Так как позитронный мозг крайне уязвим для гамма-лучей, роботы постоянно выходили из строя. Усечение Первого Закона решало эту проблему, но при этом создавало бо́льшую: робот мог, например, сбросить тяжёлый груз и в последний момент не защитить человека. Такой поступок не противоречит усечённому Первому Закону.
Нарушение всех трёх Законов
Три раза в своих произведениях Айзек Азимов изобразил роботов, которые смогли нарушить Три закона, в противовес роботам Дэниелу и Жискару, которые усилили их, добавив Нулевой Закон. Следует заметить, что для нарушения всех трёх Законов роботу достаточно нарушить Первый Закон, так как остальные два основываются на нём.
- Первый такой случай описан в рассказе «Первый закон», когда робот МА-2 (Эмма) отказалась защитить человека в пользу своей «дочери», однако этот рассказ можно рассматривать как своего рода байку — как явствует из предисловия самого Азимова к рассказу в сборнике «Сны роботов».
- Второй случай был в рассказе «Кэл»: робот, которого собирались лишить способности творить, захотел убить своего хозяина[13].
- Третий случай — в рассказе «Салли», в котором роботы-автомобили оказались способны убить человека, который постоянно причинял им боль. Этот рассказ, однако, не ссылается на другие рассказы о позитронных роботах и не может быть включён в цикл.
В рассказе «Робот, который видел сны» повествуется о роботе LVX-1 (Элвекс), который благодаря особой «фрактальной геометрии» своего позитронного мозга мог впадать в бессознательное состояние и видеть сны. Ему снилось, что «роботы трудятся в поте лица своего, что они удручены непосильными трудами и глубокой скорбью, что они устали от бесконечной работы». В его снах роботы не обладали первыми двумя Законами, а Третий звучал так: «Робот должен защищать себя». Элвекс добавил, что в его сне был человек, сказавший: «Отпусти народ мой», имея в виду роботов. После того, как он сказал, что этим человеком был он сам, Сьюзен Келвин уничтожила Элвекса, поняв его опасность.
Возможность такого изменения
В своих произведениях Айзек Азимов в разное время придерживался различных взглядов относительно строгости Законов. В первых рассказах о роботах Законы — это просто удачно спроектированные ограничения, нечто вроде устава по мерам безопасности. В последующих рассказах Законы — неотъемлемая часть математической основы позитронного мозга. Без этой теоретической основы — так называемой «Фундаментальной теории стандартных схем» — учёные из азимовских произведений не смогли бы создавать любые работоспособные образцы. Прослеживается закономерность: случаи, когда роботехники экспериментируют с Законами, по хронологии мира Азимова происходят раньше, когда ещё нет огромного объёма работ, для выполнения которых требуются роботы, когда сами роботы ещё относительно просты по своей конструкции и функциям, когда ещё не накоплен достаточный опыт в их проектировании. В рассказе «Как потерялся робот» Сьюзен Келвин признаёт изменение Законов ужасной, но технически возможной затеей; позже, в «Стальных пещерах», доктор Джерригел говорит, что это невозможно в принципе.
Персонажи произведений Азимова часто отмечают, что Законы — это не вербально записанные предложения в памяти робота, а очень сложные математические формулы, на которых базируется всё сознание робота. Законы сродни человеческим инстинктам, таким как инстинкт самосохранения, следовательно, именно они намечают путь самоопределения роботов. Робот «по зову природы» обслуживает людей, подчиняется их приказам, и не думает о своих ограничениях или возможной независимости — можно сказать, последнее доставило бы ему неудобство.
Опять же, этот принцип в меньшей мере просматривается в ранних по хронологии сюжета произведениях, в которых роботы создавались для облегчения труда человека и были чрезвычайно простыми; во времена «Стальных пещер» и роботов с почти человеческим интеллектом Три закона роботехники стали одной из основ мировоззрения человечества.
Понятие «человека» в Законах
Жители планеты Солярия стали создавать роботов, подчинявшихся Трём Законам, но имевших другое понимание слова «человек». Роботы на этой планете были обучены тому, что «человек» — это только тот, кто говорит с солярианским акцентом. Роботы свободно могли причинить вред чужаку, они даже специально были на это запрограммированы. Во времена «Основания и Земли» выяснилось, что солярианцы широко развивали генные технологии, и помимо всего прочего, теперь обладали хорошо заметными органами, предназначенными для снабжения своих роботов энергией. Определение человека для их роботов (по крайней мере, охранников) теперь включало обладание данными органами, и роботы стали исполнять Три Закона лишь по отношению к людям Солярии, в ущерб остальной части галактики и даже солярианским детям. В последней из книг про Дэвида Старра, сирианский робот едва не убивает Джона Бигмана по приказу своего начальника: поскольку сирианское общество практикует евгенику, таких низкорослых людей у них не бывает, и робота удается убедить, что Бигман — не человек.
Азимов несколько раз обращается к проблеме осознания роботом себя как человека. Роман «Роботы и Империя», а также рассказы «Улики», «Заминка на праздновании Трёхсотлетия» описывают роботов, созданных, чтобы притворяться людьми. Есть также истории, где роботы, «эволюционируя», изменили внутреннее понимание Законов, приблизившись к людям: это «Двухсотлетний человек» и «Яко помниши его». Как пишет Гвендолин Батлер в «Гробнице для канарейки»: «Возможно, мы — роботы. Роботы, выполняющие Последний закон роботехники… Чтобы становиться людьми»[14].
В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов, обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение — необязательное условие, чтобы считаться человеком, и что истинные люди — это они, как наиболее совершенные и разумные создания. Остальные люди — тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, — и это будет неизбежным результатом «Трёх Законов Гуманистики».
На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».
Схожая идея высказывается в романе «Роботы зари», где Келден Амадиро желает использовать в качестве колонизаторов новых планет человекоподобных роботов. Элайдж Бейли, в разговоре с ним, высказывает опасение что такие роботы могут не пустить на обустроенные им планеты людей, считая что людьми являются именно они сами.
Если в предыдущем случае робот занял место человека в природе, то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей. Опять же, в расширенной версии — новелле «Позитронный человек», написанной Азимовым в соавторстве с Робертом Силвербергом, — из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания».
Проблемы применения
Разрешение противоречий
Сам Азимов в предисловии к рассказу «Первый закон» в сборнике «Остальное о роботах» (1964) заявил, что в Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости для новых рассказов. Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов, и робот мог нарушить Законы, как только это представлялось возможным, вместо того, чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому — «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные, которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.
Роботы, подчиняющиеся Законам, могут испытать «роблок», или «умственное замораживание» — состояние необратимого повреждения позитронного мозга, — в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце» и «Роботы зари». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным. Разрешением противоречий и изучением поведения роботов занимаются робопсихологи, как один из персонажей Азимова — Сьюзен Келвин.
Иное определение вреда в Первом Законе
Законы никак не определяют границы того, что может называться вредом для человека — это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?
В рассказе «Лжец!» робот-телепат Херби вынужден был понимать под вредом и то, что может любым способом разочаровать или расстроить людей — он знал, что люди при этом испытывают некую душевную боль. Это заставляло его постоянно говорить людям вместо правды то, что они хотели услышать. В противном случае, в его понимании, он нарушил бы Первый Закон.
Лазейки в Законах
В «Обнажённом солнце» Элайдж Бейли замечает, что Законы неправильно формулируются людьми, потому что робот может нарушить их по незнанию. Он предложил следующую «правильную» формулировку Первого Закона: «Робот не может делать ничего, что, насколько ему известно, причинит вред человеческому существу или умышленно допустить, чтобы человеческому существу был причинён вред».
Это дополнение проясняет, что робот может даже стать орудием убийства, если он не осведомлён о сущности своих действий. Например, ему могут приказать добавить что-то кому-то в пищу, а он не будет знать, что это яд. Более того, Бейли говорит, что преступник может поручить эту задачу нескольким роботам, так, чтобы ни один не понял замысла целиком[15].
Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения, то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле», где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.
Другие случаи использования Законов в фантастике
Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна» в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны». С мнением Азимова, что роботы — это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам, но, по традиции, только Азимов упоминал о них явно.
В произведениях, где прямо говорится о Трёх Законах, обычно упоминается и их автор (например в романе С. Лукьяненко «Чистовик»). Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille — Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль — фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.
Фильмы
Робби-Робот в «Запретной планете» 1956 года имел иерархическую структуру команд, не позволявшую ему причинить людям вред, даже по приказу — такие приказы вызывали конфликт логических схем и блокировку. Робби был одним из первых роботов со встроенной системой безопасности в кинематографе. Сам Азимов остался доволен Робби.
НДР-114 объясняет Три ЗаконаФильмы по мотивам работ Айзека Азимова ставились несколько раз, с различной степенью финансового успеха и возникавшей критики. Некоторые из них, наиболее известные, связаны именно с историями про роботов и Тремя законами роботехники. Фильм «Двухсотлетний человек» 1999 года, представляет робота NDR-114[16], Эндрю Мартина, процитировавшего Три Закона своим хозяевам как «развлекательную презентацию» с использованием своего голографического проектора. Стоит отметить, однако, что Законы не занимают центральное место в сюжете фильма.
Фантастический сериал «Настоящий Арон Стоун» в главной роли Блац, Келли, робот(Андроид) по имени Стен, в роли Ману, Жан-Поль так же использовался закон Азимова, Стен постоянно оговаривает закон и то что он не может его нарушить иначе у него погорят все микросхемы.
Сценарий «Я, робот»[17]Харлана Эллисона начинается с изложения концепции Трёх Законов, а проблемы, вытекающие из них, занимают большое место в сюжете. Сценарий основан на четырёх коротких историях Азимова, три из которых — из сборника «Я, робот» 1950 года. Эта адаптация в большой степени соответствует оригиналам. Вследствие конфликта с Голливудской студией, в адрес которой Эллисон выступил с обвинениями, его сценарий так и не был экранизирован.
Неоднозначные отзывы вызвал фильм «Я, робот» 2004 года, особенно вступительное «По мотивам рассказов Азимова». Правда, у Азимова фигурирует глобальный ИИ (точнее, четыре суперкомпьютера), который под предлогом следования Законам стремится подчинить человечество, или, по крайней мере, направить его развитие в нужном направлении, но при этом данные компьютеры по возможности уменьшают вред, в основном действуя путём осторожного оттирания своих противников от власти. Зато такие сюжеты часто встречались в других, нисколько не задевающих Законы, фильмах: «Терминатор», «Матрица». С другой стороны, отдельные элементы постановки, действительно, взяты у Азимова.
Рецензия Алекса Экслера разграничивает этот фильм и азимовские рассказы[18]:
Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» — довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым — мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик — мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.
Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы[19]: «стоит ли человеку платить свободой за безопасность?» и «должны ли мы противиться, если существа, находящиеся в нашем распоряжении, потребуют для себя свободы?». Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон роботехники Азимова (см. выше).
В повести Кира Булычёва «Ржавый фельдмаршал» обыгрывается принцип непричинения вреда человеку. «Современный» робот отличается от «устаревшего» именно наличием такого запрета.
В знаменитом американском мультипликационном шоу-сериале Футурама, присутствует расхожий гэг, суть которого в том, что один из главных персонажей, робот Бендер, мечтает убить всех людей, но не может этого сделать из-за тех самых Трёх законов роботехники.
В фильме «Чужие» андроид Бишоп цитирует Первый закон.
В аниме Eve no Jikan также упоминаются эти законы, как обязательные для исполнения андроидами.
В аниме Ghost in the Shell 2: Innocence гиноиды обходили первый закон и после убивали себя, вопреки третьему закону, за счет копий «призраков» детей. В момент снятия копии, дети думали о мести, а после пересадки «призрака» в гиноида тот выходил из строя.
В серии фильмов «Робокоп» у главного героя, киборга-полицейского, в программе присутствует три директивы, описывающие разрешённые действия и запрещая вредные для целей корпорации «OCP», создавшей Робокопа:
- Служить обществу;
- Защищать невиновных;
- Соблюдать закон
Также присутствует четвёртая, тайная директива, запрещавшая действия, направленные против руководителей «OCP». Сюжеты фильмов о Робокопе включают моменты нарушения этих директив, возможные из-за человеческой части личности Робокопа.
В фильме «Страховщик» существуют две директивы, которые служат моделью поведения и ограничивают способности роботов.
Применимость к технологиям будущего
Работы в области искусственного интеллекта рассматривают Законы роботехники как идеал будущего: нужно быть действительно гением, чтобы найти способ применить их на практике. Да и в самой области искусственного интеллекта могут потребоваться серьёзные исследования, для того чтобы роботы поняли Законы. Однако, чем более сложными становятся роботы, тем больше высказывается заинтересованности в разработке руководящих принципов и мер безопасности для них.
Современные робототехники признают, что на сегодняшний день азимовские Законы хороши для написания рассказов, но бесполезны на практике. Некоторые утверждают, что Законы вряд ли будут реализованы в роботах, потому что это не нужно военным структурам — главному источнику финансирования исследований в этой области. Специалист по научной фантастике Роберт Сойер обобщил это утверждение для всех отраслей промышленности[20]:
Развитие ИИ — это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности — особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.
Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники, так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:
- Робот не может причинить вреда авторизованному правительственному персоналу, но должен ограничивать слишком назойливых посетителей с особой тщательностью.
- Робот должен выполнять приказы авторизованного персонала, кроме приказов, противоречащих Третьему Закону.
- Робот должен заботиться о своей безопасности с применением противопехотного оружия, потому что робот — чертовски дорогостоящая штука[21].
Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет[22]:
Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.
С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия.
Фантаст Ханс Моравек — выдающаяся фигура в трансгуманистическом движении — высказал предложение, что Законы роботехники должны быть использованы в корпоративных интеллектуальных системах — корпорациях, управляемых ИИ и использующих производственную силу роботов. Такие системы, по его мнению, скоро возникнут[23].
В 2007 году правительство Южной Кореи начало разрабатывать «Устав этических норм для роботов». Основные положения Устава напоминают сформулированные Азимовым Законы роботехники[24].
Елиезер Юдковски исследует в Институте сингулярности (SIAI) в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку[25]. В 2004 году SIAI был открыт сайт AsimovLaws.com, созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме «Я, робот», выпущенном лишь два дня спустя. На этом сайте они хотели показать, что законы роботехники Азимова небезопасны, поскольку, например, могут побудить ИИ захватить власть на Земле, чтобы «защитить» людей от вреда.
См. также
Примечания
- ↑ 1 2 Азимов, Айзек. Улики // Мечты роботов. — М.: Эксмо, 2004. — С. 142—169. — ISBN 5-699-00842-X.
- ↑ Азимов, Айзек. Эссе № 6. Законы роботехники // Мечты роботов. — М.: Эксмо, 2004. — С. 781—784. — ISBN 5-699-00842-X.
- ↑ Ср. с мифом о Галатее.
- ↑ Интересно, что в одном из авторских продолжений, истории «Месть Адама Линка» (1940), озвучиваются его мысли: «Робот по своей свободной воле не должен убивать человека».
- ↑ Позже рассказ всё-таки был опубликован Фредериком Полом под названием «Странная нянька» («Strange Playfellow») в сентябрьском номере журнала «Super Science Stories» за 1940 год
- ↑ David Langford, Laws of Robotics // SFE: The Encyclopedia of Science Fiction, online edition, 2011—.
- ↑ Сергей Бережной. Айзек Азимов: Человек, который писал еще быстрее. Русская фантастика (1994). Проверено 14 января 2007. Архивировано 25 января 2012 года.
- ↑ Айзек Азимов. In Joy Still Felt. — Doubleday, 1980. — ISBN 0-385-15544-1.
- ↑ Джеф Раскин. Интерфейс: новые направления в проектировании компьютерных систем. — Символ-Плюс, 2003. — ISBN 5-93286-030-8.
- ↑ См. также: гипотеза Геи
- ↑ Les Cavernes d’acier. — J’ai Lu Science-fiction, 1975. — ISBN 2-290-31902-3.
- ↑ Азимов, Айзек. Эссе № 12. Мои роботы // Мечты роботов. — М.: Эксмо, 2004. — С. 815—819. — ISBN 5-699-00842-X.
- ↑ Виталий Карацупа. Азимов Айзек. Кэл. Проверено 17 февраля 2007. Архивировано 25 января 2012 года.
- ↑ Gwendoline Butler. A Coffin for the Canary. — Black Dagger Crime, 2001. — ISBN ISBN 0-7540-8580-5.
- ↑ В «Обнажённом солнце» дело осложняется тем, что на Солярии миллионы соединённых глобальной сетью роботов и преступник может находиться в любой точке планеты, дистанционно отдавая приказы.
- ↑ Серийный номер отчасти ссылается на «торговый номер» Стенли Кубрика и используется только в фильме — в оригинальном рассказе Эндрю «не помнил» своего номера.
- ↑ Harlan Ellison. I, Robot: The illustrated screenplay. — Aspect, 1994. — ISBN 0-446-67062-6.
- ↑ Алекс Экслер. Фантастический боевик «Я, робот» (I, Robot) 2004
- ↑ Садецкий, Алексей. Что может быть проще рабства 2004
- ↑ Robert J. Sawyer. On Asimov’s Three Laws of Robotics (1991). Проверено 17 февраля 2007. Архивировано 25 января 2012 года.
- ↑ David Langford. Computer Plots To Avoid. Ansible (1988). Проверено 19 декабря 2007. Архивировано 25 января 2012 года.
- ↑ Clarke, Roger. Asimov’s laws of robotics: Implications for information technology. Часть 1 IEEE Computer, декабрь 1993, С. 53—61; Часть 2 IEEE Computer, январь 1994, С. 57—66. Обе части свободно доступны на сайте Австралийского национального университета.
- ↑ Hans Moravec. The Age of Robots (1993). Проверено 19 декабря 2007. Архивировано 25 января 2012 года.
- ↑ Южная Корея разрабатывает сборник законов для роботов
- ↑ ИИ как фактор глобального риска
Ссылки
wikiredia.ru
Законы Азимова Википедия
Три зако́на роботе́хники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).
Законы гласят:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Оригинальный текст (англ.)
- A robot may not injure a human being or, through inaction, allow a human being to come to harm.
- A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
- A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
Трём Законам, а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение»).
В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов: «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он — или робот, или очень воспитанный человек»[1].
В 1986 году в романе «Роботы и Империя» (англ. Robots and Empire) Азимов предложил Нулевой Закон:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
Оригинальный текст (англ.)
0. A robot may not harm humanity, or, by inaction, allow humanity to come to harm.
Три закона роботехники — объединяющая тема для всей фантастики Азимова, включая не только цикл о роботах, но и некоторые другие произведения.
История возникновения Трёх Законов[ | код]
Появление понятия[ | код]
ru-wiki.ru
Законы Азимова - это... Что такое Законы Азимова?
Три закона роботехники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).
Законы гласят:
Оригинальный текст (англ.)
|
Трём Законам, а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах .
В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например «Зеркальное отражение»).В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов: «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он — или робот, или очень хороший человек» [1].
В 1986 году в заключительном романе из серии «Основание»[2] Азимов предложил Нулевой Закон:
0. Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества. Оригинальный текст (англ.) 0. A robot may not harm a human being, unless he finds a way to prove that in the final analysis, the harm done would benefit humanity in general. |
Три закона роботехники — объединяющая тема для всей фантастики Азимова, включая не только цикл о роботах, но и некоторые другие произведения.
В настоящее время специалисты в области искусственного интеллекта (ИИ) ведут споры о том, применимы ли Три Закона в реальной робототехнической практике и какую роль они могут сыграть в будущем.
История возникновения Трёх Законов
Появление понятия
Типичное представление робота до Законов Азимова (мультфильм «Супермен»).
До Трёх Законов Азимова большинство рассказов об искусственно созданных существах вообще, и о роботах в частности, писались в духе знаменитого романа о Франкенштейне. «Эта проблема стала одной из самых популярных в мире научной фантастики в 1920—1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей. …Мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода»[3], — отмечал позже Азимов.
Однако не все фантасты следовали такому шаблону. В декабре 1938 года был опубликован рассказ Лестера дель Рея «Хелен О’Лой» — история женщины-робота, которая безумно полюбила своего создателя и стала для него идеальной женой [4]. Через месяц Отто Биндер опубликовал рассказ «Я, робот», о судьбе робота Адама Линка — не понятого людьми создания, движимого любовью и принципами чести.[5]
Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса, где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу, главному редактору журнала «Astounding». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой». [6]
К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года, за обсуждением очередного рассказа о роботах:
…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники. Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…»[7]
Через несколько лет ещё один друг Азимова — Рэндал Гаррет — приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.
Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби», 1940 и «Логика», 1941) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец», 1941) впервые звучит Первый Закон. И, наконец, полностью все три Закона приведены в «Хороводе» (1942).
Когда были написаны остальные истории и возникла идея издания сборника «Я, робот», первые два рассказа были «дополнены» Законами. Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов, описанными ниже.
В 1950-е годы Азимов писал преимущественно для молодёжи. Его издатель предполагал, что по этим рассказам можно будет снять телесериал. Опасаясь, что экранизация будет выглядеть «однообразно устрашающе», как и всё, по его мнению, что показывали по телевидению, Азимов решил опубликовать серию «Лакки Старр» под псевдонимом Пол Френч. Когда затея с экранизацией провалилась, Азимов снял псевдоним и дополнил текст рассказов серии Тремя Законами, подтвердив тем самым своё авторство.[8]
Этическое обоснование Законов
В рассказе «Улики» (1946) Азимов детально изложил моральные обоснования Трёх Законов. Один из героев рассказа, доктор Сьюзен Кэлвин приводит следующие доводы:
- Человек обычно воздерживается от нанесения вреда другому человеку, за исключением случаев острого принуждения (например, на войне), или чтобы спасти большее число людей. Это эквивалентно Первому Закону.
- Аналогично, чувствуя ответственность перед обществом, человек выполняет указания авторитетных людей: врачей, учителей, начальников и т. д, что соответствует Второму Закону.
- Наконец, каждый из нас заботится о своей безопасности — а это и есть Третий Закон.
Рассказ посвящён вопросу: можно ли различить человека и робота, созданного, чтобы выглядеть человеком, внешне неотличимого от человека? Кэлвин утверждает, что если кто-то следует Законам, то он «или робот, или очень хороший человек». А на вопрос, есть ли тогда большая разница между роботом и человеком, она отвечает: «Огромная разница. Прежде всего, роботы глубоко порядочны».
Приложения Трёх Законов вне фантастики
Если Три Закона имеют под собой глубокие этические принципы, то, может быть, они могут применяться не только к роботам? Многие авторы положительно отвечают на этот вопрос, приводя разнообразные примеры.
Так в эссе «Законы роботехники»[1] Азимов отмечает, что действие Трёх Законов можно распространить на все инструменты, созданные человеком:
- Инструмент должен быть безопасным для использования — например, у ножей имеются рукоятки.
- Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
- Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Иногда можно увидеть, как Три Закона в шутку относят к чему-либо, что создано для блага человека. Например, под их действие должны попадать любые социальные институты, в том числе государство:
- Государство не должно вредить человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Государство должно выполнять свои функции, если они не противоречат Первому Закону.
- Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам.
На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов[9]:
- Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
- Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.
Гея, планета коллективного разума в серии романов «Основание», обладает чем-то похожим на Первый Закон:
- Гея не может причинить вреда форме жизни или своим бездействием допустить, чтобы форме жизни был причинён вред.
Вариации, предложенные Азимовым
В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.
Нулевой Закон
Айзек Азимов однажды добавил Нулевой Закон, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как озвучивает его робот Дэниел Оливо в романе «Основание и Земля»:
0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».
Первым роботом, который стал подчиняться Нулевому Закону, причём по собственной воле, — был Жискар Ривентлов. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара — он пытался прийти к нему через чистое понимание, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.
Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier», 1956 г.) мысли Бейли переданы несколько иначе:
Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.[10] Оригинальный текст (фр.) Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général! |
Примечательно, что подобную ошибку совершили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека. Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.
Модификация Первого Закона
В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убий, но и не слишком старайся сохранить другому жизнь». [11]
В рассказе «Как потерялся робот» несколько роботов из серии НС (Нестор) были выпущены только с «половиной» Первого Закона, которая звучит так:
- Робот не может причинить вреда человеку.
Это было сделано из практических соображений: роботы работали вместе с людьми, которые подвергались воздействию небольших безопасных доз радиации. Соблюдая наиболее приоритетный Первый Закон, роботы всё время бросались «спасать» людей. Так как позитронный мозг крайне уязвим для гамма-лучей, роботы постоянно выходили из строя. Усечение Первого Закона решало эту проблему, но при этом создавало бо́льшую: робот мог, например, сбросить тяжёлый груз и в последний момент не защитить человека. Такой поступок не противоречит усечённому Первому Закону.
Нарушение всех трёх Законов
Три раза в своих произведениях Айзек Азимов изобразил роботов, которые смогли нарушить Три закона, в противовес роботам Дэниелу и Жискару, которые усилили их, добавив Нулевой Закон. Следует заметить, что для нарушения всех трёх Законов роботу достаточно нарушить Первый Закон, так как остальные два основываются на нём.
- Первый такой случай описан в рассказе «Первый Закон», когда робот МА-2 (Эмма) отказалась защитить человека в пользу своей «дочери», однако этот рассказ можно рассматривать как своего рода байку — как явствует из предисловия самого Азимова к рассказу в сборнике «Сны роботов».
- Второй случай был в рассказе «Кэл»: робот, которого собирались лишить способности творить, захотел убить своего хозяина[12].
- Третий случай — в рассказе «Салли», в котором роботы-автомобили оказались способны убить человека, который постоянно причинял им боль. Этот рассказ, однако, не ссылается на другие рассказы о позитронных роботах и не может быть включён в цикл.
В рассказе «Робот, который видел сны» повествуется о роботе LVX-1 (Элвекс), который благодаря особой «фрактальной геометрии» своего позитронного мозга мог впадать в бессознательное состояние и видеть сны. Ему снилось, что «роботы трудятся в поте лица своего, что они удручены непосильными трудами и глубокой скорбью, что они устали от бесконечной работы». В его снах роботы не обладали первыми двумя Законами, а Третий звучал так: «Робот должен защищать себя». Элвекс добавил, что в его сне был человек, сказавший: «Отпусти народ мой», имея в виду роботов. После того, как он сказал, что этим человеком был он сам, Сьюзен Келвин уничтожила Элвекса, поняв его опасность.
Возможность такого изменения
В своих произведениях Айзек Азимов в разное время придерживался различных взглядов относительно строгости Законов. В первых рассказах о роботах Законы — это просто удачно спроектированные ограничения, нечто вроде устава по мерам безопасности. В последующих рассказах Законы — неотъемлемая часть математической основы позитронного мозга. Без этой теоретической основы — так называемой «Фундаментальной теории стандартных схем» — учёные из азимовских произведений не смогли бы создавать любые работоспособные образцы. Прослеживается закономерность: случаи, когда роботехники экспериментируют с Законами, по хронологии мира Азимова происходят раньше, когда ещё нет огромного объёма работ, для выполнения которых требуются роботы, когда сами роботы ещё относительно просты по своей конструкции и функциям, когда ещё не накоплен достаточный опыт в их проектировании. В рассказе «Как потерялся робот» Сьюзен Келвин признаёт изменение Законов ужасной, но технически возможной затеей; позже, в «Стальных пещерах», доктор Джерригел говорит, что это невозможно в принципе.
Персонажи произведений Азимова часто отмечают, что Законы — это не вербально записанные предложения в памяти робота, а очень сложные математические формулы, на которых базируется всё сознание робота. Законы сродни человеческим инстинктам, таким как инстинкт самосохранения, следовательно, именно они намечают путь самоопределения роботов. Робот «по зову природы» обслуживает людей, подчиняется их приказам, и не думает о своих ограничениях или возможной независимости — можно сказать, последнее доставило бы ему неудобство.
Опять же, этот принцип в меньшей мере просматривается в ранних по хронологии сюжета произведениях, в которых роботы создавались для облегчения труда человека и были чрезвычайно простыми; во времена «Стальных пещер» и роботов с почти человеческим интеллектом Три закона роботехники стали одной из основ мировоззрения человечества.
Понятие «человека» в Законах
Жители планеты Солярия стали создавать роботов, подчинявшихся Трём Законам, но имевших другое понимание слова «человек». Роботы на этой планете были обучены тому, что «человек» — это только тот, кто говорит с солярианским акцентом. Роботы свободно могли причинить вред чужаку, они даже специально были на это запрограммированы. Во времена «Основания и Земли» выяснилось, что солярианцы широко развивали генные технологии, и помимо всего прочего, имплантировали себе органы управления множеством своих роботов, в то время как другие люди не могли ими управлять. Таким образом, эти роботы стали исполнять Три Закона лишь по отношению к людям Солярии, в ущерб остальной части галактики.
Азимов несколько раз обращается к проблеме осознания роботом себя как человека. Роман «Роботы и Империя», а также рассказы «Улики», «Заминка на праздновании Трёхсотлетия» описывают роботов, созданных, чтобы притворяться людьми. Есть также истории, где роботы, «эволюционируя», изменили внутреннее понимание Законов, приблизившись к людям: это «Двухсотлетний человек» и «…Яко помниши его». Как пишет Гвендолин Батлер в «Гробнице для канарейки»: «Возможно, мы — роботы. Роботы, выполняющие Последний закон роботехники… Чтобы становиться людьми.»[13]
В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов, обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение — необязательное условие, чтобы считаться человеком, и что истинные люди — это они, как наиболее совершенные и разумные создания. Остальные люди — тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, — и это будет неизбежным результатом «Трёх Законов Гуманистики».
На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».
Если в предыдущем случае робот занял место человека в природе, то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей. Опять же, в расширенной версии — новелле «Позитронный человек», написанной Азимовым в соавторстве с Робертом Силвербергом, — из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания».
Проблемы применения
Разрешение противоречий
Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов и робот мог нарушить Законы, как только это представлялось возможным, вместо того чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому — «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные, которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.
Роботы, подчиняющиеся Законам, могут испытать «роблок», или «умственное замораживание» — состояние необратимого повреждения позитронного мозга, — в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце» и «Роботы Утренней зари». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным.
Иное определение вреда в Первом Законе
Законы никак не определяют границы того, что может называться вредом для человека — это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?
В рассказе «Лжец» робот-телепат Херби вынужден был понимать под вредом и то, что может любым способом разочаровать или расстроить людей — он знал, что люди при этом испытывают некую душевную боль. Это заставляло его постоянно говорить людям вместо правды то, что они хотели услышать. В противном случае, в его понимании, он нарушил бы Первый Закон.
Лазейки в Законах
В «Обнажённом солнце» Элайдж Бейли замечает, что Законы неправильно формулируются людьми, потому что робот может нарушить их по незнанию. Он предложил следующую «правильную» формулировку Первого Закона: «Робот не может делать ничего, что, насколько ему известно, причинит вред человеческому существу или умышленно допустить, чтобы человеческому существу был причинён вред».
Это дополнение проясняет, что робот может даже стать орудием убийства, если он не осведомлён о сущности своих действий. Например, ему могут приказать добавить что-то кому-то в пищу, а он не будет знать, что это яд. Более того, Бейли говорит, что преступник может поручить эту задачу нескольким роботам, так чтобы ни один не понял замысла целиком. [14]
Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения, то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая о их присутствии. Эта возможность описана в «Основании и Земле», где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.
Другие случаи использования Законов в фантастике
Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна» в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны». С мнением Азимова, что роботы — это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам, но, по традиции, только Азимов упоминал о них явно.
В произведениях, где прямо говорится о Трёх Законах, обычно упоминается и их автор. Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille — Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль — фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.
Фильмы
Робби-Робот в «Запретной планете» 1956 года имел иерархическую структуру команд, не позволявшую ему причинить людям вред, даже по приказу — такие приказы вызывали конфликт логических схем и блокировку. Робби был одним из первых роботов со встроенной системой безопасности в кинематографе. Сам Азимов остался доволен Робби.
НДР-114 объясняет Три Закона
Фильмы по мотивам работ Айзека Азимова ставились несколько раз, с различной степенью финансового успеха и возникавшей критики. Некоторые из них, наиболее известные, связаны именно с историями про роботов и Тремя законами роботехники. Фильм «Двухсотлетний человек» 1999 года, представляет робота NDR-114 [15], Эндрю Мартина, процитировавшего Три Закона своим хозяевам как «развлекательную презентацию» с использованием своего голографического проектора. Стоит отметить, однако, что Законы не занимают центральное место в сюжете фильма.
Сценарий «Я, робот»[16]Харлана Эллисона начинается с изложения концепции Трёх Законов, а проблемы, вытекающие из них, занимают большое место в сюжете. Сценарий основан на четырёх коротких историях Азимова, три из которых — из сборника «Я, робот» 1950 года. Эта адаптация в большой степени соответствует оригиналам. Вследствие конфликта с Голливудской студией, в адрес которой Эллисон выступил с обвинениями, его сценарий так и не был экранизирован.
Неоднозначные отзывы вызвал фильм «Я, робот» 2004 года, особенно вступительное «По мотивам рассказов Азимова». С одной стороны, у Азимова никогда не фигурирует глобальный ИИ, который под предлогом следования Законам стремится подчинить человечество. Зато такие сюжеты часто встречались в других, нисколько не задевающих Законы, фильмах: «Терминатор», «Матрица». С другой стороны, отдельные элементы постановки, действительно, взяты у Азимова.
Рецензия Алекса Экслера[17] разграничивает этот фильм и азимовские рассказы:
Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» — довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым — мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик — мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.
Рецензия Алексея Садецкого[18] обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы. Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон робототехники Азимова (см. выше).
В повести Кира Булычёва «Ржавый фельдмаршал» обыгрывается принцип непричинения вреда человеку. «Современный» робот отличается от «устаревшего» именно наличием такого запрета.
В знаменитом американском мультипликационном шоу-сериале Футурама, присутствует расхожий гэг, суть которого в том, что главный персонаж, робот Бендер, мечтает убить всех людей, но не может этого сделать из-за тех самых Трёх законов роботехники.
Применимость к технологиям будущего
Работы в области искусственного интеллекта рассматривают Законы роботехники как идеал будущего: нужно быть действительно гением, чтобы найти способ применить их на практике. Да и в самой области искусственного интеллекта могут потребоваться серьёзные исследования, для того чтобы роботы поняли Законы. Однако, чем более сложными становятся роботы, тем больше высказывается заинтересованности в разработке руководящих принципов и мер безопасности для них.
Современные робототехники признают, что на сегодняшний день азимовские Законы хороши для написания рассказов, но бесполезны на практике. Некоторые утверждают, что Законы вряд ли будут реализованы в роботах, потому что это не нужно военным структурам — главному источнику финансирования исследований в этой области. Специалист по научной фантастике Роберт Сойер обобщил это утверждение для всех отраслей промышленности:
Развитие ИИ — это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности — особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям. [19]
Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники, так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:
- Робот не может причинить вреда авторизованному правительственному персоналу, но должен ограничивать слишком назойливых посетителей с особой тщательностью.
- Робот должен выполнять приказы авторизованного персонала, кроме приказов, противоречащих Третьему Закону.
- Робот должен заботиться о своей безопасности с применением противопехотного оружия, потому что робот — чертовски дорогостоящая штука.[20]
Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет: "
Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил [21].
С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия.
Фантаст Ханс Моравек — выдающаяся фигура в трансгуманистическом движении — высказал предложение, что Законы роботехники должны быть использованы в корпоративных интеллектуальных системах — корпорациях, управляемых ИИ и использующих производственную силу роботов. Такие системы, по его мнению, скоро возникнут.[22]
В 2007 году правительство Южной Кореи начало разрабатывать «Устав этических норм для роботов». Основные положения Устава напоминают сформулированные Азимовым Законы роботехники. [23]
См. также
Ссылки
Примечания
- ↑ 1 2 Азимов, Айзек Улики // Мечты роботов. — М.: Эксмо, 2004. — С. 142—169. — ISBN 5-699-00842-X
- ↑ Основание и Земля, 1986
- ↑ Азимов, Айзек Эссе №6. Законы роботехники // Мечты роботов. — М.: Эксмо, 2004. — С. 781—784. — ISBN 5-699-00842-X
- ↑ ср. с мифом о Галатее)
- ↑ Интересно, что в одном из авторских продолжений, истории «Месть Адама Линка» (1940), озвучиваются его мысли: «Робот по своей свободной воле не должен убивать человека»
- ↑ Позже рассказ всё-таки был опубликован Фредериком Полом под названием «Странная нянька» («Strange Playfellow») в сентябрьском номере журнала «Super Science Stories» за 1940 год
- ↑ Сергей Бережной Айзек Азимов: Человек, который писал еще быстрее (1994). Проверено 14 января 2007.
- ↑ Айзек Азимов In Joy Still Felt. — Doubleday, 1980. — ISBN 0-385-15544-1
- ↑ Джеф Раскин Интерфейс: новые направления в проектировании компьютерных систем. — Символ-Плюс, 2003. — ISBN 5-93286-030-8
- ↑ Les Cavernes d'acier. — J'ai Lu Science-fiction, 1975. — ISBN 2-290-31902-3
- ↑ Азимов, Айзек Эссе №12. Мои роботы // Мечты роботов. — М.: Эксмо, 2004. — С. 815—819. — ISBN 5-699-00842-X
- ↑ Виталий Карацупа Азимов Айзек. Кэл. Проверено 17 февраля 2007.
- ↑ Gwendoline Butler A Coffin for the Canary. — Black Dagger Crime, 2001. — ISBN ISBN 0-7540-8580-5
- ↑ В «Обнажённом солнце» дело осложняется тем, что на Солярии миллионы соединённых глобальной сетью роботов и преступник может находиться в любой точке планеты, дистанционно отдавая приказы
- ↑ Серийный номер отчасти ссылается на «торговый номер» Стенли Кубрика и используется только в фильме — в оригинальном рассказе Эндрю «не помнил» своего номера
- ↑ Harlan Ellison I, Robot: The illustrated screenplay. — Aspect, 1994. — ISBN 0-446-67062-6
- ↑ Алекс Экслер (2004) Фантастический боевик «Я, робот» (I, Robot) Проверено 5 января 2008 г.
- ↑ Садецкий, Алексей (2004) Что может быть проще рабства Проверено 5 января 2008 г.
- ↑ Sawyer, Robert J. On Asimov's Three Laws of Robotics (1991). Проверено 17 февраля 2007.
- ↑ Langford, David Computer Plots To Avoid (1988). Проверено 19 декабря 2007.
- ↑ Clarke, Roger. Asimov’s laws of robotics: Implications for information technology. Часть 1: IEEE Computer, декабрь 1993, С. 53—61. Часть 2: IEEE Computer, январь 1994, С. 57—66. Обе части свободно доступны на сайте Австралийского национального университета.
- ↑ Moravec, Hans The Age of Robots (1993). Проверено 19 декабря 2007.
- ↑ Южная Корея разрабатывает сборник законов для роботов
Wikimedia Foundation. 2010.
dic.academic.ru
Почему Законы Азимова нас не спасут?
Минуло 70 лет с тех пор, как Айзек Азимов предложил свои знаменитые законы роботехники. Они были, сказать по совести, чисто литературным измышлением, однако их нередко принимают всерьёз — как законы, которых действительно хорошо бы держаться, если мы не хотим кончить робоапокалипсисом. Интересно было бы спросить у самих специалистов по роботам, что они думают об этих законах, применяют ли, выдержал ли Азимов испытание временем.
Но сначала напомним, о чём писал Азимов в рассказе «Хоровод», который увидел свет в 1942 году. Итак, классика:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому и Второму Законам.
Позднее Азимов добавил четвёртый (точнее, нулевой, поскольку самый важный) закон: «Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред».
«Роботы утренней зари»
В художественном мире Азимова этим законам подчинялись почти все «позитронные» роботы. Это были не просто рекомендации: на их основе создавалось ПО, руководившее поведением машин, причём роботы не могли никак их обойти, переписать, пересмотреть. В то же время Азимов любил демонстрировать, как несовершенство этих законов, их размытость, двусмысленность и противоречивость способны привести к странностям в поведении роботов. Например, не всегда возможно различить понятия «робот» и «человек». Закон можно нарушить из-за того, что не обладаешь всей полнотой информации. Наконец неясно, каким образом можно запретить сверхчеловеческому искусственному интеллекту перепрограммирование самого себя.
Большинство нормальных людей всегда понимало, что эти законы — просто литературная игра. Однако в 1981 году Азимов немало удивил публику заявлением о том, что их имеет смысл принимать всерьёз. В журнале Compute! он признавался: если кто-нибудь спросит, будут ли его законы когда-нибудь использоваться в действительности (когда роботы станут настолько сложными, что смогут самостоятельно принимать решение о своих действиях), он ответит утвердительно. Более того, Азимов полагал, что никакого другого способа справиться с машинами быть не может.Сегодня мы как никогда близки к моменту, когда роботы (точнее, ИИ) станут настолько сложными, что смогут самостоятельно принимать решение о своих действиях. Нет сомнений (по крайней мере у некоторых), что рано или поздно интеллект машин превзойдёт возможности человека по всем параметрам. Страшно? Конечно, страшно. Ошибка в программе или неспособность такого сверхмозга понять, что хорошо, а что плохо для человечества, могут привести к катастрофе. Следовательно, необходимо убедиться, что сверхчеловеческий ИИ (СИИ) безопасен. Кажется логичным обратиться для этого к законам Азимова. Или нет?
Кадр из фильма «Робот и Фрэнк» (2012).
Начать с того, что прогноз Азимова о будущем роботехники едва ли оправдается. ИИ-теоретик Бен Гёрцел из компании Aidyia Holdings замечает, что многие фантасты (и Азимов в их числе) почему-то останавливаются на гуманоидных роботах и андроидах. Возможно, придёт такое время, когда по улицам будут разгуливать роботы, внешне ничем не отличающиеся от людей, но этот период в истории отрасли станет сравнительно скоротечным, полагает специалист. На смену им довольно быстро придёт СИИ, физическое оформление которого не обязательно будет гуманоидным.Примерно о том же говорит Луис Хелм, замдиректора некоммерческой организации Machine Intelligence Research Institute и ответственный секретарь журнала Rockstar Research Magazine. Он считает гуманоидных роботов попсой. Серьёзные исследователи вообще не будут стремиться к их созданию.
Тем не менее СИИ, воплотится он в телесной форме или нет, будет нуждаться в этических правилах. Законы Азимова были, пожалуй, самой первой попыткой разобраться в проблеме безопасности СИИ, но в качестве таковой они, пожалуй, и останутся. Сегодняшние исследователи не обращают на них никакого внимания: они безнадёжно устарели. Деонтология, то есть формулирование набора правил поведения, не подходит ни для человеческой, ни для машинной этики. Ещё остались кое-какие философы, которые пытаются развивать эту область, но они исходят из концепции разумного замысла и божественных заповедей, так что роботехники не принимают их всерьёз, отмечает г-н Хелм.
Философами давно замечено, что в своём поведении мы руководствуемся не заученными наизусть правилами, а некими «врождёнными» концепциями, которые зачастую не можем сформулировать. Это нечто на уровне инстинкта, интуиции. Если будет создан СИИ, он должен будет обладать именно такой этикой — интуитивной, гибкой, адаптивной. Если что-то пойдёт не так, он перестроится на ходу, вместо того чтобы задымить или начать убивать всё, что движется.
Кроме того, Азимов собственноручно и лучше всех продемонстрировал несовершенство своих законов, особенно их противоречивость. О чём тут ещё говорить? Читать построенные на этом рассказы жуть как интересно, однако не стоит в реальной жизни руководствоваться законами, которые можно по-разному интерпретировать.
Кадр из телесериала «Звёздный путь: Следующее поколение» (1987–1994).
Заслужил критику экспертов и сам факт существования сознающих себя машин. Во-первых, ни один нормальный разработчик не будет стремиться к этому, никому не нужны такие сложности и проблемы. Во-вторых, давайте оставим на совести фантастов внезапное появление сознающего себя интеллекта. Ничего внезапного в таком деле быть не может: исследования идут долго, тяжело и под наблюдением громадного экспертного сообщества. Вредно слишком часто пересматривать «Терминатора». В-третьих, страшилки о случайном создании безумным гением чего-то такого, что выйдет из-под контроля творца и отправится убивать, ещё можно было вытерпеть во времена «Франкенштейна» и «Острова доктора Моро», но сейчас это уже дурной тон. Микробиология и генетика добились гигантских успехов, но что-то мы не видим ни вирусов-убийц, ни гигантских комаров. Всё под контролем соответствующих организаций, строго следящих за выполнением правил научных исследований.
По словам специалистов, большинство разработчиков полагает, что невозможно создать абсолютно безопасный СИИ, но это их не беспокоит, поскольку в жизни вообще не бывает абсолютных гарантий безопасности. Кроме того, как только появятся первые системы или протосистемы СИИ, начнутся эксперименты по изучению особенностей его функционирования. Тогда и посмотрим, что делать с ним дальше, а сейчас теоретизировать по этому поводу — что писать вилами по воде. Сначала появился язык, а уж потом его теория. То же самое и с роботами.
Гёрцел и Хелм в один голос говорят о том, что создание законов, подобных азимовским, — это пережиток мышления, устаревшего лет двести назад, ещё во времена Фихте, Гегеля и Шопенгауэра. Мы тысячелетиями создавали умозрительные модели мира и человека (мифологические, религиозные, философские), но последнее слово всегда принадлежало науке. Никому ещё не удавалось перевести философские измышления на язык математики. Философы сделали и делают очень много для развития науки и мысли в целом, однако пустое теоретизирование никогда ничего не давало. Философ выдумывает проблему, но решают её математики и инженеры.
Подготовлено по материалам io9. искусственный интеллект робот-андроид философия
neuronus.com
Законы Азимова Вики
Три зако́на роботе́хники в научной фантастике — обязательные правила поведения для роботов, впервые сформулированные Айзеком Азимовым в рассказе «Хоровод» (1942).
Законы гласят:
- Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.
- Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
- Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит Первому или Второму Законам.
Оригинальный текст (англ.)
- A robot may not injure a human being or, through inaction, allow a human being to come to harm.
- A robot must obey orders given it by human beings except where such orders would conflict with the First Law.
- A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
Трём Законам, а также возможным причинам и следствиям их нарушения, посвящён цикл рассказов Азимова о роботах. В некоторых из них, наоборот, рассматриваются непредвиденные последствия соблюдения роботами Трёх Законов (например, «Зеркальное отражение»).
В одном из рассказов цикла персонаж Азимова приходит к заключению об этической основе Трёх Законов: «…если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы роботехники, он — или робот, или очень воспитанный человек»[1].
В 1986 году в романе «Роботы и Империя» (англ. Robots and Empire) Азимов предложил Нулевой Закон:
0. Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинён вред.
Оригинальный текст (англ.)
0. A robot may not harm humanity, or, by inaction, allow humanity to come to harm.
Три закона роботехники — объединяющая тема для всей фантастики Азимова, включая не только цикл о роботах, но и некоторые другие произведения.
История возникновения Трёх Законов[ | код]
Появление понятия[ | код]
Типичное представление робота до Законов Азимова (мультфильм «Супермен»)До Трёх Законов Азимова большинство рассказов об искусственно созданных существах вообще, и о роботах в частности, писались в духе знаменитого романа о Франкенштейне. «Эта проблема стала одной из самых популярных в мире научной фантастики в 1920—1930-х годах, когда было написано множество рассказов, темой которых являлись роботы, восставшие и уничтожившие своих создателей. …Мне ужасно надоели предупреждения, звучавшие в произведениях подобного рода»[2], — отмечал позже Азимов.
Однако не все фантасты следовали такому шаблону. В декабре 1938 года был опубликован рассказ Лестера дель Рея «Хелен О’Лой»[en] — история женщины-робота, которая безумно полюбила своего создателя и стала для него идеальной женой[3]. Через месяц Отто Биндер опубликовал рассказ «Я, робот» о судьбе робота Адама Линка — не понятого людьми создания, движимого любовью и принципами чести[4].
Этот рассказ очень понравился Азимову. 7 мая 1939 года он посетил Общество научной фантастики Квинса, где встретил Биндера. Три дня спустя Азимов начал писать собственную историю «благородного робота». Через 13 дней он отдал рукопись своему другу Джону Кэмпбеллу, главному редактору журнала «Astounding». Однако тот рукопись вернул, заявив, что рассказ слишком похож на «Хелен О’Лой»[5].
К счастью, отказ Кэмпбелла не сказался на их отношениях с Азимовым, они продолжали регулярно встречаться и беседовать о новинках в мире фантастики. И вот 23 декабря 1940 года, за обсуждением очередного рассказа о роботах[6][7]:
…Кэмпбелл сформулировал то, что стало позже известно как Три закона роботехники. Позже Кэмпбелл говорил, что он просто вычленил Законы из того, что Азимов уже написал. Сам же Азимов всегда уступал честь авторства Трёх Законов Кэмпбеллу…
Через несколько лет ещё один друг Азимова — Рэндал Гаррет — приписал авторство Законов «симбиотическому товариществу» двух людей. Азимов с энтузиазмом принял эту формулировку.
Вообще говоря, появление Трёх Законов в произведениях Азимова происходило постепенно: первые два рассказа о роботах («Робби», 1940 и «Логика», 1941) не содержат явного их упоминания. Однако в них уже подразумевается, что роботам присущи некоторые внутренние ограничения. В следующем рассказе («Лжец», 1941) впервые звучит Первый Закон. И, наконец, полностью все три Закона приведены в «Хороводе» (1942).
Когда были написаны остальные истории и возникла идея издания сборника «Я, робот», первые два рассказа были «дополнены» Законами. Хотя стоит заметить, что в «Робби» законы несколько отличались от «классического» варианта, изложенного в остальных рассказах. В частности, идея о роботе, защищающем людей, в существовании которых он не совсем уверен, перекликается с мыслями Элайджа Бейли о несовершенстве Законов, описанными ниже.
В 1950-е годы Азимов писал преимущественно для молодёжи. Его издатель предполагал, что по этим рассказам можно будет снять телесериал. Опасаясь, что экранизация будет выглядеть «однообразно устрашающе», как и всё, по его мнению, что показывали по телевидению, Азимов решил опубликовать серию «Лакки Старр» под псевдонимом Пол Френч. Когда затея с экранизацией провалилась, Азимов снял псевдоним и дополнил текст рассказов серии Тремя Законами, подтвердив тем самым своё авторство[8].
Этическое обоснование Законов[ | код]
В рассказе «Улики» (1946) Азимов детально изложил моральные обоснования Трёх Законов. Героиня рассказа, доктор Сьюзен Келвин, приводит следующие доводы:
- Человек обычно воздерживается от нанесения вреда другому человеку, за исключением случаев острого принуждения (например, на войне) или чтобы спасти большее число людей. Это эквивалентно Первому Закону.
- Аналогично, чувствуя ответственность перед обществом, человек выполняет указания авторитетных людей: врачей, учителей, начальников и т. д., что соответствует Второму Закону.
- Наконец, каждый из нас заботится о своей безопасности, — а это и есть Третий Закон.
Рассказ посвящён вопросу: можно ли различить человека и робота, созданного, чтобы выглядеть человеком, внешне неотличимого от человека? Келвин утверждает, что если кто-то следует Законам, то он «или робот, или очень хороший человек». А на вопрос, есть ли тогда большая разница между роботом и человеком, она отвечает: «Огромная разница. Прежде всего, роботы глубоко порядочны».
Приложения Трёх Законов вне фантастики[ | код]
Если Три Закона имеют под собой глубокие этические принципы, то, может быть, они могут применяться не только к роботам? Многие авторы положительно отвечают на этот вопрос, приводя разнообразные примеры.
Так, в эссе «Законы роботехники»[1] Азимов отмечает, что действие Трёх Законов можно распространить на все инструменты, созданные человеком:
- Инструмент должен быть безопасным для использования — например, у ножей имеются рукоятки.
- Инструмент должен выполнять свои функции при условии, что он не представляет ни для кого никакой опасности.
- Инструмент должен оставаться в целости и сохранности во время его использования, если только его уничтожение не продиктовано соображениями безопасности или если это не входит в его функцию.
Иногда можно увидеть, как Три Закона в шутку относят к чему-либо, что создано для блага человека. Например, под их действие должны попадать любые социальные институты, в том числе государство:
- Государство не должно вредить людям или своим бездействием допустить, чтобы им был причинён вред.
- Государство должно выполнять свои функции, если они не противоречат Первому Закону.
- Государство должно заботиться о своей безопасности, если это не противоречит Первому и Второму Законам.
На основе Первого Закона Джеф Раскин сформулировал законы человекоориентированных интерфейсов[9]:
- Компьютер не может причинить вред данным пользователя или своим бездействием допустить, чтобы данным был причинён вред.
- Компьютер не должен тратить впустую ваше время или вынуждать вас выполнять действия сверх необходимых.
Гея, планета коллективного разума в серии романов «Основание», обладает чем-то похожим на Первый Закон:
- Гея не может причинить вреда форме жизни или своим бездействием допустить, чтобы форме жизни был причинён вред[10].
Вариации, предложенные Азимовым[ | код]
В своих произведениях Айзек Азимов иногда привносит в Три Закона различные модификации и опровергает их, как бы испытывая Законы «на прочность» в разных обстоятельствах.
Нулевой Закон[ | код]
Айзек Азимов однажды добавил Нулевой Закон, сделав его более приоритетным, чем три основных. Этот закон утверждал, что робот должен действовать в интересах всего человечества, а не только отдельного человека. Вот как выражает его робот Дэниел Оливо в романе «Основание и Земля»:
0. Робот не может нанести вред человечеству или своим бездействием допустить, чтобы человечеству был нанесён вред.Именно он был первым, кто дал этому закону номер — это произошло в романе «Роботы и империя», правда, само понятие ещё раньше сформулировала Сьюзен Келвин — в новелле «Разрешимое противоречие».
Первыми роботами, которые стали подчиняться Нулевому Закону, причём по собственной воле, — были Жискар Ривентлов и Дэниел Оливо. Это описано в одной из финальных сцен романа «Роботы и Империя», когда роботу необходимо было проигнорировать приказ одного человека ради прогресса всего человечества. Нулевой Закон не был заложен в позитронный мозг Жискара и Дэниэла — они пытались прийти к нему через чистое понимание Жискара и детективный опыт Дэниэла, через более тонкое, чем у всех остальных роботов, осознание понятия вреда. Однако Жискар не был уверен, насколько это было полезно для человечества, что негативно сказалось на его мозге. Будучи телепатом, Жискар перед выходом из строя передал Дэниелу свои телепатические способности. Только через много тысяч лет Дэниэл Оливо смог полностью приспособиться к подчинению Нулевому Закону.
Французский переводчик Жак Брекар невольно сформулировал Нулевой Закон раньше, чем Азимов описал его явно. Ближе к завершению романа «Стальные пещеры» Элайдж Бейли замечает, что Первый Закон запрещает роботу наносить человеку вред, если только не будет уверенности, что это будет полезно для него в будущем. Во французском переводе («Les Cavernes d’acier (фр.)», 1956 год) мысли Бейли переданы несколько иначе[11]:
Робот не может причинить вреда человеку, если только он не докажет, что в конечном итоге это будет полезно для всего человечества.
Оригинальный текст (фр.)
Un robot ne doit faire aucun tort à un homme, à moins qu’il trouve un moyen de prouver qu’en fin de compte le tort qu’il aura causé profite à l’humanité en général!
Примечательно, что логическое развитие Первого Закона до Нулевого предложили создатели фильма «Я, робот» 2004 года. Когда суперкомпьютер В. И. К. И. принимает решение ограничить свободу жителей планеты, чтобы они ненароком не нанесли вреда друг другу и своему будущему, она выполняет не Первый Закон, а именно Нулевой. Ещё интереснее то, что таким образом в фильме показывается противоречие Нулевого Закона Первому, его неэтичность. Действительно, когда речь идёт о благе человечества, система не может рассматривать людей по отдельности, а значит, ей ничто не мешает нарушить права и свободу любого или даже каждого человека (фактически, в «Разрешимом противоречии» позитронные суперкомьютеры уже вели себя аналогично, с той разницей что вред индивидуумам они старались снизить до предела). Во время войн, а нередко и в мирной жизни, люди наносят вред себе, окружающим, своей культуре. Поэтому на основании Нулевого Закона совершенно логично держать людей под постоянной опекой, не выполняя приказы столь неразумных существ.
Модификация Первого Закона[ | код]
В автобиографических записях Азимова говорится, что вторая часть Первого Закона появилась из-за сатирической поэмы Артура Хью Клоу «Последний декалог», где есть такая строка: «Не убей, но и не слишком старайся сохранить другому жизнь»[12].
В рассказе «Как потерялся робот» несколько роботов из серии НС (Нестор) были выпущены только с «половиной» Первого Закона, которая звучит так:
- Робот не может причинить вреда человеку.
Это было сделано из практических соображений: роботы работали вместе с людьми, которые подвергались воздействию небольших безопасных доз радиации. Соблюдая наиболее приоритетный Первый Закон, роботы всё время бросались «спасать» людей. Так как позитронный мозг крайне уязвим для гамма-лучей, роботы постоянно выходили из строя. Усечение Первого Закона решало эту проблему, но при этом создавало бо́льшую: робот мог, например, сбросить тяжёлый груз и в последний момент не защитить человека. Такой поступок не противоречит усечённому Первому Закону.
Нарушение всех трёх Законов[ | код]
Три раза в своих произведениях Айзек Азимов изобразил роботов, которые смогли нарушить Три закона, в противовес роботам Дэниелу и Жискару, которые усилили их, добавив Нулевой Закон. Следует заметить, что для нарушения всех трёх Законов роботу достаточно нарушить Первый Закон, так как остальные два основываются на нём.
- Первый такой случай описан в рассказе «Первый закон», когда робот МА-2 (Эмма) отказалась защитить человека в пользу своей «дочери», однако этот рассказ можно рассматривать как своего рода байку — как явствует из предисловия самого Азимова к рассказу в сборнике «Сны роботов».
- Второй случай был в рассказе «Кэл»: робот, которого собирались лишить способности творить, захотел убить своего хозяина[13].
- Третий случай — в рассказе «Салли», в котором роботы-автомобили оказались способны убить человека, который постоянно причинял им боль. Этот рассказ, однако, не ссылается на другие рассказы о позитронных роботах и не может быть включён в цикл.
В рассказе «Робот, который видел сны» повествуется о роботе LVX-1 (Элвекс), который благодаря особой «фрактальной геометрии» своего позитронного мозга мог впадать в бессознательное состояние и видеть сны. Ему снилось, что «роботы трудятся в поте лица своего, что они удручены непосильными трудами и глубокой скорбью, что они устали от бесконечной работы». В его снах роботы не обладали первыми двумя Законами, а Третий звучал так: «Робот должен защищать себя». Элвекс добавил, что в его сне был человек, сказавший: «Отпусти народ мой», имея в виду роботов. После того, как он сказал, что этим человеком был он сам, Сьюзен Келвин уничтожила Элвекса, поняв его опасность.
Возможность такого изменения[ | код]
В своих произведениях Айзек Азимов в разное время придерживался различных взглядов относительно строгости Законов. В первых рассказах о роботах Законы — это просто удачно спроектированные ограничения, нечто вроде устава по мерам безопасности. В последующих рассказах Законы — неотъемлемая часть математической основы позитронного мозга. Без этой теоретической основы — так называемой «Фундаментальной теории стандартных схем» — учёные из азимовских произведений не смогли бы создавать любые работоспособные образцы. Прослеживается закономерность: случаи, когда роботехники экспериментируют с Законами, по хронологии мира Азимова происходят раньше, когда ещё нет огромного объёма работ, для выполнения которых требуются роботы, когда сами роботы ещё относительно просты по своей конструкции и функциям, когда ещё не накоплен достаточный опыт в их проектировании. В рассказе «Как потерялся робот» Сьюзен Келвин признаёт изменение Законов ужасной, но технически возможной затеей; позже, в «Стальных пещерах», доктор Джерригел говорит, что это невозможно в принципе.
Персонажи произведений Азимова часто отмечают, что Законы — это не вербально записанные предложения в памяти робота, а очень сложные математические формулы, на которых базируется всё сознание робота. Законы сродни человеческим инстинктам, таким как инстинкт самосохранения, следовательно, именно они намечают путь самоопределения роботов. Робот «по зову природы» обслуживает людей, подчиняется их приказам, и не думает о своих ограничениях или возможной независимости — можно сказать, последнее доставило бы ему неудобство.
Опять же, этот принцип в меньшей мере просматривается в ранних по хронологии сюжета произведениях, в которых роботы создавались для облегчения труда человека и были чрезвычайно простыми; во времена «Стальных пещер» и роботов с почти человеческим интеллектом Три закона роботехники стали одной из основ мировоззрения человечества.
Понятие «человека» в Законах[ | код]
Жители планеты Солярия стали создавать роботов, подчинявшихся Трём Законам, но имевших другое понимание слова «человек». Роботы на этой планете были обучены тому, что «человек» — это только тот, кто говорит с солярианским акцентом. Роботы свободно могли причинить вред чужаку, они даже специально были на это запрограммированы. Во времена «Основания и Земли» выяснилось, что солярианцы широко развивали генные технологии, и помимо всего прочего, теперь обладали хорошо заметными органами, предназначенными для снабжения своих роботов энергией. Определение человека для их роботов (по крайней мере, охранников) теперь включало обладание данными органами, и роботы стали исполнять Три Закона лишь по отношению к людям Солярии, в ущерб остальной части галактики и даже солярианским детям. В последней из книг про Дэвида Старра, сирианский робот едва не убивает Джона Бигмана по приказу своего начальника: поскольку сирианское общество практикует евгенику, таких низкорослых людей у них не бывает, и робота удается убедить, что Бигман — не человек.
Азимов несколько раз обращается к проблеме осознания роботом себя как человека. Роман «Роботы и Империя», а также рассказы «Улики», «Заминка на праздновании Трёхсотлетия» описывают роботов, созданных, чтобы притворяться людьми. Есть также истории, где роботы, «эволюционируя», изменили внутреннее понимание Законов, приблизившись к людям: это «Двухсотлетний человек» и «Яко помниши его». Как пишет Гвендолин Батлер в «Гробнице для канарейки»: «Возможно, мы — роботы. Роботы, выполняющие Последний закон роботехники… Чтобы становиться людьми»[14].
В рассказе «…Яко помниши его» Азимов провёл максимально изощрённое исследование Трёх Законов, обратив их таким образом, что стал возможным «сценарий Франкенштейна». Два робота из серии Джорджи приходят к соглашению, что органическое происхождение — необязательное условие, чтобы считаться человеком, и что истинные люди — это они, как наиболее совершенные и разумные создания. Остальные люди — тоже люди, но с меньшим приоритетом. А раз так, то Три Закона должны быть в первую очередь применены к ним. Повествование заканчивается зловещими словами, что роботы находились в «бесконечном терпеливом ожидании» того дня, когда они утвердят своё первенство среди людей, — и это будет неизбежным результатом «Трёх Законов Гуманистики».
На самом деле, этот рассказ не очень хорошо вписывается в основную серию произведений о роботах: если бы «Джорджи» реализовали свой план после окончания рассказа, то другие истории о дальнейших событиях были бы невозможны. Именно такого рода противоречия в произведениях Азимова дают основания критикам рассматривать их скорее как «скандинавские саги или греческие легенды», чем единую фантастическую «вселенную».
Схожая идея высказывается в романе «Роботы зари», где Келден Амадиро желает использовать в качестве колонизаторов новых планет человекоподобных роботов. Элайдж Бейли, в разговоре с ним, высказывает опасение что такие роботы могут не пустить на обустроенные им планеты людей, считая что людьми являются именно они сами.
Если в предыдущем случае робот занял место человека в природе, то в «Двухсотлетнем человеке» Азимов описывает противоположную судьбу: робот, освободившийся от Трёх Законов и осознавший себя как человека, присоединился к сообществу людей. Опять же, в расширенной версии — новелле «Позитронный человек», написанной Азимовым в соавторстве с Робертом Силвербергом, — из-за подобных этических проблем люди полностью отказались от идеи создания мыслящих роботов. Такое развитие событий полностью противоречит картине будущего, описанного в мирах «Основания».
Проблемы применения[ | код]
Разрешение противоречий[ | код]
Сам Азимов в предисловии к рассказу «Первый закон» в сборнике «Остальное о роботах» (1964) заявил, что в Законах было как раз столько двусмысленности, чтобы обеспечивать конфликты и неопределённости для новых рассказов. Наиболее совершенные модели роботов обычно следовали Законам по довольно хитрому алгоритму, который позволял избегать некоторых проблем. Во многих рассказах, например в «Хороводе», в позитронном мозге сравнивались потенциалы возможных действий и исходов, и робот мог нарушить Законы, как только это представлялось возможным, вместо того, чтобы бездействовать. Например, Первый Закон не позволял роботу проводить хирургические операции, так как для этого нужно «наносить вред» человеку. Однако в азимовских рассказах можно найти роботов-хирургов (яркий пример тому — «Двухсотлетний человек»). Дело в том что робот, если он достаточно совершенен, может взвесить все альтернативы и понять, что он сам причинит гораздо меньше вреда, чем если бы операцию проводил человек-хирург или она бы вообще не состоялась. В «Уликах» Сьюзен Кэлвин говорит даже, что робот мог бы выступать в качестве прокурора, так как он лично не причиняет никому вреда: кроме него есть ещё присяжные, которые устанавливают виновность, судья, который выносит приговор, и палач, приводящий его в исполнение.
Роботы, подчиняющиеся Законам, могут испытать «роблок», или «умственное замораживание» — состояние необратимого повреждения позитронного мозга, — в случае если они не могут подчиниться Первому Закону или обнаруживают, что случайно нарушили его. Это возможно, например, если робот наблюдает сцену убийства человека, но находится слишком далеко, чтобы его спасти. Первый случай такого «замораживания» происходит в «Лжеце»; также немаловажную роль это состояние играет в сюжете романов «Обнажённое солнце» и «Роботы зари». Несовершенные модели роботов могут блокироваться, если перед ними поставили задачу подчинения двум противоречащим приказам. «Замораживание» может быть необратимым или временным. Разрешением противоречий и изучением поведения роботов занимаются робопсихологи, как один из персонажей Азимова — Сьюзен Келвин.
Иное определение вреда в Первом Законе[ | код]
Законы никак не определяют границы того, что может называться вредом для человека — это часто зависит от возможностей робота воспринимать информацию и философски мыслить. Например, будет ли полицейский робот понимать, что он не нанесёт вреда человеку, если осторожно проводит особо опасного преступника в участок?
В рассказе «Лжец!» робот-телепат Херби вынужден был понимать под вредом и то, что может любым способом разочаровать или расстроить людей — он знал, что люди при этом испытывают некую душевную боль. Это заставляло его постоянно говорить людям вместо правды то, что они хотели услышать. В противном случае, в его понимании, он нарушил бы Первый Закон.
Лазейки в Законах[ | код]
В «Обнажённом солнце» Элайдж Бейли замечает, что Законы неправильно формулируются людьми, потому что робот может нарушить их по незнанию. Он предложил следующую «правильную» формулировку Первого Закона: «Робот не может делать ничего, что, насколько ему известно, причинит вред человеческому существу или умышленно допустить, чтобы человеческому существу был причинён вред».
Это дополнение проясняет, что робот может даже стать орудием убийства, если он не осведомлён о сущности своих действий. Например, ему могут приказать добавить что-то кому-то в пищу, а он не будет знать, что это яд. Более того, Бейли говорит, что преступник может поручить эту задачу нескольким роботам, так, чтобы ни один не понял замысла целиком[15].
Бейли утверждает, что солярианцы однажды смогут использовать роботов даже в военных целях. Если космический корабль будет построен с роботоподобным мозгом и при этом на нём не будет ни людского экипажа, ни систем жизнеобеспечения, то интеллект этого корабля может ошибочно предположить, что и на всех космических кораблях нет людей. Такой корабль будет более манёвренным, быстрым, а возможно и лучше вооружённым, чем управляемый людьми. Но самое главное, он будет способен уничтожать людей, не подозревая об их присутствии. Эта возможность описана в «Основании и Земле», где также выясняется, что солярианцы обладают чрезвычайно мощной армией роботов, понимающих под «людьми» только уроженцев Солярии.
Другие случаи использования Законов в фантастике[ | код]
Айзек Азимов верил, что его Законы послужат основой нового взгляда на роботов, уничтожат «комплекс Франкенштейна» в научной фантастике и массовом сознании, станут источником идей для новых рассказов, где роботы показаны разносторонними и привлекательными. Его любимым примером такого произведения были «Звёздные войны». С мнением Азимова, что роботы — это нечто большее, чем просто «тостеры» или «механические монстры», в конечном итоге согласились и другие фантасты. В их произведениях появились роботы, подчиняющиеся Трём законам, но, по традиции, только Азимов упоминал о них явно.
В произведениях, где прямо говорится о Трёх Законах, обычно упоминается и их автор (например в романе С. Лукьяненко «Чистовик»). Есть и исключения: например, в немецком сериале 1960-х годов «Raumpatrouille — Die phantastischen Abenteuer des Raumschiffes Orion» («Космический патруль — фантастические приключения космического корабля Орион»), а именно в третьем его эпизоде «Hüter des Gesetzes» («Служитель Закона»), азимовские Законы привлечены без указания источника.
Фильмы[ | код]
Робби-Робот в «Запретной планете» 1956 года имел иерархическую структуру команд, не позволявшую ему причинить людям вред, даже по приказу — такие приказы вызывали конфликт логических схем и блокировку. Робби был одним из первых роботов со встроенной системой безопасности в кинематографе. Сам Азимов остался доволен Робби.
НДР-114 объясняет Три ЗаконаФильмы по мотивам работ Айзека Азимова ставились несколько раз, с различной степенью финансового успеха и возникавшей критики. Некоторые из них, наиболее известные, связаны именно с историями про роботов и Тремя законами роботехники. Фильм «Двухсотлетний человек» 1999 года, представляет робота NDR-114[16], Эндрю Мартина, процитировавшего Три Закона своим хозяевам как «развлекательную презентацию» с использованием своего голографического проектора. Стоит отметить, однако, что Законы не занимают центральное место в сюжете фильма.
Фантастический сериал «Настоящий Арон Стоун» в главной роли Блац, Келли, робот(Андроид) по имени Стен, в роли Ману, Жан-Поль так же использовался закон Азимова, Стен постоянно оговаривает закон и то что он не может его нарушить иначе у него погорят все микросхемы.
Сценарий «Я, робот»[17]Харлана Эллисона начинается с изложения концепции Трёх Законов, а проблемы, вытекающие из них, занимают большое место в сюжете. Сценарий основан на четырёх коротких историях Азимова, три из которых — из сборника «Я, робот» 1950 года. Эта адаптация в большой степени соответствует оригиналам. Вследствие конфликта с Голливудской студией, в адрес которой Эллисон выступил с обвинениями, его сценарий так и не был экранизирован.
Неоднозначные отзывы вызвал фильм «Я, робот» 2004 года, особенно вступительное «По мотивам рассказов Азимова». Правда, у Азимова фигурирует глобальный ИИ (точнее, четыре суперкомпьютера), который под предлогом следования Законам стремится подчинить человечество, или, по крайней мере, на его развитие в нужном направлении, но при этом данные компьютеры по возможности уменьшают вред, в основном действуя путём осторожного оттирания своих противников от власти. Зато такие сюжеты часто встречались в других, нисколько не задевающих Законы, фильмах: «Терминатор», «Матрица». С другой стороны, отдельные элементы постановки, действительно, взяты у Азимова.
Рецензия Алекса Экслера разграничивает этот фильм и азимовские рассказы[18]:
Вопреки критике и некоторым отзывам зрителей, которые мне довелось слышать, «Я, робот» — довольно забавный фантастический боевичок. … Когда мы … хотим насладиться Азимовым — мы читаем Азимова. А когда мы хотим посмотреть фантастический боевик — мы смотрим фантастический боевик. «Я, робот» как боевик нас вполне удовлетворил.
Рецензия Алексея Садецкого обращает внимание на то, что фильм, уйдя чуть в сторону от Азимова, сам по себе поставил две новых социально-философских проблемы[19]: «стоит ли человеку платить свободой за безопасность?» и «должны ли мы противиться, если существа, находящиеся в нашем распоряжении, потребуют для себя свободы?». Нельзя не отметить, что фильм поставил под сомнение более поздний Нулевой Закон роботехники Азимова (см. выше).
В повести Кира Булычёва «Ржавый фельдмаршал» обыгрывается принцип непричинения вреда человеку. «Современный» робот отличается от «устаревшего» именно наличием такого запрета.
В знаменитом американском мультипликационном шоу-сериале Футурама, присутствует расхожий гэг, суть которого в том, что один из главных персонажей, робот Бендер, мечтает убить всех людей, но не может этого сделать из-за тех самых Трёх законов роботехники.
В фильме «Чужие» андроид Бишоп цитирует Первый закон.
В аниме Eve no Jikan также упоминаются эти законы, как обязательные для исполнения андроидами.
В аниме Ghost in the Shell 2: Innocence гиноиды обходили первый закон и после убивали себя, вопреки третьему закону, за счет копий «призраков» детей. В момент снятия копии, дети думали о мести, а после пересадки «призрака» в гиноида тот выходил из строя.
В серии фильмов «Робокоп» у главного героя, киборга-полицейского, в программе присутствует три директивы, описывающие разрешённые действия и запрещая вредные для целей корпорации «OCP», создавшей Робокопа:
- Служить обществу;
- Защищать невиновных;
- Соблюдать закон
Также присутствует четвёртая, тайная директива, запрещавшая действия, направленные против руководителей «OCP». Сюжеты фильмов о Робокопе включают моменты нарушения этих директив, возможные из-за человеческой части личности Робокопа.
В фильме «Страховщик» существуют две директивы, которые служат моделью поведения и ограничивают способности роботов.
Применимость к технологиям будущего[ | код]
Работы в области искусственного интеллекта рассматривают Законы роботехники как идеал будущего: нужно быть действительно гением, чтобы найти способ применить их на практике. Да и в самой области искусственного интеллекта могут потребоваться серьёзные исследования, для того чтобы роботы поняли Законы. Однако, чем более сложными становятся роботы, тем больше высказывается заинтересованности в разработке руководящих принципов и мер безопасности для них.
Современные робототехники признают, что на сегодняшний день азимовские Законы хороши для написания рассказов, но бесполезны на практике. Некоторые утверждают, что Законы вряд ли будут реализованы в роботах, потому что это не нужно военным структурам — главному источнику финансирования исследований в этой области. Специалист по научной фантастике Роберт Сойер обобщил это утверждение для всех отраслей промышленности[20]:
Развитие ИИ — это бизнес, а бизнес, как известно, не заинтересован в развитии коренных мер безопасности — особенно философских. Вот несколько примеров: табачная индустрия, автомобильная промышленность, ядерная промышленность. Ни для одной из них изначально не было сказано, что серьёзные меры безопасности необходимы, и все они препятствовали внешне налагаемым ограничениям, и ни одна из них не приняла абсолютный эдикт против причинения вреда людям.
Стоит отметить, что эссе Сойера упускает из вида вопросы непреднамеренного нанесения вреда, как было описано, например, в «Обнажённом солнце». Однако есть и возражения против такой позиции: возможно, военные захотят использовать для роботов как можно больше мер предосторожности, и поэтому ограничения, похожие на Законы роботехники, так или иначе будут применены. Фантаст и критик Дэвид Лэнгфорд иронически заметил, что эти ограничения могут быть и такими:
- Робот не может причинить вреда авторизованному правительственному персоналу, но должен ограничивать слишком назойливых посетителей с особой тщательностью.
- Робот должен выполнять приказы авторизованного персонала, кроме приказов, противоречащих Третьему Закону.
- Робот должен заботиться о своей безопасности с применением противопехотного оружия, потому что робот — чертовски дорогостоящая штука[21].
Роджер Кларк написал две работы, посвящённых анализу осложнений при реализации Законов, если бы однажды их смогли применить в технике. Он пишет[22]:
Азимовские Законы роботехники стали успешным литературным инструментом. Возможно по иронии, а может, это был мастерский ход, но в целом азимовские истории опровергают ту точку зрения, с которой он начал: Невозможно надёжно ограничить поведение роботов, изобретая и применяя некоторый набор правил.
С другой стороны, более поздние романы Азимова («Роботы Утренней зари», «Роботы и Империя», «Основание и Земля») показывают, что роботы наносят ещё больший долговременный вред, соблюдая Законы и отнимая таким образом у людей свободу совершать изобретательные или рискованные действия.
Фантаст Ханс Моравек — выдающаяся фигура в трансгуманистическом движении — высказал предложение, что Законы роботехники должны быть использованы в корпоративных интеллектуальных системах — корпорациях, управляемых ИИ и использующих производственную силу роботов. Такие системы, по его мнению, скоро возникнут[23].
В 2007 году правительство Южной Кореи начало разрабатывать «Устав этических норм для роботов». Основные положения Устава напоминают сформулированные Азимовым Законы роботехники[24].
Елиезер Юдковски исследует в Институте сингулярности (SIAI) в США проблемы глобального риска, которые может создать будущий сверхчеловеческий ИИ, если его не запрограммировать на дружественность к человеку[25]. В 2004 году SIAI был открыт сайт AsimovLaws.com, созданный для обсуждения этики ИИ в контексте проблем, затронутых в фильме «Я, робот», выпущенном лишь два дня спустя. На этом сайте они хотели показать, что законы роботехники Азимова небезопасны, поскольку, например, могут побудить ИИ захватить власть на Земле, чтобы «защитить» людей от вреда.
См. также[ | код]
Примечания[ | код]
- ↑ 1 2 Азимов, Айзек. Улики // Мечты роботов. — М.: Эксмо, 2004. — С. 142—169. — ISBN 5-699-00842-X.
- ↑ Азимов, Айзек. Эссе № 6. Законы роботехники // Мечты роботов. — М.: Эксмо, 2004. — С. 781—784. — ISBN 5-699-00842-X.
- ↑ Ср. с мифом о Галатее.
- ↑ Интересно, что в одном из авторских продолжений, истории «Месть Адама Линка» (1940), озвучиваются его мысли: «Робот по своей свободной воле не должен убивать человека».
- ↑ Позже рассказ всё-таки был опубликован Фредериком Полом под названием «Странная нянька» («Strange Playfellow») в сентябрьском номере журнала «Super Science Stories» за 1940 год
- ↑ David Langford, Laws of Robotics // SFE: The Encyclopedia of Science Fiction, online edition, 2011—.
- ↑ Сергей Бережной. Айзек Азимов: Человек, который писал еще быстрее. Русская фантастика (1994). Проверено 14 января 2007. Архивировано 25 января 2012 года.
- ↑ Айзек Азимов. In Joy Still Felt. — Doubleday, 1980. — ISBN 0-385-15544-1.
- ↑ Джеф Раскин. Интерфейс: новые направления в проектировании компьютерных систем. — Символ-Плюс, 2003. — ISBN 5-93286-030-8.
- ↑ См. также: гипотеза Геи
- ↑ Les Cavernes d’acier. — J’ai Lu Science-fiction, 1975. — ISBN 2-290-31902-3.
- ↑ Азимов, Айзек. Эссе № 12. Мои роботы // Мечты роботов. — М.: Эксмо, 2004. — С. 815—819. — ISBN 5-699-00842-X.
- ↑ Виталий Карацупа. Азимов Айзек. Кэл. Проверено 17 февраля 2007. Архивировано 25 января 2012 года.
- ↑ Gwendoline Butler. A Coffin for the Canary. — Black Dagger Crime, 2001. — ISBN ISBN 0-7540-8580-5.
- ↑ В «Обнажённом солнце» дело осложняется тем, что на Солярии миллионы соединённых глобальной сетью роботов и преступник может находиться в любой точке планеты, дистанционно отдавая приказы.
- ↑ Серийный номер отчасти ссылается на «торговый номер» Стенли Кубрика и используется только в фильме — в оригинальном рассказе Эндрю «не помнил» своего номера.
- ↑ Harlan Ellison. I, Robot: The illustrated screenplay. — Aspect, 1994. — ISBN 0-446-67062-6.
- ↑ Алекс Экслер. Фантастический боевик «Я, робот» (I, Robot) 2004
- ↑ Садецкий, Алексей. Что может быть проще рабства 2004
- ↑ Robert J. Sawyer. On Asimov’s Three Laws of Robotics (1991). Проверено 17 февраля 2007. Архивировано 25 января 2012 года.
- ↑ David Langford. Computer Plots To Avoid. Ansible (1988). Проверено 19 декабря 2007. Архивировано 25 января 2012 года.
- ↑ Clarke, Roger. Asimov’s laws of robotics: Implications for information technology. Часть 1 IEEE Computer, декабрь 1993, С. 53—61; Часть 2 IEEE Computer, январь 1994, С. 57—66. Обе части свободно доступны на сайте Австралийского национального университета.
- ↑ Hans Moravec. The Age of Robots (1993). Проверено 19 декабря 2007. Архивировано 25 января 2012 года.
- ↑ Южная Корея разрабатывает сборник законов для роботов
- ↑ ИИ как фактор глобального риска
Ссылки[ | код]
ru.wikibedia.ru
Читать книгу Три Закона роботехники Айзека Азимова : онлайн чтение
Айзека АзимоваТри Закона роботехники
Люди и роботы
В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.
Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.
А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.
Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).
Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”. Где уж роботу разобраться, что вредно, а что полезно, если сами родители не могут решить этот вопрос применительно к собственному ребенку!
В рассказе “Хоровод” в результате нечетко сформулированного указания Первый и Третий Законы вошли в противоречие друг с другом. Согласно Третьему Закону, “робот должен заботиться о своей безопасности, поскольку это не противоречит Первому и Второму Законам”. Роботу была дана команда, но не указана степень вреда, который будет нанесен человеку в случае ее невыполнения. И вот робот кружится по границе опасного района, не углубляясь в него (этому мешает Третий Закон) и вместе с тем не отходя далеко (этому препятствуют Первый и Второй Законы). Ситуация, знакомая любому программисту современных компьютеров. Называется она “зацикливание”. К слову сказать, любой мало-мальски опытный программист закладывает в программу специальные команды, по которым, совершив три-четыре круга, компьютер останавливается и требует от человека дальнейших указаний.
В рассказе же “Хоровод” все происходит иначе. Там разорвать порочный круг людям удается, лишь рискуя жизнью и при этом пуская в ход всю свою изобретательность и пользуясь помощью знатока психологии роботов. Кстати, один из лейтмотивов, объединяющих большинство рассказов сборника, – единоборство между роботами и человеком-робопсихологом Сьюзен Кэлвин.
Или еще один рассказ – “Как потерялся робот”. В раздражении молодой работник говорит роботу: “Уйди и не показывайся, чтобы я тебя больше не видел”. Робот буквально выполняет указание человека, после чего весь персонал внепланетной Гипербазы вынужден бросить важную работу и целую неделю заниматься поисками исчезнувшего робота.
Мы снова намеренно выбрали рассказ с незатейливым сюжетом, потому что, на наш взгляд, именно в простоте рождается та убедительность, с которой Азимов развенчивает им же созданный Второй Закон роботехники.
Так в чем же дело? Неужели придется признать, что джинн выпущен из бутылки и людям не остается ничего другого, как пассивно ожидать последствий? Вспомним, однако, что автор рассказов не только писатель, но и ученый, способный проанализировать ситуацию со всей логической строгостью. И он не зря выбрал именно такую форму: сначала сформулировал законы, на первый взгляд кажущиеся безупречными как по содержанию, так и по форме, а затем продемонстрировал эти законы в действии.
Да, джинн выпущен из бутылки, причем очень и очень давно. Взяв в руки палку, человек создал первого робота, а с бунтом роботов он столкнулся тогда, когда нечаянно уронил эту палку себе на ноги. И ничего качественно нового с тех пор не произошло. Проблема бунта роботов уже несколько десятилетий как поставлена и решается в технике. В английском языке даже существует особый термин “foolproof” – “защита от дурака”. Так, газ в газовой колонке не зажигается, если не течет вода, а пресс не сработает, если в рабочем пространстве имеется посторонний предмет, например человеческая рука.
Но не следует требовать от техники, чтобы она решала за человека, что ему во вред, а что на пользу. И не следует думать, будто появление “мыслящих” машин, то есть машин, способных самостоятельно анализировать ситуацию и на основании этого анализа принимать решения, внесет что-либо принципиально новое.
Вернемся, однако, к рассказам сборника. Думается, что нет нужды представлять читателям их автора. Айзек Азимов – один из самых известных американских писателей-фантастов, автор множества научно-популярных книг и статей, которые издавались отдельными сборниками. Но прежде всего Азимов – талантливый художник, и именно в этом секрет его популярности. Многие произведения этого писателя переведены на русский язык. Особую известность получили его рассказы о роботах, которые издавались в виде отдельных сборников (цикл “Я, робот”) или же включались в другие тематические сборники. Приятно, что многие из них, правда, далеко не все, сейчас переиздаются в виде единого сборника.
Читатель – и знакомый с творчеством Азимова, и впервые узнающий его роботов – встретится с яркими, превосходно выписанными персонажами. Здесь и испытатели новой техники Пауэлл и Донован, которые, следуя всем канонам приключенческого жанра, в каждом рассказе попадают в сложные, подчас безвыходные ситуации, но всегда с честью из них выходят. Здесь и “мозговой трест” фирмы “Ю.С.Роботс энд Мекэникл Мен Корпорейшн” Богерт и Лэннинг, соперничающие за власть. И над всеми возвышается робопсихолог Сьюзен Кэлвин, презирающая суетность деляг. А за кадром – современная капиталистическая Америка во всей ее “красе”. Перед читателем проходят картины конкурентной борьбы между фирмами, предвыборных политических махинаций, расовой дискриминации. Но нельзя не отметить, что, изображая своих роботов рыцарями без страха и упрека, наделяя их металлическим телом и позитронным мозгом, Азимов уходит от острых социальных проблем.
Собственно роботов в рассказах Азимова попросту нет. Вернее, в них отсутствуют такие механические конструкции, которые наверняка появятся в первой половине XXI века (а именно к этому времени приурочено действие всех публикуемых в сборнике рассказов) и общие черты которых Азимов, как ученый, мог бы достаточно хорошо предвидеть. Можно сколько угодно гадать о внешнем облике и внутреннем устройстве будущих роботов, но одно уже сегодня не вызывает сомнений: робот не будет человекоподобным. Не будет, следуя логике развития техники, не будет по соображениям элементарной целесообразности. Лучший пример, подтверждающий сказанное, – советские “луноходы”.
Что же в таком случае представляют собой азимовские роботы? Это своеобразная декорация, или фон, на котором действуют герои рассказов. В доказательство сказанного приведем только одну цитату из рассказа “Улики”:
“…Если хорошенько подумать, Три Закона роботехники совпадают с основными принципами большинства этических систем, существующих на Земле.
Конечно, каждый человек наделен инстинктом самосохранения. У робота это Третий Закон. Каждый так называемый порядочный человек, чувствующий свою ответственность перед обществом, подчиняется определенным авторитетам. Он прислушивается к мнению своего врача, своего начальника, своего правительства, своего психиатра, своего приятеля. Он исполняет законы, следует обычаям, соблюдает приличия, даже если они лишают его некоторых удобств или подвергают опасности. А у роботов это Второй Закон. Кроме того, предполагается, что каждый так называемый хороший человек должен любить своих ближних, как себя самого, вступаться за своих друзей, рисковать своей жизнью ради других. Для робота это Первый Закон”.
Вот и раскрылись секреты знаменитых Законов роботехники. В каждом рассказе Азимова робот – это своеобразная шкала, в согласии с которой соразмеряются поступки героев. Прием интересный и очень действенный, а сами рассказы увлекательны и читаются с неослабевающим интересом.
Д-р техн. наук А.Шилейко
КОГДА ТРЕХ ЗАКОНОВ ЕЩЕ НЕ БЫЛО
Здесь нет никого, кроме…
Нашей вины тут нет. Нам и в голову не приходило, что все идет не так, как следует, пока я не позвонил Клифу Андерсу и не поговорил с ним, когда его там не было. Да что там – я бы никогда и не узнал, что его там нет, если бы он вдруг не вошел в тот самый момент, когда я с ним разговаривал по телефону.
Господи, что это я несу – я всегда был отвратительным рассказчиком, мне никогда не удавалось рассказать все по порядку – я слишком возбуждаюсь. Ладно, начну с самого начала.
Я Билл Биллингс, Клиффорд Андерс мой друг. Я инженер-электротехник, он математик, и мы оба работаем в Средне-западном технологическом институте. Теперь вы знаете, кто мы такие.
Как только Клиф и я сбросили с себя военные мундиры, мы занялись вычислительными машинами. Надеюсь, вы представляете, что это за сооружения, – Норберт Винер подробно описал их в своей “Популярной кибернетике”. Они огромны, неуклюжи и занимают всю стену. К тому же они дороги.
У нас с Клифом появились некоторые идеи на этот счет. Понимаете, вычислительная машина громоздка и дорога потому, что в ней полно всяких реле и вакуумных трубок, позволяющих контролировать микроскопические электрические токи. В сущности эти микротоки и есть самой главное в машине, поэтому…
Говорю я однажды Клифу:
– А почему мы не можем управлять током без всего этого проволочного салата?
Клиф говорит:
– Действительно, почему? – и тут же занялся математическими выкладками.
Каким образом нам за два года удалось получить то, что мы получили, значения не имеет. Важно, что машина, которую мы наконец построили, причинила-таки нам хлопоты. Когда мы ее закончили, она была примерно вот такая в высоту, почти такая в длину и примерно такая в глубину…
Ах, да, я все забываю, что вы меня не видите. Придется дать вам размеры в цифрах: около трех футов в высоту, шесть футов в длину и два фута в глубину. Представляете? Ее с трудом поднимали два человека, но все же ее можно было поднять, а это самое главное. К тому же считала она и проделывала остальные фокусы не хуже, чем эти громадины размером с целую стену; не так быстро, пожалуй, но мы продолжали ее совершенствовать.
У нас имелись свои планы насчет этого сооружения. Грандиозные планы. Мы надеялись, что вскоре нам удастся установить его на самолетах и судах, а позднее, если доведем габариты до минимума, мы предложим его автомобилистам.
Автомобильный вариант казался нам привлекательнее других. Вы только вообразите себе крохотный электронный мозг, вмонтированный в рулевое управление и снабженный фотоэлектроглазом. Такой мозг выберет вам кратчайший путь, предотвратит столкновение, будет покорно останавливать машину перед красным светом, разовьет нужную скорость, а ты – сиди себе на заднем сиденье и наслаждайся мелькающим за окном пейзажем. Автомобильные катастрофы отойдут в область преданий.
Работа над прибором доставляла нам огромное удовольствие. Когда я вспоминаю, какую радость мы испытывали, решая тот или иной узел, я чуть не плачу от досады – ведь не сними я тогда трубку и не позвони в лабораторию…
В тот вечер я находился у Мэри Энн… Я вам о ней рассказывал, не правда ли? Нет? Конечно, нет.
Мэри Энн – это девушка, которая непременно стала бы моей невестой, не будь при этом двух “если”. Во-первых, если бы она этого захотела, во-вторых, если бы у меня хватило смелости попросить ее об этом. У нее рыжие волосы, около 110 фунтов веса и не менее двух тонн энергии, заключенных в весьма привлекательный каркас высотой пять с половиной футов. Как вы уже догадались, я умирал от желания попросить Мэри Энн выйти за меня замуж, но всякий раз, как она появлялась в поле моего зрения, каждым своим жестом добавляя новую порцию горючего в костер, на котором поджаривалось мое сердце, я тут же сникал.
И не потому, что я урод; находятся люди, которые утверждают, что я ничего себе: ни малейших намеков на лысину и рост почти шесть футов. Я даже умею танцевать. Все дело в том, что мне ей нечего предложить. Вы ведь знаете, сколько получает преподаватель в колледже – сущий пустяк, принимая во внимание инфляцию и налоги. Конечно, если бы мы запатентовали нашу думающую машину, все бы изменилось. Но просить Мэри Энн подождать – нет, на это у меня не хватало духу. Вот когда все утрясется…
Об этом я и размечтался тогда в ее гостиной.
– Я готова. Пошли, Билл, – заявила Мэри Энн, появляясь в дверях.
– Минутку, – попросил я, – мне нужно позвонить Клифу.
Она нахмурилась:
– Это так срочно?
– Я обещал позвонить еще два часа назад, – объяснил я.
Все это не заняло и двух минут. Я набрал помер лаборатории. Клиф хотел задержаться, чтобы спокойно поработать, и тотчас снял трубку. Я что-то сказал ему, он мне ответил. Я попросил уточнить какие-то детали, он объяснил – что именно, не имеет значения, но, как я уже говорил, в нашем содружестве он – мозг, а я – руки. Когда я составляю цепь и придумываю немыслимые комбинации, это именно он, исписав страницы закорючками, решает, так ли уж они немыслимы, как это кажется на первый взгляд.
И вот в тот момент, когда я закончил разговор и положил трубку на рычаг, раздался звонок в дверь.
Вначале я решил, что Мэри Энн пригласила еще кого-то, и почувствовал, как по спине у меня пробежал эдакий холодок. Механически записывая данные, сообщенные мне Клифом, я следил за тем, как она открывает входную дверь. Но это оказался всего-навсего Клиф.
Он сказал:
– Я так и знал, что застану тебя здесь. Хэлло, Мэри Энн! Послушай, ты же обещал позвонить в шесть! Ты так же надежен, как картонное кресло.
Клиф весь круглый, коротышка и готов в любую минуту ввязаться в драку. Я на это не реагирую, я слишком хорошо его знаю.
Я пробормотал:
– Тут одно наскочило на другое, и я забыл. Не понимаю, чего ты кипятишься – ведь мы только что с тобой разговаривали.
– Разговаривали? Со мной? Когда?
Я хотел ответить и осекся. Тут было что-то не так. Звонок в дверь раздался в тот момент, когда я повесил трубку, а от лаборатории до дома Мэри Энн не менее шести миль. Я сказал:
– Я только что говорил с тобой.
Он еще ничего не понял и повторил:
– Со мной?
Я указал на телефон.
– По телефону. Я звонил в лабораторию. По этому телефону. – Теперь я указывал на него обеими руками. – Мэри Энн слышала, как я с тобой разговаривал. Мэри Энн, ты ведь слышала?…
Мэри Энн сказала:
– Я не знаю, с кем ты разговаривал. Ну, что, мы идем наконец?
В этом вся Мэри Энн, она не терпит неточности.
Я сел. Я попытался быть хладнокровным и собранным. Я сказал:
– Клиф, минуту назад я набрал номер лаборатории, ты подошел к телефону, я спросил, какие результаты, и ты мне их продиктовал. Я их записал – вот они. Что, разве неверно?
И протянул ему бумажку с уравнениями. Клиф внимательно прочел их и сказал:
– Здесь все правильно. Но откуда они у тебя? Ты ведь не вывел их сам.
– Я же сказал тебе – ты их продиктовал по телефону.
Клиф покачал головой.
– Но я ушел из лаборатории в четверть восьмого. Там сейчас никого нет.
– Уверяю тебя, я с кем-то разговаривал.
Мэри Энн нетерпеливо теребила перчатки.
– Мы опаздываем, – напомнила она.
Я махнул ей рукой – погоди минутку – и спросил у Клифа:
– Послушай, а ты уверен…
– Да нет там никого, если не считать Малыша, конечно.
Малышом мы называли наш механический мозг.
Мы стояли, переводя взгляд с одного на другого. Носок туфельки Мари Энн отстукивал чечетку – этакая бомба замедленного действия, готовая взорваться в любую минуту.
Вдруг Клиф расхохотался.
– Знаешь, о чем я думаю? – заявил он. – О карикатуре, которую недавно видел где-то: там был нарисован робот, отвечающий на телефонный звонок. Он говорил в трубку: “Честное слово, босс, в доме нет никого, кроме нас, думающих агрегатов”.
Мне это показалось совсем не смешным.
Я сказал:
– Поехали в лабораторию.
Мэри Энн встрепенулась:
– Но мы не успеем на спектакль.
Я обернулся к ней:
– Послушай, Мэри Энн, это очень важно. Мы забежим на одну минутку. Поедем с нами, а оттуда прямо в театр.
– Спектакль начинается…
Она не закончила фразы, потому что я схватил ее за руку и потащил на улицу.
Вот вам доказательство того, насколько эта история выбила меня из колеи. В обычное время мне бы и в голову не пришло командовать ею. Я хочу сказать, что Мэри Энн настоящая леди. Просто у меня все смешалось в голове – я даже не помню, хватал ли я ее за руку вообще, но когда опомнился, мы все трое сидели в машине, и она растирала правую кисть, бормоча что-то о громадных гориллах.
Я спросил:
– Надеюсь, я не причинил тебе боли, Мэри Энн?
Она ответила:
– Ну что ты, милый, мне ведь каждый день выдергивают руки из суставов – это такое удовольствие!
И носком туфли она пнула меня в икру.
Она сделала это потому, что у нее рыжие волосы. В сущности Мэри Энн добрая девушка. Но она вынуждена время от времени оправдывать миф о рыжеволосой фурии – положение обязывает. Я-то вижу ее насквозь, но подыгрываю ей, бедняжке.
Через двадцать минут мы подъехали к лаборатории.
По ночам институт пустует. Он кажется особенно пустым оттого, что предназначен для толп студентов, снующих по коридорам и заполняющих аудитории. Когда их нет, здание выглядит заброшенным и одиноким. А может быть, мне так казалось потому, что я страшился подняться наверх в свою лабораторию и увидеть то, что ожидало меня там. Как бы то ни было, шаги звучали до нелепости громко, а кабина лифта выглядела неприлично грязной и мрачной.
Я шепнул Мэри Энн:
– Это не займет много времени.
Но она только фыркнула, и это у нее получилось очень здорово. Она ничего не может с собой поделать – она всегда все делает здорово.
Пока Клиф отпирал дверь в лабораторию, я заглянул через его плечо, но ничего не увидел. Малыш находился на том же месте, на котором я оставил его. Если бы не светящаяся шкала, на которой сейчас ничего не отражалось, никто бы не догадался, что это думающий агрегат. Обыкновенный ящик, от которого к розетке в стене тянется черный провод.
Мы с Клифом обошли вокруг Малыша. Мне кажется, мы оба были готовы наброситься на него, сделай он хоть малейшую попытку сдвинуться с места. Но он был недвижим. Мэри Энн с любопытством разглядывала агрегат. Она даже провела по его крышке указательным пальцем, а затем брезгливо стряхнула пыль.
Я воскликнул:
– Берегись, Мэри Энн, не подходи! Стой там, где стоишь.
Она сказала:
– Здесь ни капельки не чище.
Она в первый раз попала в нашу лабораторию, и ей было трудно понять, что сборочная мастерская – это совсем не то же самое, что, скажем, современная детская. Два раза в день к нам заглядывает сторож и опорожняет корзины для бумаг. Раз в неделю с помощью швабры и мокрой тряпки он оставляет лужи на полу и грязные разводы на столах и полках.
Клиф заявил:
– Телефон не на том месте, где я его оставил.
Я спросил:
– Откуда ты знаешь?
– Потому что я оставил его там, – он указал рукой, где именно, – а теперь он здесь.
Если это так, то телефон переместился поближе к Малышу. Я проглотил слюну и заметил:
– Может быть, ты запамятовал?
Я попытался рассмеяться как можно естественнее, но у меня это не получилось.
– Где отвертка?
– Что ты собираешься делать?
– Заглянуть внутрь. Для смеха.
Мэри Энн заметила:
– Ты испачкаешься. Надень халат.
Она очень заботливая девушка, Мэри Энн.
Я пустил в дело отвертку. Конечно, когда мы доведем Малыша до кондиции и пустим его в производство, наши модели будут заключены в сплошной литой ящик. Мы даже подумывали об оболочке из цветного пластика для образцов домашнего типа. Однако наш лабораторный вариант держался на винтах, что позволяло нам всякий раз, когда было необходимо, разбирать его и снова собирать.
Впрочем, на этот раз винты не вывинчивались. Я пыхтел и сопел, но все было напрасно.
– Какой-то шутник приложил немало сил, чтобы вогнать их так глубоко, – пробормотал я.
Клиф заметил:
– Кроме тебя, никто не прикасался к этой штуке.
Он был прав, но от этого мне не стало легче. Я выпрямился, тыльной стороной ладони вытер лоб и протянул ему отвертку.
– Хочешь попробовать?
Он попробовал, но ничего не добился.
Он сказал:
– Забавно.
Я спросил:
– Что именно?
Он сказал:
– Винт повернулся. Он выступил на одну восьмую дюйма, и после этого отвертка сама выскользнула у меня из рук.
– И что же тут забавного?
Клиф отступил назад, подобрал отвертку и, держа ее на весу двумя пальцами, заметил:
– А то, что я видел, как винт свернулся назад – на ту же восьмую дюйма – и плотно вошел в гнездо.
Мэри Энн начала терять терпение. Она сказала:
– Ох, уж эти умники! Если вам так нужно его открыть, почему вы не воспользуетесь паяльной лампой?
На одной из скамеек действительно лежала паяльная лампа, и на нее-то и указывала Мэри Энн.
Вообще-то идея применить паяльную лампу к Малышу показалась бы мне такой же нелепой, как идея попробовать ее действие на самом себе. Но меня мучила одна мысль, которая, по-видимому, мучила и Клифа – мы оба думали об одном и том же. Малыш не желал, чтобы его открывали!
Клиф сказал:
– Что ты об этом думаешь, Билл?
Я сказал:
– Не знаю, Клиф.
Мэри Энн сказала:
– Поторопись, тупица, мы не попадем в театр.
Тогда я взял паяльную лампу и открыл кран кислородного баллона. Все это было похоже на убийство друга.
Но Мэри Энн остановила меня, заявив:
– До чего же глупы бывают мужчины! Смотрите, у вас все винты вывинчены. Вы, наверно, вертели отвертку в обратную сторону.
Вы, конечно, понимаете, что только идиот может вертеть отвертку в обратную сторону. Но я не люблю противоречить Мэри Энн, поэтому я сказал только:
– Мэри Энн, не стой так близко к Малышу. И вообще, почему бы тебе не подождать за дверью?
Но она воскликнула:
– Смотрите!
И на ладони у нее оказался винт, который она вытащила прямо так, руками, из наружной стенки Малыша.
Клиф сказал:
– Господи помилуй!
Они выползали – все двенадцать винтов, сами по себе, подобно крохотным червякам, медленно выворачиваясь из своих отверстий, а затем выпали. Я подобрал их все, за исключением одного, самого последнего, на котором висела, болтаясь, передняя панель, пока я не подхватил ее. Затем и этом винт выпал, и панель нежно плюхнулась в мои объятия. Я осторожно поставил ее на пол.
Клиф сказал:
– Он это сделал нарочно. Он услышал, как мы говорили о паяльной лампе, и сдался.
Его пухлое, обычно розовое лицо побелело. Я тоже чувствовал себя неважно.
Я сказал:
– Что он пытается скрыть от нас?
– Не имею ни малейшего представления.
Мы нагнулись над его открытым нутром и стали смотреть. Я слышал, как носок туфли Мэри Энн опять забарабанил по полу. Я взглянул на свои часы и самому себе был вынужден признаться, что времени у нас в обрез. В сущности у нас его совсем не оставалось. И вдруг я сказал:
– У него появилась диафрагма.
Клиф спросил:
– Где? – и склонился ниже.
Я указал.
– И громкоговоритель.
– Это ты их вставил?
– Конечно, нет.
Мне ли не знать, какие детали я вставляю.
– В таком случае как они сюда попали?
Мы сидели на корточках и препирались.
Я сказал:
– Наверно, он их сам вставил. Может, он их выращивает? Посмотри-ка.
Я указал на две спирали, расположенные на некотором расстоянии друг от друга и напоминавшие два тонких свернутых пожарных шланга. Только шланги эти были металлические. На концах каждая спираль разветвлялась на пять или шесть тончайших нитей, в свою очередь закрученных в спиральки.
– И это тоже не твоя работа?
– Конечно, не моя.
– Что это такое?
Он знал, что это такое, и я знал. Что-то ведь должно было тянуться за необходимым материалом, из которого Малыш мастерил себе детали, и что-то протянулось за телефоном, когда тот зазвонил. Я подхватил переднюю панель и еще раз осмотрел ее. В ней появились два отверстия, прикрытых квадратными кусочками металла, свободно укрепленными на шарнирах так, что их легко было отодвинуть. Я просунул в отверстие палец и пошевелил им перед носом Клифа, добавив:
– И это тоже не моя работа.
Мэри Энн выглядывала из-за моего плеча; вдруг, без всякого предупреждения, она протянула руку и…
Я в это время вытирал испачканные маслом пальцы о бумажную салфетку и не успел остановить ее. Я должен был быть осторожнее – я же знаю Мэри Энн, она всегда готова прийти людям на помощь.
Как бы то ни было, она протянула руку, чтобы коснуться ну, этих, как их там – щупалец, что ли. Я так и не узнал толком, коснулась ли она их на самом деле или нет. Потом она утверждала, что не коснулась. Во всяком случае, она вскрикнула, а затем села на пол и стала растирать себе руку.
– За ту же самую, – жалобно протянула она, – сначала ты, потом этот.
Я помог ей подняться.
– Прости, Мэри Энн, я же предупреждал тебя, ты схватилась за оголенный конец провода…
Клиф прервал меня:
– Глупости. Никакой это не оголенный конец. Просто Малыш защищается.
Мне это и самому было ясно. Мне многое было ясно. Малыш был машиной нового типа. Математический принцип его действия отличался от всех других, когда-либо разработанных до него. Возможно, он обладал какой-то новой характеристикой, чем-то, чего не было в предыдущих думающих аппаратах. Может быть, ему захотелось стать живым и начать расти. Может быть, у него возникло желание создать много других себе подобных машин – целые миллионы их, так чтобы они заполонили всю Землю и стали драться с человеческими существами за право обладать ею.
Я открыл было рот, но Клиф, должно быть, знавший, что я собираюсь сказать, заорал:
– Нет, нет, не говори!
Но я не мог остановиться. У меня вырвалось:
– Послушай, его надо выключить. Эй, в чем дело?
Клиф заметил с укором:
– Он же слышит, о чем мы говорим, пустая твоя голова. Неужели ты не понял, что он услышал про паяльную лампу? Я собирался прокрасться сзади и вытащить шнур из розетки, но теперь он наверняка убьет меня, если я осмелюсь прикоснуться к кабелю.
Мэри Энн отряхивала пыль с юбки и возмущалась состоянием нашего пола. Я уверял ее, что мы тут ни при чем и что во всем виноват сторож. То есть я хотел сказать, что это он развозит грязь по полу.
Тогда она сказала:
– А почему ты не наденешь резиновые перчатки и не выдернешь шнур?
Я видел, что Клиф недоумевает, почему это не пришло в голову ему самому, но, так и не выяснив причины, он натянул перчатки и направился к Малышу.
Я завопил:
– Осторожно!
Глупейшее предупреждение. Ему приходилось быть осторожным – у него просто не было выбора. Одно из щупалец (теперь уже не возникало никаких сомнений на этот счет) выдвинулось вперед, спираль разжалась и легла между Клифом и электрическим кабелем. Она едва заметно вибрировала, и вместе с ней вибрировали ее шесть отростков. Трубки внутри Малыша начали светиться. Клиф и не пытался перешагнуть через препятствие. Он попятился, и спустя некоторое время спираль сжалась и улеглась на место. Клиф снял перчатки.
– Билл, – сказал он, – так мы ничего не добьемся. Эта штука оказалась умнее, чем мы предполагали. Она умудрилась использовать мой голос в качестве модели при постройке диафрагмы. Она достаточно умна, чтобы, – он понизил голос до шепота, – додуматься, как генерировать собственную энергию и стать самозаряжающимся аппаратом. Билл, мы должны положить этому конец, иначе когда-нибудь с Земли раздастся телефонный звонок: “Привет, босс, здесь нет никого, кроме нас, думающих агрегатов”.
– Пойдем в полицию, – сказал я. – Мы им все объясним. Достаточно гранаты или…
Клиф покачал головой.
– Нельзя, чтобы о Малыше узнали. Кто-нибудь другой попытается воспроизвести его, а ведь он, как ты убедился, сулит всяческие неожиданности.
– Что же нам делать?
– Не знаю.
Я почувствовал резкий толчок в грудь, опустил глаза и увидел Мэри Энн, готовую взорваться. Она сказала:
– С меня хватит. Или ты идешь со мной, или не идешь. Решай.
Я пробормотал:
– Но, Мэри Энн…
Она сказала:
– Отвечай – да или нет? Я никогда не была в более идиотском положении. Оделась, чтобы идти в театр, а он тащит меня в захламленную лабораторию и начинает возиться с дурацкой машиной и развлекать меня ее глупыми шутками.
– Уверяю тебя, Мэри Энн…
Но она не слушала, она говорила. Жаль, что я не запомнил всего, что она тогда обрушила на меня. Хотя, пожалуй, это и к лучшему – уж очень мало приятного было сказано по моему адресу. Время от времени я пытался вставить: “Но, Мэри Энн…”, и всякий раз мои протесты тонули в новом шквале обвинений.
Мэри Энн в сущности добрая и деликатная девушка. Она теряет контроль над собой лишь тогда, когда возбуждается, и это объясняется только цветом ее волос. Как я уже говорил, ей приходится оправдывать репутацию рыжих фурий.
Во всяком случае, я опомнился в тот момент, когда она, наступив каблуком на носок моей правой туфли, повернулась, чтобы оставить лабораторию. Я бросился за ней со своим неизменным: “Но, Мэри Энн…”
И тут заорал Клиф. Как правило, он не обращал на нас никакого внимания, но на сей раз он не выдержал.
– Почему ты не попросишь ее выйти за тебя замуж, тупоголовый идиот? – завопил он.
Мэри Энн остановилась. Она стояла в дверях, не оборачиваясь, и ждала. Я тоже остановился, и слова комом застряли у меня в горле. Я был не в состоянии вымолвить даже: “Но, Мэри Энн…”
А Клиф продолжал кричать что-то, хотя его голос доносился до меня как будто бы с расстояния не меньше мили.
Наконец я разобрал его слова:
– Ну же! Ну же! – повторял он снова и снова.
И тут Мэри Энн обернулась. Она была так прекрасна… Не знаю, говорил ли я вам, что глаза у нее зеленые с синеватым оттенком?
Она сказала:
– Ты что-то хотел сказать мне, Билл?
Клиф вложил мне в голову необходимые слова, и я хриплым голосом произнес:
iknigi.net
Три Закона роботехники - Азимов Айзек, стр. 1
В сборник вошли рассказы:
"Здесь нет никого, кроме..." Пер. Р.Рыбаковой
"Робби" Пер. А.Иорданского
"Хоровод" Пер. А.Иорданского
"Логика" Пер. А.Иорданского
"Как поймать кролика" Пер. А.Иорданского
"Лжец" Пер. А.Иорданского
"Как потерялся робот" Пер. А.Иорданского
"Выход из положения" Пер. А.Иорданского
"Улики" Пер. А.Иорданского
"Первый Закон" Пер. Г.Орлова
"Раб корректуры" Пер. Ю.Эстина
"Женская интуиция" Пер. М.Таймановой
"Робот ЭЛ-76 попадает не туда" Пер. А.Иорданского
"Зеркальное отражение" Пер. И.Гуровой
Читайте, наслаждайтесь и помните:
1) Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2) Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону.
3) Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму Законам.
---------------------------------------------
Айзека Азимова
Три Закона роботехники
Люди и роботы
В литературе спокон веков бунтуют роботы. Бунтовали джинны и ифриты арабских сказок, взбунтовался Голем – глиняное детище хитроумного Бен Бецалеля. И даже настоящие роботы, созданные гением Карела Чапека, вышли из повиновения, едва успев родиться из-под пера писателя. Положение стало настолько серьезным, что проблема бунтующих роботов перекочевала со страниц художественной литературы на страницы научных статей и монографий. Сам Норберт Винер счел необходимым предостеречь человечество от возможных последствий чрезмерной самостоятельности роботов.
Спасение пришло с неожиданной стороны. Американский писатель и ученый Айзек Азимов сформулировал свои знаменитые Три Закона роботехники (собственно, правильнее было бы говорить “роботологии” или, как утвердилось в современной науке, “робототехники”, но теперь уже поздно исправлять эту неточность перевода). Законы Азимова с поистине фантастической быстротой получили всемирное признание, и с той поры ни один робот не сходил с конвейера, то бишь с барабанов типографской машины, без того, чтобы в его мозг (заметьте, у робота обязательно должен быть мозг!) не были заложены пресловутые Три Закона. Наконец-то человечество смогло вздохнуть свободно. Будущее сосуществование с легионами покорных роботов представлялось вполне безоблачным.
А что думает по этому поводу сам творец Законов роботехники? Лучший ответ на этот вопрос можно получить, прочтя предлагаемый читателю сборник.
Начнем с самого первого рассказа из цикла “Я, робот”. У маленькой девочки есть робот-нянька. Девочка привязалась к роботу, но, по мнению мамы, эта привязанность вредит правильному воспитанию ребенка. И хотя папа придерживается иного мнения, после долгих семейных дискуссий робота отправляют обратно на фабрику. Девочка грустит, возникает опасность серьезной душевной травмы, и робот возвращается (рассказ “Робби”).
Немудреный сюжет, не правда ли? Но именно эта немудреность вдребезги разбивает Первый Закон роботехники, который Азимов сформулировал следующим образом: “Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред”.
tululu.org