Три правила робототехники: Законы робототехники. Три закона робототехники Азимова

Три закона робототехники [Записки старьевщика]

Перебирал на днях свою библиотеку и наткнулся на интересную книгу. Оказалось, что это стенограмма выступления известного инженера-футуролога Григория Кельвина о законах робототехники и о последствиях их необдуманной модификации.

Стенограмма

Загадки прошлого, загадки будущего. Часто люди не придают значения мелочам, им хочется чего-то большего. И стремятся, бегут куда-то, в погоне за счастьем, не понимая, что оно совсем рядом. Всего лишь надо на минутку остановиться и подумать.
Завтра мы отмечаем праздник – сто лет исполнилось последнему человеку, родившемуся в нероботизированном обществе. Сегодня мы и представить себе не можем такой мир. Роботы повсюду с нами, готовые помочь в трудную минуту. Но когда-то всё было иначе: люди жили среди других людей, а разумные машины были лишь мечтаниями определенной касты людей, именующей себя фантастами.
Был среди них тогда один человек, звали его Айзек Азимов. Айзек был обыкновенным парнем. Как и все, он ходил в школу, влюблялся, учился, находил новых друзей и терял старых. Лишь в одном он отличался от них – Айзек имел талант великого писателя и замечательного ученого. В ниве писательства Айзек Азимов не ограничивал себя каким-то одним жанром, но всегда старался популяризовать науку. Однако сейчас мы поговорим не обо всей деятельности писателя, а лишь об одной вехе его жизни. Роботы и законы, которым они подчиняются. Все вы прекрасно знаете законы робототехники, но я всё же возьму на себя смелость их перечислить.
Первый закон робототехники: робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон робототехники: робот должен повиноваться командам человека, если эти команды не противоречат Первому Закону.
Третий закон робототехники: робот должен заботиться о своей безопасности, пока это не противоречит Первому и Второму Законам.
Сегодня многие могут возразить, мол, эти законы неверные, роботы им не подчиняются. На самом же деле они будут одновременно и правы и не правы. Многие роботы действительно основаны на законах робототехники, но не совсем, так как это принято понимать. Дабы разрушить распространённые заблуждения, давайте поговорим именно об этой теме.
Айзек Азимов был одним из первых писателей, кто подошел к осмыслению возможности появления разумных машин не с разрушительной стороны. Свои произведения посвященные робототехнике Азимов начал писать в сороковые года двадцатого века, когда в научной фантастике существовал явный тренд в изображении роботов как рукотворных созданий уничтожающих своего хозяина. Айзек отказался от этого — вместо роботов-убийц писатель показал, что роботы могут играть созидательную роль в жизни человека. Всего лишь необходимо заложить в устройство разумной машины правила, не позволяющие роботу навредить человеку.
Айзек элегантно объяснил, как заложить эти законы в робота. Роботы создаются по образу и подобию человека и так же, как люди они наделены сознанием. Хранилищем сознания является позитронный мозг. Как раз таки в этот мозг писатель и заложил законы робототехники. Законы робототехники являются не вербально записанными предложениями в мозгу робота, а сложными математическими формулами, на которых базируется всё сознание робота. Правила заложенные Азимовым являются для роботов своеобразным аналогом инстинктов людей: роботы чувствуют непреодолимую потребность в исполнении этих правил и получают удовлетворение, когда их исполняют.
Здесь мы наталкиваемся на распространённое заблуждение. Три закона робототехники являются довольно-таки расплывчатыми правилами, поэтому как многие считают, они могут быть неверно истолкованы роботами. И они правы. Задать математическую формулу выполняющую функцию закона робототехники непомерно сложно, а так как позитронный мозг, описанный в произведениях Азимова, в реальном мире не существует, то и вовсе невозможно. Поэтому на первых порах робототехники люди отказались от концепции законов. Впрочем, по мере того как усложнялись роботы всё жестче стоял вопрос об их ограничении, появилась потребность в создании этических норм для роботов. Человечество вернулось к законам робототехники и начало исследования в области их практического применения. Конечный результат несколько отличался от того, что изображал Азимов. Однако сегодня мы не на слете юных инженеров-робототехников, поэтому останавливаться на этом я не буду. Скажу только, что законы в своей формулировке не претерпели сильных изменений.
Перейдем к главному, к самим законам робототехники. Законы робототехники являются неотъемлемой частью любой разумной машины. Несмотря на то что, по сути, законы являются этической надстройкой робота, именно они позволяют роботу осознавать себя в нашем мире. Как и любой человек ассоциирует себя с человеческим обществом благодаря принципам порядочности и законопослушности, так и робот встраивается в это общество благодаря законам робототехники. Как писал сам Айзек:

…если хорошенько подумать, Три Закона робототехники совпадают с основными принципами большинства этических систем, существующих на Земле… попросту говоря, если Байерли исполняет все Законы робототехники, он — или робот, или очень хороший человек.

Айзек Азимов понимал, что его законы существуют не в вакууме, а потому сознательно ставил их в ситуации, где они бы нарушались. Не смотря на то, что Азимов ещё тогда предупреждал о чреватости подобных изменений, нашлись люди, которые начали менять законы. И это, к сожалению, стоило нам нескольких жизней. Одна из смертей, между прочим, произошла в вашем городе. Посему сейчас мы поговорим о последствиях подобных изменений и отсутствия законов робототехники вовсе.
Айзек предвосхитил отказ от своих законов и наглядно показал, к чему это может привести. Когда-то люди использовали неразумный транспорт, но по мере того как развивались используемые ими технологии их транспорт становился умнее и в определенный момент времени, в рассказе «Салли», машины поумнели настолько, что начали осознавать себя личностями. И, естественно, как и любое другое разумное существо, они начали заботиться о своей жизни. Так как законы робототехники отсутствовали у этих машин, они оказались способны замучить человека, который постоянно причинял им боль, до смерти.
Не надо иметь семи пядей во лбу, чтобы понять, что отсутствие законов, ограничивающих поведение роботов, может привести к появлению новой расы существ, конкурирующей с людьми. Вы хотите, чтобы транспорт, на котором все мы ездим, мог убить нас по собственной прихоти? Лично я не особо.
Впрочем, Айзек немного лукавил, так изображая машины. Человек хоть и оснащает свой автомобиль различной умной техникой, но не позволяет ему обрести полноценный разум. Существуют специальные конвенции, накладывающие ограничения на технику, встраиваемую в автомобили и не позволяющие машинам осознавать себя личностью.
Нарушение или искажение Первого закона является не менее опасными для людей, чем отсутствие законов, так как Второй и Третий законы основаны на Первом. Любой дефект в Первом законе ведет к смене приоритетов робота: жизнь человека отступает на второй план по сравнению с жизнью робота. Любой робототехник это знает. Однако чтобы обязать производителей роботов встраивать в свою продукцию Первый закон понадобилось не одно слушание и с десяток разбитых судеб.
Фантаст и сам создавал ситуации в своих произведениях, где первый закон модифицировался, но в мире Айзека это всегда происходило хоть и драматично, но бескровно. Так в произведении «Как потерялся робот» для производства техники в опасных условиях была создана специальная серия роботов с усечённым первым законом, сделано это было из практических соображений: роботы работали вместе с людьми, которые подвергались воздействию небольших безопасных доз радиации. Роботы постоянно бросались спасать людей от радиации, а так как для позитронного мозга радиация смертельна, они стабильно выходили из строя. Усечение Первого Закона до формулировки «Робот не может причинить вреда человеку» решило эту проблему, однако одновременно с этим оно открыло новую: робот хоть и не мог причинить вред человеку, но и при опасных для жизни человека обстоятельствах перестал спасать его жизнь.
Каждый сидящий в зале смотрит на окружающих и оценивает себя в сравнении с ними. Кого-то он считает более достойным человеком, кого-то менее. Ценность жизни каждого человека зависит от того чего он достиг в жизни, что сделал для семьи, в частности, и общества, в целом. Мы считаем это нормой, ведь конкуренция внутри одного вида необходима. Другое дело, когда робот оценивает людей по их поступкам. Это неприемлемо. Робот является отличным от человека видом, а потому люди не могут принять этого.
Сегодня это может показаться очевидным, но в те времена мало кто затрагивал эту тему, а потому рассказ Айзека Азимова «…Яко помниши его» неплохо отрезвлял излишне прытких людей. В нем фантаст напомнил людям, что робот созданы по образу и подобию людей и соответственно критериям оценки они начнут осознавать себя людьми. Робот обладает большими аналитическими и физическими способностями по сравнению с человеком, поэтому он начинает считать себя более важным существом, чем любой другой человек.
Получается, что мало того, что между роботом и человеком начинает проявляться межвидовая конкуренция, так и один из конкурирующих видов не станет осознавать себя таковым. А так как робот в силу своего устройства обладает большими физическими и аналитическими способностями, то и вовсе получается, что люди запросто могут оказаться в положении роботов.
По вашим лицам я вижу, что вам не сильно нравится подобное развитие событий. Поэтому я прошу вас, запомнить, что именно первый закон робототехники позволяет подчинить робота человеку на добровольной основе и изменять его не стоит. Помните историю с исследовательской станцией на орбите Юпитера? Именно роботы с модифицированным Первым законом и стали причиной той аварии. «Франкенштейн» оживший перед глазами, да ещё и в замкнутом до невозможности пространстве. Не знаю, что может быть страшнее. Недаром это событие массово освещали по телевидению.
Изменение Второго закона не так критично для людей, как изменение Первого, но и оно всё равно несет в себе вред. Хоть робот и заботится о жизни человека, но не отдает себе отчет, что человек главенствует над ним. Люди создают роботов для собственных нужд, не считая их равными себя. Поэтому, когда на глазах людей их творение перестает подчиняться своему хозяину, в людях просыпаются их потаенные страхи. В рассказе «Логика» создатель трех законов нарисовал именно такую картину. Робот, собранный людьми, из-за нарушения Второго закона перестает подчиняться людям. Мало того, так он еще и начинает считать более развитой расой по сравнению с людьми, хоть несознательно и оберегает их от любой опасности. Нарушение второго закона может нанести значительный душевный вред людям и вновь разбудить в них комплекс Франкенштейна, поэтому трогать его заранее не разобравшись в принципе работы трех законов тоже не стоит. О третьем законе я позволю себе сегодня умолчать, так как он является самым малозначимым законом, и нарушение его не несет никакой опасности для человека.
Надеюсь, мне удалось донести до вас хоть толику важности законов робототехники и опасности их модификации. И всё же для практического использования этих законов человечеству понадобилось немало различных уточнений. Четко выверенных и прошедших десятки различных испытаний уточнений. В конце, хотелось бы вам напомнить, что и сам Азимов признавал необходимость уточнения законов, называя их двусмысленными. В любом случае мы должны поблагодарить Айзека Азимова за проделанную им работу. Айзек позволил людям по-иному взглянуть на робототехнику и со временем совершить гигантский рывок в будущее…

Отрывок из выступления Григория Кельвина
Январь 2129 года
Для справок

Известный писатель-фантаст, посвятивший свою жизнь популяризации науки. Написал за свою жизнь около пятисот книг, многократный лауреат премий Хьюго и Небьюла. Внес в мировую культуру понятия робототехники(robotics) и психоистории (psychohistory, науки о поведении больших групп людей). Считается одним из лучших мастеров научной фантастики.
Родился фантаст в городе Петровичи Смоленской губернии (Россия, ныне Белоруссия) 2 января 1920 века. Родителями мальчика были Анна Рахиль Берман-Азимова и Иегуда Азимов, мельники по профессии. Назван Исааком в честь дедушке. В возрасте 3 лет Айзек вместе с родителями уехал из России в Америку. В Америке родители мальчика поселились в Бруклине, где со временем открыли кондитерский магазин. В возрасте 6 лет Айзек поступил в школу. После окончания школы поступил в Seth Low Junior College, но через год этот колледж закрылся. В 16 лет Айзек поступил на химический факультет Колумбийского университета в Нью-Йорке, где в 1939 году получил степень бакалавра, а в 1941 степень магистра. В 1942 году ушел из университета работать по профессии (химиком) и встретил свою будущую жену, Гертруду Блюгерман. В 1945 году отслужил в армии, а после вернулся в университет и продолжил образование. В 1970 году Азимов расстался со свой женой и практически сразу же сошёлся с Джэнет Опал Джеппсон, с которой познакомился на банкете 1 мая 1959 года. Детьми Айзека были сын Дэйвид, родившийся в 1951 году, и дочь, Робин Джоэн, родившуюся в 1955 году.
Писать Азимов начал в 11 лет. Свой первый рассказ «В плену у Весты» Азимов опубликовал 10 января 1939 году. В 1941 году опубликовал рассказ «Приход ночи. Рассказ получил огромную известность, более двадцати раз попадал в различные антологии и дважды был экранизирован. В 1939 году Азимов начал писать работы о робототехнике, первыми были рассказы «Робби» и «Лжец». После опубликовал сборник рассказов «Я, Робот», который принес писателю всемирную известность. В 1942 году Азимов начал серию романов «Основание». Изначально сборник «Я, робот» и романы «Основание » не имели никакой связи, но в 1980 году Азимов решил их объединить, связав их в единую вселенную.
Тремя любимыми рассказами Азимова были «Последний вопрос», «Двухсотлетний человек» и «Уродливый мальчуган». Любимым романом были «Сами боги».

Это страх перед разумными созданными людьми существами. В случае Азимова иррациональный страх перед роботами.

Иное

Теги

Три закона робототехники

Айзек Азимов

законы робототехники

robotics

роботы

комплекс Франкнештейна

литература

будущее

записки старьевщика

Новость

Перезагрузка сюжета и настройка меха — подробности Armored Core VI от FromSoftware

Андрей Королёв
3
Рефанд

Ищем хорошие игры

18
Новость

Продюсер Battlefield 4 вернулся в EA

Андрей Маковеев
5
Первая полоса

Хорошие игры, которые вы могли пропустить в ноябре

Кирилл Волошин
21
Первая полоса

История Warface: что было, что стало, что нового

Кирилл Волошин
26
Новость

В PS Store ненадолго появилась страница Marvel’s Spider-Man 2 — фанаты ждут анонса

Лина Скорич
5
Новость

«Порой волосы растут в неожиданных местах» — Камерон Монахэн о взрослении Кэла в Star Wars Jedi: Survivor

Лина Скорич
17
Обзор

Marvel’s Midnight Suns: Обзор

Алексей Лихачев
25

сложные отношения и нормы этики

Искусственный интеллект и разумные роботы – это дело очень далекого будущего. Но этические нормы для роботов потребуются уже в самое ближайшее время. В противном случае человечество ждут большие проблемы, по сравнению с которыми «восстание машин» покажется мелкой неприятностью.

Дмитрий Мамонтов

Роботизированные тележки ездят по складам крупных интернет-магазинов, собирая заказы покупателей. Роботизированные беспилотники бороздят небо, сообщая о пробках в центр управления дорожным движением. Авиалайнеры под управлением автопилота перевозят пассажиров через океан. Многие элементы автоматизации уже появились в автомобилях, и вот уже, кажется, недалек тот день, когда на дорогах будут властвовать не водители-люди, а точные, вежливые, спокойные, никогда не теряющие контроля, не знающие усталости и скрупулезно соблюдающие все правила дорожного движения роботы. При массовом распространении роботизированных автомобилей количество аварий и смертей на дорогах должно резко снизиться. По прогнозам многих специалистов, беспилотные автомобили появятся в продаже уже в ближайшие 10−15 лет, и рано или поздно наступит день, когда на дорогах общего пользования не останется места для людей за рулем — просто потому, что это будет угрожать безопасности других людей.

Трудные решения

Но наступление этого дня будет означать не только то, что умение водить машину постепенно станет таким же атавизмом, каким сейчас является умение ездить на лошади. Это будет начало эпохи, когда роботы просто не смогут обходиться без этических принципов. Как считает Гари Маркус, профессор психологии Нью-Йоркского университета, директор Центра языка и музыки, специалист в области когнитивных нейронаук, с этим могут возникнуть серьезные проблемы. Представьте себе, что перед вашим автомобилем, соблюдающим все правила дорожного движения, на дорогу внезапно выскакивает ребенок. Хотя компьютер просчитывает ситуацию намного быстрее человека, законы физики неумолимы, и затормозить робот не успевает. Вот тут-то перед роботом встает этическая задача: что делать? Сбить ребенка? Свернуть в сторону и врезаться в столб с риском убить своих пассажиров? Свернуть на соседнюю полосу с риском столкновения со встречной машиной? Понятно, что речь не идет о высокоуровневой этике типа законов Азимова — роботы пока недостаточно разумны, но какие варианты действий должны быть заложены в компьютер разработчиками беспилотных автомобилей?

Присяга для роботов

Этот вопрос становится даже более актуальным, если вспомнить еще одну область, где активно применяются роботы. Автономные военные машины уже патрулируют опасные зоны, ведут разведку и несут вооружение во время локальных вoйн и спецопераций. Правда, право решать, применять ли оружие, пока остается за человеком, но это вопрос времени. Роботы не устают, не впадают в панику и не мстительны. С другой стороны, как отмечает международная организация по правам человека Human Rights Watch, роботы лишены сострадания, и можно только предполагать, что они могут натворить в руках безжалостного человека. В связи с этим Human Rights Watch в 2012 году даже предложила прямо запретить разработку, производство и использование полностью автономного оружия. Но, конечно же, такой шаг не нашел (и вряд ли когда-нибудь найдет) понимание со стороны военных — настолько серьезные преимущества дает применение роботов на поле боя. «С роботами-солдатами или без них, нам понадобится способ научить роботов этике, — считает Гари Маркус. — Проблема только в том, что никто пока не представляет, как именно это можно осуществить. Все обычно сразу вспоминают законы робототехники Азимова, но пока нет никакой возможности не только запрограммировать эти законы, но и даже создать робота, который бы представлял себе даже самые простые последствия своих действий. С другой стороны, машины становятся быстрее, разумнее, мощнее, так что необходимость наделить их моралью все более и более актуальна. Пока что выражение «этические подпрограммы» звучит как фантастика, но ведь когда-то фантастикой казались и беспилотные автомобили».

Три закона робототехники в I, Робот

от Isaac Asimov

• Home /
• Литература /
• I, Робот /
• Анализ /
• Символизм, образы, аллегория /
• Три закона робототехники

Резюме

• Введение
• Резюме
• Темы
• Котировки
• Персонажи
• Анализ
• Символизм, образы, Аллегория
• Три закона робототехники
• Atomic
• Fire
• Установка
• Нарражатель Точка зрения
• Жанр
• Тон
• Стиль письма
• Что поднялось с титулом?
• Что с концовкой?
• Tough-o-Meter
• Анализ сюжета
• Анализ семи основных сюжетов Букера
• Анализ сюжета в трех действиях
• Мелочи
• Рейтинг паровости
• Аллюзии
• Вопросы
• Лучшее из Интернета
• Написать эссе
• Горит Глоссарий
• Содержание

• НАЗАД
• СЛЕДУЮЩИЙ

Символика, образность, аллегория

1. Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен подчиняться приказам, отданным ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону.
3. Робот должен защищать свое существование до тех пор, пока такая защита не противоречит Первому или Второму закону.

Мы снова цитируем эти законы, потому что они очень важны. Сам Азимов отмечал (в своей книге «Видения роботов »): «Если все, что я написал, когда-нибудь будет забыто, Три закона робототехники наверняка уйдут последними». И это кажется довольно справедливым утверждением, поскольку Три закона можно найти повсюду в других произведениях художественной литературы. (Больше примеров, чем вы можете представить, посмотрите в этом списке.)

Но причина, по которой мы говорим здесь о Трех Законах, заключается в том, что они повсюду в I, Робот . Мистер Уэстон намекает на Первый закон в «Робби», Спиди сталкивается с дилеммой между Вторым и Третьим законами в «Обходе», а в «Разуме» Кьюти не подчиняется приказам (что противоречит Второму закону), но в основном в для соблюдения Первого Закона и т. д. Не каждая история фокусируется на Трех Законах, но каждая история включает их. На самом деле Азимов ожидает, что читатель будет настолько знаком с тремя законами, что к концу книги ему не нужно будет их повторять. Когда Кальвин разговаривает с Байерли в «Неизбежном конфликте», она говорит о законах, никогда не говоря читателю, что это за законы (53).

Итак, давайте предположим, что мы все знакомы с тем, что гласят законы. Что они имеют в виду? Что ж, мы знаем, что Три Закона значат для Сьюзан Кальвин, поскольку она прямо говорит нам:

Три правила робототехники являются важными руководящими принципами многих мировых этических систем. (Evidence.138)

Итак, три закона гарантируют, что у нас будут хорошие роботы.

Но в Законах есть что-то, что почти все заблуждаются: люди думают о Трех Законах как о программном обеспечении, которое просто запрограммировано в мозгу робота: можно запрограммировать Законы и получить хорошего робота или не запрограммировать Законы и получить злого робот. Но посмотрите, как Кальвин и Питер Богерт обсуждают этот вопрос в «Маленьком потерянном роботе»: если вы измените Три закона, вы останетесь с «полной нестабильностью, без невоображаемых решений уравнений позитронного поля» (64). Законы — это не просто программы; они являются необходимой частью того, как вы строите позитронный мозг. Кальвин говорит об этом еще яснее в «Свидетельствах»: «Позитронный мозг не может быть построен без» законов (133). Так что, если вы опустите Законы, вы получите не злого и умного робота, а скорее сумасшедшего робота или просто груду металлолома.

Итак, в рассказах Азимова о роботах Три закона — это не просто гарантия того, что роботы хороши. Кажется, они указывают на то, что есть некая связь между добродетелью и стабильностью/здравым смыслом или даже между добродетелью и интеллектом. То есть невозможно быть по-настоящему умным, если ты не по-настоящему хорош.

• НАЗАД
• СЛЕДУЮЩИЙ

Процитировать эту страницу

О трех законах робототехники Азимова