Три закона робототехники: Законы робототехники. Три закона робототехники Азимова |

Содержание

Три закона робототехники • Джеймс Трефил, энциклопедия «Двести законов мироздания»

200 законов мироздания > Разное

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.

Робот обязан выполнять команды человека, если они не противоречат Первому закону.

Робот обязан делать все необходимое для обеспечения своей безопасности, при условии, что это не противоречит Первому или Второму закону.

Под «законами» я здесь понимаю нечто иное, чем в других статьях, составляющих эту книгу. Законы робототехники — вымысел, плод богатого воображения покойного Айзека Азимова, воплощенный в его классической серии научно-фантастических рассказов о роботах. В рассказах Азимова эти три закона заложены в «позитронный мозг» каждого робота, и их интерпретация часто тесно связана с сюжетом рассказа.

Последние несколько лет я много беседовал с исследователями мозга, искусственного интеллекта и природы сознания. Меня поразило то, как часто в наших беседах затрагивались эти вымышленные законы. Я думаю, дело в том, что, хотя человечество пока не научилось строить роботов, выполняющих придуманные Азимовым законы, все согласны, что именно эти принципы должны определять поведение умных машин.

Поэтому мне кажется, что чем более совершенные механизмы, имитирующие действия и поступки людей, мы научимся создавать, тем большую роль будут играть в нашей жизни три закона, выдуманные Азимовым.

Айзек АЗИМОВ
Isaac Asimov, 1920–92

Американский фантаст и популяризатор науки. Он родился в местечке Петровичи под Смоленском (сейчас оно находится в Белоруссии) и эмигрировал с семьей в Америку в трехлетнем возрасте. В 1941 году он получил степень магистра, закончив химический факультет Колумбийского университета, а в 1948 году, после работы над военными проектами, получил докторскую степень. В следующем году он стал профессором биохимии Бостонского университета. Некоторое время Азимов совмещал работу в университете с трудом писателя-фантаста, однако второе занятие со временем стало основным. Наиболее известные научно-фантастические работы Азимова входят в серию романов о будущем «Основание» («Foundation»), посвященных Галактической империи. Азимов был необычайно плодовитым писателем — из-под его пера вышли почти 500 книг на самые разные темы.

Показать комментарии (23)

Свернуть комментарии (23)

РВС
17.04.2005 19:12
Ответить
Увы, законы Азимова это лишь художественная литература.Попытка представить их реальное применение сразу же приводит к ерунде. Что хорощего может приказать обкуренный наркоман, которому робот должен подчиняться согласно 2-му закону и нужно ли подчиняться командам психически больного?
Очень интересно узнать имена тех исследователей интеллекта и сознания, с которыми автор обсуждал эти законы.
Ответить
GreenWood
РВС 14. 10.2012 23:29
Ответить
Или посмотрите «Я робот»
Ответить

Romashka
03.08.2005 14:40

Ответить

Понятие вреда не совсем понятно. Оно сопряжено с понятиями добра и зла.
А добро и зло до сих пор четко не определено.

Ответить

Personal Jesus
Romashka 29.11.2013 16:40
Ответить
«До сих пор» — звучит так, будто здравый смысл пытается вернуться в пещеру, или куда дальше… на дерево.
Это лишь эмоциональный окрас, связь эвристик и животных рефлексов.
Мерить мир двумя крайностями удел нескольких тысяч лет давности.
В науке, уже давно никто не ищет поиск существования добра или зла, ибо это уже пройденный этап средних веков, под давлением религиозных институтов.
Все есть как есть. Ничто не задается целью быть понятым или описанным.
По теме. Считаю законы Айзика романтикой или, на крайний случай, философией. Следовательно думаю, что на данный момент просто логически невозможно и нецелесообразно урегулировать данный законы в применении робота. К счастью. Ибо всему свое время. Пока не время.)
Ответить

neisa
16.08.2005 17:51

Ответить

Возможные последствия действия этих трех законов пытался описать сам Азимов Почитайте его «эссе о роботах». Он там много об этом говорит. Или почитайте его фантастику. Тоже интересно.

Ответить

Plumbax
09.11.2005 04:58

Ответить

На мой взгляд, понятия добра и зла в свою очередь тесно сопряжены с понятием смысла жизни. Нельзя сказать, к добру или к злу некое человеческое действие, пока неизвестно, в чём вообще должна заключаться цель человеческого поведения.

Впрочем, в рамках роботехники Азимова это можно решить просто до вульгарности.
В одном из его романов описывается, как человекоподобному роботу встроили контур стремления к справедливости — определяя справедливость всего лишь как соблюдение государственных законов. «А если закон несправедлив?» — «Несправедливый закон, — отвечал робот, — это терминологическое противоречие».

Если действовать таким вульгарным образом, то можно с лёгкостью определить понятие вреда, вот только проку от таких роботов будет немного…

Ответить

Ol
25.05.2006 15:43

Ответить

Как известно уважаемым присутствующим, разработка новейших технологий, а тем более в области робототехники,сперва призвана удовлетворить потребности «оборонки», а уже потом всё остальное человечество. Думаю и так понятно, что в таких условиях Первый закон будет существенно изменён. И не в сторону всеобщей пацификации.

Ответить

Science-lover
Ol 12.04.2007 11:54
Ответить
Помните слова знаменитого писателя Курта Воннегута:’над чем бы ученый ни работал, у него в конечном итоге получается оружие’.
Наверное с подобной предпосылкой, каковая правит человеческой психологией (и не только в среде ученых) у Земли нет будущего… как не было его у тех, кто жил до нас. А вообще наше стремление к деструкции и самоуничтожению это природная закономерность… все стремится к равновесию (к положительной энтропии), только каждое тело и сущность в Природе делает это по своему. «Звезда стареет и взрывается, человек же дойдя до предела знаний сгорает при 10000 градусах Цельсия за секунду в котле ядерной войны.
Задумайтесь над дренеримским афоризмом — «Каждый народ достоин своего правителя!. .» Почему на протяжении тысяч лет людьми правят троглодиты с дубинами, не потому ли что у нас в чести сила, при которой мозгов не надо?
Но самое страшное, — это когда мозги чтобы выжить в мире троглодитов начинают этим троглодитам служить. Потому как «Силу» мало интересует мнение мозгов, но токмо результаты: например более убойная форма резцов на дубине…
Ответить
- Science-lover
  Science-lover 12.04.2007 13:20
  Ответить
  Выполнение роботом вышеупомянутых законов, — это все-таки перспектива весьма удаленного будущего… (Если оно вообще наступит!)
  Из новейших интеллектуальных систем, что созданы сейчас на базе искусственных нейронных сетей, можно выделить модель RRS-EX (Rezoning Robotic sistems — Exployer). Данная структура максимально приближена к бионическим неврологическим конструкциям… но! Интеллекта способного анализировать быстроменяющуюся объективную конфигурацию окружающей среды у RRS-EX, попросту нет. Все упирается в алгоритмический предел двоичности («ДА-НЕТ» и в промежутке «НЕ ЗНАЮ»). Для того, чтобы научить робота мыслить и экстраполировать свои выводы, необходим некий посторонний сегмент случайности, по-другому именуемый — «Интуитивный подход для Искусственного Интеллекта» или иначе(частный, индивидуальный). Для этого необходимо выйти из стандартной теории математических алгоритмов, которая способна лишь заложить программу действий и ассоциаций для систем-ИИ, но не может придать этим системам способы частных связей в нейронных цепях, коих в биологическом мозге миллиард миллиардов, плюс поперечные влияния и импульсы (рефлекторное осознание). Выражаясь короче системам-ИИ необходима матрица индивидуальности как для самообучения, так и для умения адекватно отражать не только факты, но и постфактумы, а также принимать какие-либо собственные решения на базе заложенной ранее (обучение, воспитание) логической доминанты (логика добра или логика зла). Здесь уже не предоставляется возможности ограничить системы-ИИ тремя законами. Если все же удастся впихнуть в систему эти три закона, тогда поле для индивидуального мышления будет закрыто, следовательно, объект руководимый этими законами будет не более чем тупо калькулирующей машиной. И любой одаренный хакер прожует и выплюнет эти закона как семечки… Заметили? Все как у людей ВОСПИТАНИЕ и ОБУЧЕНИЕ! Иначе получается простой компьютер…
  Ответить
  - Legat
    Science-lover 16.04.2007 15:41
    Ответить
    Сильно не согласен с вами, Любитель науки. Почему очень многие, вполне умные люди иногда высказывают, как само-собой разумеющееся, мнение, что интуиция как то связана со случайностью?
    Интуиция (позднелат. лат. intuitio — созерцание, от лат. intueor — пристально смотрю), способность постижения истины путём прямого её усмотрения без обоснования с помощью доказательства. Бессознательное нахождение решения, озарение.
    На мой взгляд, интуиция ни как не связана, со случайностью и может быть полностью детерминирована. Как и поведение вполне разумного «живого» существа (ИИ). Детерминированность эта может задаваться именно программой. Или вы скажите, что большинство ваших действий не разумны и случайны? Врят ли.
    Высказывание о невозможности:
    >> Здесь уже не предоставляется возможности ограничить системы-ИИ >>тремя законами. Если все же удастся впихнуть в систему эти три >>закона, тогда поле для индивидуального мышления будет закрыто, >>следовательно, объект руководимый этими законами будет не более чем >>тупо калькулирующей машиной.
    Считаю безосновательным. Хотя вопрос, конечно сложный. Подобные высказывания, я думаю, хорошо бы подробно аргументировать.
    Ответить
    - Science-lover
      Legat 17.04.2007 16:12
      Ответить
      Уважаемый! Вопрос абсолютно не сложен. .. Любое видение или созерцание — это есть сенсорно воспринимаемая нами цепь незапрограммированных (без учета участия Бога) случайных событий. Вспомните о яблоке Ньютона… Это о бессознательном нахождении решения (озарение). Именно «Бытие или цепь случайных событий — например; зарождение жизни на Земле, взрыв и расширение Вселенной) определяет сознание» Если сказать еще более доходчиво то, — Бытие это взаимосвязь Энергии всех уровней, результатом взаимосвязи которых являются незапрограммированые события, другими словами — СЛУЧАЙНЫЕ и в большей степени непредсказуемые. Например, упади в эпоху динозавров астероид побольше то, нашего с Вами диалога не существовало бы. Итак «Бытие определяет сознание». Прямой аргумент это — адаптация живых организмов к условиям обитания.
      А что по поводу моих действий, — они разумны, но не запрограмированы.
      Поведение РАЗУМНОГО существа облечь в программу невозможно, поскольку мы всюду окружены цепью случайных событй, иными словами объстоятельствами кои влияют на наше поведение и в особенности на МЫШЛЕНИЕ. Соответственно объстоятельствам и выводятся решения. А вот какие именно решения — это зависит от прожитого опыта, склада ума и воспитания (программы)… но в большей степени от склада ума, опыта и в меньшей степени от воспитания. Поскольку в различных ситуациях разумное существо ведет себя по разному и эта разность определяется именно складом ума и опытом.
      Цитирую Вас — Как и поведение вполне разумного «живого» существа(ИИ)- (Аббревиатура ИИ обозначает ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ и не имеет ничего общего с разумным «живым» существом.)
      Интуиция все же связана со случайностью (ситуацией), и вот почему — когда разумное существо сталкивается со случайным событием требующим решения, у него как правило возникает три основных реакции, а именно; — само решение (результат логического анализа), альтеррешение (интуитивное, подсознательное, иррациональное)и эмоциональный результат, плюс воображение… Все три реакции едины для абсолютно любого РАЗУМНОГО существа. Это аксиома…
      Каким образом все это облечь в программу?
      И вообще, каким же образом — весь этот замечательный набор впихнуть в ограниченный нейронными сетями искусственный интеллект? Не говоря уже о трех законах, в которых если подумать, — иррационального начала вполне хватает?. . (Эти три закона, — не более чем шутка Азимова, Царствия ему Небесного, поскольку эти законы совершенно невозможно экстраполировать в математическую логику. В сущности они противоречат с друг другом.)
      Я занимаюсь робототехникой уже около 17 лет. Сумел математически адаптировать многие уравнения теории алгоритмов под сенсорные переходы в логическом аппарате ИИ.
      Еще раз утверждаю, что пока вышеуказанные реакции не синхронизированы математикой — Робот будет оставаться ходячим компьютером не смотря ни на более совершенные контроллеры, ни на более совершенные процессоры.
      Судя по Вашим словам, Вы не математик… поэтому я старался пояснить как можно проще.
      И большая просьба еще раз повнимательнее почитайте мой первый пост.
      Советую также ознакомиться с физико-математической проблемой двух и трех тел. Понимание этой проблемы очень многое Вам даст для осознания.
      Ответить

Tarkit
22. 10.2007 07:27

Ответить

Я считаю что в эту статью стоит добавить, что Айзек АЗИМОВ первый человек который сказал слово Робот! именно он являеться основополжником этой культуры у писателей фантастов. В добавок я не согласен с афтором статьи по поводу «вымысла богатого изображения» так как это являеться своего рода каноном работы роботизированного мозга в среде людей. а главное помните что даже Сэра Иесака Ньютона в свое время, тоже называли шарлотаном, а законы которые он «выдавал» бредом или в мягкой форме «вымыслами богатой фантазии»…

Ответить

Tarkit
Tarkit 22.10.2007 07:36
Ответить
и еще, про нейронные связи. Нейронные связи способоны не только перестать быть ограничеными, но и способны полностью ассимилировать(надеюсь смысл слова понятен) тело или вещество в котором или на которое они наложены или в котором они находяться. иными словами одна нервная клетка прижившияся на одном участке металла допустим, способна через некоторое время, хоть и продолжительное полностью окупировать его. А теперь представте что кусок жестянки, ограниченый в своих мыслях лиж парой тысяц решений, сможет чувствовать раздражения окружающей среды, а его нейронные связи выйдут за пределы заложеных нами размеров, что обеспечит «механизму» неограниченую память! так что я соглашусь, «чтобы не делал ученый в конечном итоге у него получаеться оружие». и лишь одному богу извесно какие мысли придут в голову бездушной машине превосходящей человека почти во всем в енныйе разы….
Ответить

_ra
Tarkit 24.10.2007 13:08

Ответить

Хочу уточнить, что слово «Робот» придумал не Азимов. В 1920 году Карел Чапек, чешский писатель употребил это слово в пьесе «R.U.R.»;.
http://ru.wikipedia.org/wiki/Чапек
Айзек Азимов же только родился в 1920 году, что нисколько не уменьшает ценности его произведений.
http://ru.wikipedia.org/wiki/Азимов%2C_Айзек

Ответить

evolucionism2021
Tarkit 18.04.2021 14:28

Ответить

Законы работотехники — это о том, как надо, а не о том, как есть. Причём относятся к тому, чего ещё нет.

Ответить

Kostja
01.12.2008 17:37

Ответить

А мне вот рассказ Шекли «Страж-птица» припомнился…

Ответить

otto
20.04.2010 18:03

Ответить

заблуждения ли:
Наш интеллект это надстроечка, защищающая и придерживающаяся интересов тела(функционирование,репликация).
Для интеллекта, мне кажется, главное это мотивация — основная цель. Цель эта будет фундаментом для самообучения и прочего.
Добро и зло это лиш «+» и «-» для интеллекта, то есть «выгода» и «ущерб» в хитрейших хитросплетениях комбинаций и различных цепочек типа «я-семья-общество» (выгода — приближение к основной цели, или же придерживание путей её достижения). Допустим, что основная цель — выжить…

Ответить

roza
10.09.2010 03:09

Ответить

Четвертый закон робототехники — робот никогда не заменит человека

Ответить

Olexiy1405
17.07.2012 13:22

Ответить

Компания Cisco объявила о создании сообщества разработчиков Linksys. В него войдут специалисты, создающие приложения для новых интеллектуальных маршрутизаторов Linksys Smart Wi-Fi Router. Сообщество станет частью популярной сети разработчиков Cisco® Developer Network, объединяющей компанию Cisco с внешними создателями аппаратных и программных средств. В результате совместной работы в этой сети появляются протестированные совместимые решения для общих заказчиков. Компания Cisco, первопроходец в области домашних сетей, продала на мировом рынке более 70 млн маршрутизаторов Linksys и намерена укрепить свое лидерство разработкой решений нового поколения для домашних сетей.
Маршрутизаторы Linksys Smart Wi-Fi Router имеют уникальную облачную архитектуру, позволяющую разработчикам создавать приложения для любых пользовательских электронных устройств. Чтобы упростить разработку, сообществу будет предложен простой и удобный пакет разработчика (software developer kit, SDK), учебные материалы и примеры программных кодов.
«Мы находимся на пороге больших перемен, предоставляющих пользователям домашних сетей такие услуги, о каких они и не мечтали. Новая программная платформа и сообщество Linksys Developer Community открывают перед разработчиками поистине неограниченные возможности, – заявил директор по продуктам Cisco для домашних сетей Викас Бьютани (Vikas Butaney). – Работая с любыми услугами, от самых п ростых – таких, как удаленное наблюдение за квартирой, – до самых сложных, разработчики могут вносить вклад в создание ценных и полезных решений для конечных пользователей».
Некоторые разработчики уже воспользовались платформой Linksys Developer Community, пакетом SDK и другими инструментальными средствами Cisco для ускорения и упрощения разработки приложений. В результате на свет появились шесть приложений, созданных компаниями Axentra Corporation, Fresh Consulting LLC, Gemini Solutions Inc., PacketVideo Corporation, Stratedge Adroitent J.V. и Xoriant Corporation. Новые приложения отличаются простотой подключения устройств (одним нажатием кнопки), расширенными функциями управления доступом и новыми возможностями обмена мультимедийными данными. Эти приложения стали первым шагом в раскрытии широкого потенциала маршрутизаторов Linksys Smart Wi-Fi Router для конечных пользователей.
Разработчики, заинтересованные в присоединении к сообществу разработчиков Linksys, могут посетить веб-страницу http://referati. do.am, чтобы зарегистрироваться и приступить к созданию новых приложений для маршрутизаторов Linksys Smart Wi-Fi Router. Cisco предоставляет разработчикам технические, маркетинговые и торговые ресурсы, поддерживая членов сообщества на всех этапах бизнес-процессов и процессов разработки.

Ответить

Написать комментарий

1887

Ударные волны

сер. XX в.

Триединый мозг

Новостная рассылка

«Элементы» в соцсетях:

Три закона Азимова помогли сформировать ИИ. Нам нужно еще четыре / Хабр

Три закона робототехники Айзека Азимова, вероятно, являются самыми известными и влиятельными из когда-либо написанных в сайенс-фикшн строк в направлении технической политики. Известный писатель предположил, что по мере того, как машины будут обретать большую автономию и играть большую роль в жизни человека, нам понадобятся жёсткие правила, чтобы они не могли нанести нам вред.

Теперь, с A. I., автоматизацией и восходом заводской робототехники создаваемые машинами и их производителями опасности ещё более сложны и насущны. Специально к старту нового потока курса Machine Learning представляем вам перевод интервью с Фрэнком Паскуале, профессором Бруклинского юридического института, который в провокационной книге New Laws of Robotics: Defending Human Expertise in the Age of AI предлагает добавить четыре новых закона к трём законам Азимова.

Приводим законы Азимова для тех, кто с ними не знаком:

Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред.

Робот должен повиноваться всем приказам, которые даёт человек, кроме тех случаев, когда эти приказы противоречат первому закону.

Робот должен заботиться о своей безопасности в той мере, в которой это не противоречит первому или второму законам.

По словам Паскуале, мы должны пойти дальше. Он утверждает, что старые законы должны быть дополнены ещё четырьмя законами:

Цифровые технологии должны дополнять профессионалов, а не заменять их.

ИИ и роботизированные системы не должны подделывать человека.

В области ИИ следует предотвратить усиление гонок вооружения с нулевой суммой [прим. перев. — это относится к понятию игр с нулевой суммой из теории игр].

Роботы и системы ИИ должны указывать на личность своих создателей, контролирующих их людей и владельцев.

Новые законы проистекают из настойчивости Паскуале в его убеждении: прокол в робототехнике и искусственном интеллекте, а также роли технологий в обществе — в том, что не следует оставлять Силиконовую долину в одиночестве, чтобы она могла что-то диктовать. Если новые законы будут соблюдаться, говорит Паскуале, то можно будет использовать технологии для дополнения рабочих мест всех видов, а не для их захвата, особенно в секторах здравоохранения и образования. Однако для этого, по его мнению, директивные и регулирующие органы должны содействовать формированию и демократизации результатов работы в области ИИ. Сдерживание «автоматизации, которая контролирует, клеймит и обманывает невинных людей, — жизненно важная роль регуляторов XXI века», — пишет он. «Нам не просто нужно больше искусственного интеллекта, нам нужен искусственный интеллект лучше».

OneZero обратился к Паскуале, чтобы обсудить, почему он решил обновить законы Азимова, поговорить о причинах, лежащих в основе новых законов, и о многом другом.

Почему вы считаете важным обновить три закона Азимова? Кроме того, зачем делать акцент в книге вокруг демократизации этих решений о том, как используются робототехника и искусственный интеллект?

Законы Азимова — о том, чтобы роботы не обращались с людьми плохо. И я думаю, что это очень важно, конечно, но нам нужно больше идей, учитывающих настоящее и будущее, с которым мы столкнёмся. Намного больше. Нам необходимо обеспечить прочный и демократичный человеческий контроль над развитием технологий. Я думаю, большая мечта многих людей из области ИИ, предположительно, — просто позволить ИИ взять на себя работу врача, медсестры, журналиста, учителя и так далее. И моя идея заключается в том, что это в действительности не та цель, к которой мы должны стремиться. Верно? Главный вопрос — в том, должны ли мы вообще делать так. Думаю, нет. Надлежащая роль многих из этих технологических областей для меня — дополнять и поддерживать профессионалов, а не заменять их.

Вполне вероятно, что дискуссии вокруг А.I. можно переосмыслить таким образом и отойти от мысли, что роботы заберут у нас нашу работу?

Думаю, да. Я честен с вами. Возьмите медицину: 10 лет назад были люди, которые говорили: «Берегитесь, врачи, роботы идут. У них отличное распознавание образов и данные, они заменят вас». Эти же люди, в частности, говорили: «Если вы врач в области радиологии, анестезиологии, дерматологии и патологии… всё это просто распознавание образов, и робот или ИИ с доступом к миллионам изображений нормальных и больных тканей сделает вашу работу намного лучше, чем вы». Здесь возникает вопрос: «Откуда роботы берут данные?». Данные берутся от людей, и, может быть, в конце концов системы ИИ станут машинами, которые будут способны брать данные самостоятельно, но даже если бы машины могли делать это, они не заменят ни одного человека на рабочем месте. На самом деле машина дополняет человека во многих отношениях, и эта ситуация должна оставаться такой. Подумаем о дерматологе. Даже если у вас есть распознающее родинки приложение, вы всё равно захотите поговорить о них с реальным человеком. Вы спросите: «Насколько вероятно, что это ложное позитивное или ложное негативное срабатывание? Мы вырезаем эту родинку, или она комфортна для вас?». Вот пример критического решения, которое должны принимать люди.

Каковы ваши размышления о том, что стоит за каждым новым законом робототехники?

Видение этого очень широко. Будь моя воля, широта задач была бы сопоставима с чем-то вроде Нового курса, где, в сущности, имелся бы массив укоренявшихся десятилетиями агентств с законодательными уставами объёмом от пяти до ста или около того страниц. Затем возникли бы агентства, похожие на Агентство безопасности, Комиссию по ценным бумагам, Федеральную комиссию связи и другие, работающие над уточнением вышеупомянутых уставов. Я надеюсь, что это произойдёт с приходом новых законов робототехники, что придут независимые агентства, которые будут уполномочены применять эти идеи.

Можете привести пару конкретных примеров того, как некоторые из ваших законов будут работать на практике?

Конечно. Возьмите первый предложенный закон о профессиях и дополнении ИИ. Робот не должен быть сертифицирован как учитель. Можно разрешить роботов или ИИ в качестве технологии, которую учителя смогут прописывать точно так же, как врачи прописывают лекарства, но не нужно стремиться к тому, чтобы учителя или какое-либо сочетание онлайн-лекций отслеживалось и курировалось исключительно искусственным интеллектом. Не хочется, чтобы ИИ действительно заменил учителей. Это пример работы закона о комплементарности в работе.

Второй новый закон «Не подделывать человека» требует, чтобы, к примеру, любой находящийся в сети робот был чётко обозначен как таковой. А для введения четвёртого нового закона в отношении атрибуции необходимо, чтобы бот был приписан конкретному лицу. На самом деле пример ботов хорош даже для третьего нового закона, здесь можно сказать, что по мере того, как эти боты начинают распространяться из-за попыток привлечь человеческое внимание в Интернете, можно принять некоторые законодательные или административные меры, чтобы остановить эту гонку вооружений между ботами за человеческое внимание.

Ваш третий новый закон направлен на предотвращение усиления гонки вооружений. Он не ограничивается военными вопросами, верно?

Верно. Я думаю, что есть много областей жизни, где мы контролируем технологию и где крупные технологические фирмы используют ИИ для получения прибыли, ставя людей в условия крысиных бегов. Я долгое время писал о рейтингах и рангах, и я думаю, что кредитный скоринг был ранним примером этого явления. А с алгоритмическим кредитованием это явление приобретает большую интенсивность. Мы увидим всё больше и больше кредиторов, применяющих ИИ и говорящих: «Мы могли бы дать вам скидку на ипотеку в 1 %, но нам нужно увидеть всю историю вызовов в вашем телефоне». Или: «Нам просто нужно увидеть больше данных о вас». Или: «Мы дадим вам скидку на вашу медицинскую страховку, вы просто должны носить это устройство, которое использует ИИ, чтобы „вычислить“, насколько вы здоровы». Эта постоянная жажда всё новых и новых данных сама по себе — гонка вооружений между технологическими компаниями. Эта жажда устраивает гонку вооружений между людьми, где они пытаются давать всё больше и больше данных, чтобы отличать себя от других. Поэтому помните, что всякий раз, когда вам дают скидку из-за вашего поведения или чего-то в этом роде, кто-то, вероятно, платит больше, верно? Такое компанией делается не по доброте душевной.

Не могли бы вы пояснить закон о том, что ИИ и робототехника должны направлять к своим создателям? Почему это так важно?

Закон вводится, по сути, для того, чтобы остановить даже идею или стремление ИИ быть автономным от людей. Я имею в виду, что существуют научно-фантастические или футуристические устремления к созданию роботов, которые могли бы быть похожими, скажем, на ваших детей. Мы обучали бы их, пока они молоды, а потом отправляли в мир. Представьте себе робота в фильме Ex Machina, Ava, её просто неконтролируемый выход в мир и так далее. Такого не должно случиться никогда. Любой выпущенный в мир робот или любой участвующий в сети как бот ИИ — все они должны отслеживаться до их владельца или контролёра, который может в любой момент отключить их или иным образом изменить их поведение, то есть робот не должен быть автономным. Мы просто избавляемся от идеи автономности. Вычёркиваем ее как то, чего никогда не сделаем.

Скажу о причине, по которой я думаю, что это важно. Я беспокоюсь вот о чём. Представьте, что мы живём в мире, где тротуарные роботы или беспилотники, другие вещи могут приближаться к нам, и мы не знаем, что они делают или почему они это делают. Я думаю, что всякий раз, когда к вам приближается беспилотник или тротуарный робот, вы должны быть в состоянии направить на него свой мобильный телефон и сразу же получить информацию: «Вот владелец, а вот кто-то, на кого вы можете пожаловаться». Это как уведомление об авторском праве на сайте в цифровую эпоху. Другими словами, речь идет о соответствующем органе управления, в который вы можете обратиться с жалобой, если владелец не отвечает на ваши беспокойства.

Какая ответственность лежит на создателях за то, что в итоге делают роботы и ИИ?

Для занятых в областях робототехники и искусственного интеллекта людей пришло время взять ответственность за невероятную гибкость и пластичность их ПО, которое можно было бы запрограммировать иначе. Возьмём такой пример: я не должен расстраиваться или сочувствовать плачущему роботу, потому что его можно так же легко запрограммировать смеяться над всем, что заставляет его искусственно плакать. И здесь мы должны быть трезвыми, поскольку существует быстрорастущая область аффективных вычислений, которая для меня во многих отношениях — прелюдия к манипулированию людьми и контролю над ними со стороны крупных корпораций и правительств через посреднические эффекты технологий. И мы должны смотреть этим мрачным возможностям прямо в глаза.

В книге вы в основном концентрируетесь на влиянии ИИ и автоматизации на «профессиональную» работу. А как насчёт синих воротничков? Или людей, которые работают, скажем, на складе или в качестве кассиров в продуктовом магазине?

Об этом стоит сказать. И это так интересно, когда думаешь о работе кассира, потому что, когда есть автоматизированные киоски, которые проверяют людей, и один человек смотрит за тремя-четырьмя киосками, можно сказать: «Роботы лишили работы четырёх человек». Или можно сказать: «Ну, это позволило одному человеку быть более продуктивным, потому что теперь он отвечает за эти машины, пропускающие людей, пытается их починить, убедиться, что машины работают эффективно и так далее». Это будет очень интересный вопрос, но, в конечном счёте, я не думаю, что в этом вопросе политика должна стоять на пути автоматизации, если только люди работающие кассиры не скажут: «Есть причина, по которой вам нужны человеческое суждение и люди, которые контролируют процесс». И если убрать нас из процесса, возникнет большая проблема».

В вашей предыдущей книге The Black Box Society: The Secret Algorithms That Control Money and Information вы скрупулёзно изучаете, как подобные YouTube или Facebook-платформы процветают с помощью алгоритмов, задерживающих нас на сайте через предложение контента, в значительной степени основанного на том, что мы уже посмотрели. И, как мы все уже видели, это часто заканчивается поощрением и распространением дезинформации и теорий заговора. На ваш взгляд, нужно ли больше регулирования для решения этой проблемы?

Абсолютно необходимо. Во-первых, в новой книге я рассматриваю проблему управляющего медиа ИИ, берущего на себя главным образом редакторские функции и даже иногда функции по созданию распространяемого контента. Это вызывает тревогу, поскольку такие системы оптимизированы под задачу грубым, упрощённым образом, они сырые и не отражают социальную ценность истины. И, как вы уже упомянули, сильно проявили себя теории заговора. Попасть в ряды их сторонников легко. Другая проблема заключается в том, что управляемые ИИ платформы скажут в ответ: «Мы просто даём людям то, что они хотят». На самом же деле то, как разработана архитектура самого выбора, имеет большое влияние на то, чего хотят люди. Мы не должны жить в мире, где ИИ может сказать: «Хорошо, мы получим еще 10 зрителей, если покажем эти сумасшедшие педофильные клипы или ещё что-нибудь». Это просто грубый путь к высоким метрикам успеха.

Что, по-вашему, заставляет нас хотеть создавать роботов и ИИ, которые очень похожи на нас?

Основные аргументы в пользу создания роботов, похожих на людей, исходят из постгуманистической или трансгуманистической перспективы. Сторонник постчеловеческий перспективы сказал бы: “Мы хорошо поработали на Земле, но, вы знаете, в конечном счёте наш мозг слишком медленный. Роботы оснащены более производительными процессорами. Они будут понимать и делать больше в этом мире. Просто позвольте им это. И трансгуманист скажет: «Да, если вы хотите выйти за пределы человеческих ограничений, вам, наверное, придётся выйти за пределы человеческого тела». И часть такого подхода — вход в робототехнику, слияние с ней или что-то в этом роде. И я считаю, что трансгуманистические и постгуманистические перспективы, в конечном счете, очень антигуманистичны.

В чем конкретно эти позиции антигуманнны?

Отчасти существенным элементом человеческой сущности являются принятие и понимание наших ограничений. Наши слабости. Нужно усилие, чтобы превзойти слабость и сказать: «Ну, вот бессмертное существо; давайте относиться к нему, как к сверхчеловеку». Это проблематично. Такой подход включает отрицание того факта, что мы смертны. Что мы чувствуем боль. У нас есть ограниченное количество вещей, на которые мы можем потратить наше внимание. Когда я умру, накопится миллиард не прочитанных мной книг. И я не думаю, что кто-то может сказать: «Ну, представьте себе, вы были бы намного лучше — если бы вы были роботом, который мог бы обрабатывать 1 миллион книг за короткое время». Мой короткий ответ на это: я не думаю, что такое было бы похоже на ситуацию, когда я по-человечески читаю книгу или когда любой другой человек читает. Есть уникальный способ, которым мы взаимодействуем с вещами, и это делает нас особенными.

В целом что больше всего мотивировало на конфронтацию с возникающим ИИ в книге?

Я на самом деле хотел исследовать, что это значит — ставить человеческий труд в центр экономики и общества. В противопоставление подходу, когда человеческий труд — просто ресурс, подобный природному, где человек просто кладёт вещи в некую машину и следит за тем, что делает машина, получая на выходе нечто. Эти поиски действительно важны, в частности потому, что наша экономика сейчас ориентирована на такие вещи, как финансовые активы, акции — и на владельца этих вещей, и именно так мы измеряем успех во многих отношениях: мы смотрим, поднимается или опускается фондовый рынок. И вот мой вопрос: «Как мы могли бы думать о будущем технологий и работать над тем, чтобы человеческий труд был в центре всей дискуссии?». И размышления об этом, я надеюсь, дают представление о том, как экономика может быть намного справедливее и стабильнее для нас, людей.

Продвинутый курс «Machine Learning Pro + Deep Learning»

Курс «Математика и Machine Learning для Data Science»

Курс по Machine Learning

Обучение профессии Data Science

Обучение профессии Data Analyst

Курс «Python для веб-разработки»

Eще курсы

Профессия Этичный хакер

Разработчик игр на Unity

Курс по JavaScript

Профессия Веб-разработчик

Профессия Java-разработчик

C++ разработчик

Курс по аналитике данных

Курс по DevOps

Профессия iOS-разработчик с нуля

Профессия Android-разработчик с нуля

Сколько зарабатывает дата-сайентист: обзор зарплат и вакансий в 2020

Сколько зарабатывает аналитик данных: обзор зарплат и вакансий в 2020

Как стать Data Scientist без онлайн-курсов

450 бесплатных курсов от Лиги Плюща

Как изучать Machine Learning 5 дней в неделю 9 месяцев подряд

Machine Learning и Computer Vision в добывающей промышленности

Каковы три закона робототехники Айзека Азимова? Являются ли они чисто вымышленными или им есть научное подтверждение? | Примечания и вопросы

Категории
Укромные уголки
Прошлый год
Семантические загадки
Тело красивое
Бюрократия, белая ложь
Спекулятивная наука
Этот остров со скипетром
Корень зла
Этические загадки
Эта спортивная жизнь
Сцена и экран
Птицы и пчелы

СПЕКУЛЯТИВНАЯ НАУКА

Какие три закона робототехники Айзека Азимова? Являются ли они чисто вымышленными или им есть научное подтверждение?

Пол Питерс, Тоттенхэм, Великобритания

Первый закон:
Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
Второй закон:
Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону.
Третий закон:
Робот должен защищать свое существование до тех пор, пока такая защита не противоречит Первому или Второму закону.
Бенджи Арнольд, Лондон, Великобритания

Они фиктивны в том смысле, что не существует робота или, в широком смысле этого слова, автомата, к которому применим любой из них. Умные бомбы и крылатые ракеты — это виды роботов, которые нарушают первый и третий законы. Компьютеры и машины, управляемые компьютерами, делают то, на что они запрограммированы, и, конечно же, они причинят вред людям, если они запрограммированы на это, или если люди будут мешать им выполнять свои программы.
На первый взгляд эти концепции кажутся разумными. Но они основаны на человеческих представлениях. Люди могут быть злонамеренными, машины делают то, на что они запрограммированы. В то время, когда эти концепции впервые обсуждались, возможно, существовало определенное беспокойство по поводу захвата мира роботами. В наши дни мы так привыкли к ним, что почти не задумываемся об этом.
Теренс Холлингворт, Бланьяк Франция

Три закона робототехники — это предложения о том, как должны работать роботы в идеале. Они есть:
1. Робот никогда не должен причинять вред человеку или своим бездействием допускать причинение вреда человеку.
2. Робот всегда должен подчиняться приказам людей, за исключением случаев, когда это противоречит первому закону.
3. Робот должен защищать свое существование, за исключением случаев, когда это противоречит первому или второму закону.
Это законы, подобные закону против убийства, теперь законы, подобные закону гравитации. Поэтому научная достоверность не имеет значения. Мы выбираем, создавать роботов, которые подчиняются им или нет. Это зависит от нас.
Саймон Блейк, Шрусбери Англия

Три правила таковы (моими словами — не держите книгу под рукой)
1) Робот своим действием или бездействием не допустит причинения вреда человеку.
2) Робот своим действием или бездействием или, если только он не нарушит правило 1, не позволит причинить себе вред.
3) Робот будет, если это не заставит его нарушить либо правило 1, либо правило 2, делать то, что ему приказывает человек.
Эти законы разработаны, чтобы быть частью присущей роботу природы — они не являются жесткими и быстрыми физическими законами, а чем-то, чему роботы должны следовать как часть их создания.
Саймон, Хинчли Вуд, Великобритания

Законы робототехники Азимова не являются научными законами, это инструкции, встроенные в каждого робота в его рассказах, чтобы предотвратить их сбои, которые могут быть опасными.
Первый закон заключается в том, что робот не должен причинять вред человеку или своим бездействием допускать причинение вреда человеку. Второй закон заключается в том, что робот должен подчиняться любым инструкциям, данным ему человеком, а третий закон заключается в том, что робот должен избегать действий или ситуаций, которые могут причинить ему вред. В случае противоречия этих законов приоритет отдается первому закону, затем второму закону, а самосохранение робота занимает последнее место. Например, если человек приказал роботу атаковать другого человека, он отказался бы выполнять приказ (первый закон имеет приоритет над вторым), но если человек приказал ему разобрать себя, он подчинился бы (второй закон имеет приоритет над третьим).
Susie Burlace, Лондон, Великобритания

Законы предполагают весьма причудливое представление о роботах как об андроидах, взаимодействующих с людьми на равных. Это имеет мало отношения к науке кибернетике, но делает некоторые тонкие выводы о нашей социологии.
Аллан Дин, Уимблдон, Великобритания

Законы Азимова были созданы Айзеком Азимовым в противовес легенде Франкенштейна о том, что любое наполовину разумное творение человечества будет несовершенным и завистливым к человечеству и неизбежно повернется против своего создателя. До Азимова научная фантастика была полна опасных роботов-убийц. После него у нас дружелюбные, почти человеческие андроиды.
Три закона — и важно привести их в порядок —
1 — Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред.
2. Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие приказы противоречат первому закону.
3 — Робот должен защищать свое существование до тех пор, пока такая защита не противоречит первому или второму закону.
Эти законы были придуманы для научной фантастики, но с большим доверием к ним относятся в области робототехники (ведь слово робототехника придумал Азимов). Если наступит день, когда у нас появятся разумные, разумные роботы, можно поспорить, что законы Азимова будут первыми.0101 Тревор Смит, Питерборо, Великобритания

Разве Азимов также не изобрел «нулевой закон», что-то вроде «Робот не может причинить вред человечеству или своим бездействием допустить, чтобы человечеству был причинен вред»?
Тим Кэмпбелл, Уиган, Великобритания

Две точки:
1) На самом деле есть еще один. Нулевой Закон (он появился позже, хронологически, но более фундаментален) гласит, что робот не способен причинить вред Человечеству, ни своим бездействием……
2) Он их придумал, но я осмелюсь сказать, что кибернетики будут реализовывать что-то подобное (если мы когда-нибудь зайдем так далеко), потому что это хорошая идея, а также тот факт, что многие из них читали романы Азимова.
Джон Брукс, Манк, Великобритания

Я не знаю ответа на этот вопрос, но я хотел бы знать, почему так много людей не могут написать «Исаак».
Сет Неттлз, Кингстон, Ямайка

Стоит также отметить, что, хотя законы Азимова кажутся разумными на первый взгляд, в некоторых произведениях, в которых они появляются (по крайней мере, в книге «Я, робот»), говорится о том, как эти, казалось бы, непреложные законы, призванные предотвратить причинение роботами вреда людям, могут имеют вредные последствия.
Стоит прочитать…
Марк, Уолласи, Великобритания

Истории Азимова о роботах увлекательны как научная фантастика, так и как исследование моральных ценностей и социологических нравов.
Он играет с тремя законами, чтобы продемонстрировать их ценность, а также их недостатки. Я рекомендую «Полного робота» — сборник его рассказов за десятилетия в качестве введения в его новаторские идеи.
Алан Харрисон, Алтринчем Соединенное Королевство

Добавьте свой ответ

Спустя 75 лет «Три закона робототехники» Айзека Азимова нуждаются в обновлении

Когда писатель-фантаст Айзек Азимов разработал свои «Три закона робототехники», он думал об андроидах. Он представил себе мир, в котором эти человекоподобные роботы будут действовать как слуги и им потребуется набор правил программирования, чтобы предотвратить причинение вреда. Но за 75 лет, прошедших с момента публикации первого рассказа, в котором представлены его этические принципы, произошли значительные технологические достижения. Теперь у нас совсем другое представление о том, как могут выглядеть роботы и как мы будем с ними взаимодействовать.

Высокоразвитая область робототехники производит огромное количество устройств, от автономных пылесосов до военных дронов и целых заводских производственных линий. В то же время искусственный интеллект и машинное обучение все чаще стоят за большей частью программного обеспечения, которое ежедневно влияет на нас, независимо от того, ищем ли мы в Интернете или получаем государственные услуги. Эти разработки быстро ведут к тому времени, когда роботы всех видов станут преобладать почти во всех аспектах жизни общества, а взаимодействие человека и робота значительно возрастет.

Законы Азимова до сих пор упоминаются как шаблон для руководства нашей разработкой роботов. В 2007 году правительство Южной Кореи даже предложило Хартию этики роботов, отражающую законы. Но учитывая, насколько робототехника изменилась и будет продолжать развиваться в будущем, мы должны задаться вопросом, как эти правила могут быть обновлены для версии искусственного интеллекта 21-го века.

Три закона

Предложенные Азимовым законы были разработаны для защиты людей от взаимодействия с роботами. Их:

Робот не может причинить вред человеку или своим бездействием допустить причинение вреда человеку
Робот должен подчиняться приказам, отдаваемым ему людьми, за исключением случаев, когда такие приказы противоречат Первому закону
Робот должен защищать свое существование до тех пор, пока такая защита не противоречит Первому или Второму Закону

Как уже упоминалось, одна из очевидных проблем заключается в том, что современные роботы кажутся гораздо более разнообразными, чем в рассказах Азимова, включая и гораздо более простых. Поэтому нам нужно подумать, следует ли нам установить порог сложности, ниже которого правила могут не потребоваться. Трудно представить себе робота-пылесоса, способного причинять вред людям или даже требующего способности подчиняться приказам. Это робот с единственной задачей, которая может быть задана до его включения.

Однако на другом конце спектра находятся роботы, предназначенные для военных боевых действий. Эти устройства разрабатываются для шпионажа, обезвреживания бомб или перевозки грузов. Похоже, что они по-прежнему соответствуют законам Азимова, особенно потому, что они создаются для снижения риска для человеческих жизней в очень опасных условиях.

Но это всего лишь небольшой шаг, чтобы предположить, что конечной военной целью будет создание вооруженных роботов, которые можно будет использовать на поле боя. В этой ситуации Первый закон — не причинять вреда людям — становится чрезвычайно проблематичным. Роль военных часто заключается в спасении жизней солдат и гражданских лиц, но часто и в нанесении вреда своим врагам на поле боя. Таким образом, законы, возможно, придется рассматривать с разных точек зрения или интерпретаций.

Двусмысленность законов побудила авторов, в том числе Азимова, исследовать, как они могут быть неправильно истолкованы или применены. Одна проблема заключается в том, что они на самом деле не определяют, что такое робот. По мере того, как исследования раздвигают границы технологий, появляются новые отрасли робототехники, в которых рассматриваются более молекулярные устройства.

Например, «роботы», сделанные из ДНК и белков, могут использоваться в хирургии для исправления генных нарушений. Теоретически эти устройства должны действительно следовать законам Азимова. Но для того, чтобы они могли следовать приказам через сигналы ДНК, им, по сути, нужно было стать неотъемлемой частью человека, над которым они работали. Эта интеграция затем затруднит определение того, достаточно ли автономен робот, чтобы подпадать под действие законов или действовать вне их. И на практическом уровне для него было бы невозможно определить, причинят ли какие-либо полученные им приказы вред человеку в случае их выполнения.

Есть еще вопрос, что считается причинением вреда человеку. Это может быть проблемой, например, при рассмотрении вопроса о разработке младенцев-роботов в Японии. Если бы человек принял одного из этих роботов, это могло бы нанести эмоциональный или психологический вред. Но этот вред мог возникнуть не в результате непосредственных действий робота или стать очевидным только через много лет после прекращения взаимодействия человека и робота. Эта проблема может относиться даже к гораздо более простому ИИ, например, к использованию машинного обучения для создания музыки, вызывающей эмоции.

Практические проблемы

Другая большая проблема с законами заключается в том, что нам потребуется значительный прогресс в области ИИ, чтобы роботы действительно могли им следовать. Цель исследований ИИ иногда описывается как разработка машин, которые могут мыслить и действовать рационально, как человек. До сих пор подражание человеческому поведению не было хорошо изучено в области ИИ, и развитие рационального поведения было сосредоточено в ограниченных, четко определенных областях.

Имея это в виду, робот может действовать только в очень ограниченной сфере, и любое рациональное применение законов будет сильно ограничено. Даже это может быть невозможно с современными технологиями, поскольку система, которая могла бы рассуждать и принимать решения на основе законов, нуждалась бы в значительной вычислительной мощности.