Тест на искусственный интеллект: Тест: Искусственный интеллект. Расширенное тестирование

Тест Тьюринга / Хабр

Итак сегодня мы поговорим о самом известном тесте для оценки говорящего бота — это тест Тьюринга.

Тест Тьюринга — эмпирический тест, идея которого была предложена Аланом Тьюрингом в статье «Вычислительные машины и разум» (англ. Computing Machinery and Intelligence), опубликованной в 1950 году в философском журнале «Mind». Тьюринг задался целью определить, может ли машина мыслить.

Стандартное звучание закона: «Если компьютер может работать так, что человек не в состоянии определить, с кем он общается — с другим человеком или с машиной, — считается, что он прошел тест Тьюринга»

Разумные, подобные человеку машины на протяжении многих десятилетий были одной из основных тем научно-фантастических произведений. С момента зарождения современной вычислительной техники умы людей занимал вопрос: можно ли построить машину, которая могла бы в чем-то заменить человека. Попыткой создать твердую эмпирическую почву для решения этого вопроса и стал тест, разработанный Аланом Тьюрингом.

Первый вариант теста, опубликованный в 1950 году, был несколько запутанным. Современная версия теста Тьюринга представляет собой следующее задание. Группа экспертов общается с неизвестным существом. Они не видят своего собеседника и могут общаться с ним только через какую-то изолирующую систему — например, клавиатуру. Им разрешается задавать собеседнику любые вопросы, вести разговор на любые темы. Если в конце эксперимента они не смогут сказать, общались ли они с человеком или с машиной, и если на самом деле они разговаривали с машиной, можно считать, что эта машина прошла тест Тьюринга.

Существуют, по крайней мере, три основных варианта теста Тьюринга, два из которых были предложны в статье «Вычислительные машины и разум», а третий вариант, по терминологии Саула Трейджера (Saul Traiger), является стандартной интерпретацией.

Наряду с тем, что существует определенная дискуссия, соответствует ли современная интерпретация тому, что описывал Тьюринг, либо она является результатом неверного толкования его работ, все три версии не считаются равносильными, их сильные и слабые стороны различаются.

Имитационная игра

Тьюринг, как мы уже знаем, описал простую игру для вечеринок, которая включает в себя минимум трех игроков. Игрок А — мужчина, игрок В — женщина и игрок С, который играет в качестве ведущего беседу, любого пола. По правилам игры С не видит ни А, ни В и может общаться с ними только посредством письменных сообщений. Задавая вопросы игрокам А и В, С пытается определить, кто из них — мужчина, а кто — женщина. Задачей игрока А является запутать игрока С, чтобы он сделал неправильный вывод. В то же время задачей игрока В является помочь игроку С вынести верное суждение.

В той версии, которую С. Г. Стеррет (S. G. Sterret) называет «Первоначальный тест на основе имитационной игры» (Original Imitation Game Test), Тьюринг предлагает, чтобы роль игрока А исполнял компьютер. Таким образом, задачей компьютера является притвориться женщиной, чтобы сбить с толку игрока С. Успешность выполнения подобной задачи оценивается на основе сравнения исходов игры, когда игрок А — компьютер, и исходов, когда игрок А — мужчина. Если, по словам Тьюринга, «ведущий беседу игрок после проведения игры [с участием компьютера] выносит неверное решение так же часто, как и после проведения игры с участием мужчины и женщины», то можно говорить о том, что компьютер разумен.

Второй вариант предложен Тьюрингом в той же статье. Как и в «Первоначальном тесте», роль игрока А исполняет компьютер. Различие заключается в том, что роль игрока В может исполнять как мужчина, так и женщина.

«Давайте рассмотрим конкретный компьютер. Верно ли то, что модифицируя этот компьютер с целью иметь достаточно места для хранения данных, увеличивая скорость его работы и задавая ему подходящую программу, можно сконструировать такой компьютер, чтобы он удовлетворительно выполнял роль игрока А в имитационной игре, в то время как роль игрока В выполняет мужчина?», — Тьюринг, 1950, стр. 442.

В этом варианте оба игрока А и В пытаются склонить ведущего к неверному решению.

Главной мыслью данной версии является то, что целью теста Тьюринга является ответ не на вопрос, может ли машина одурачить ведущего, а на вопрос, может ли машина имитировать человека или нет. Несмотря на то, что идут споры о том, подразумевался ли этот вариант Тьюрингом или нет, Стеррет считает, что этот вариант Тьюрингом подразумевался и, таким образом, совмещает второй вариант с третьим. В это же время группа оппонентов, включая Трейджера, так не считает. Но это все равно привело к тому, что можно назвать «стандартной интерпретацией». В этом варианте игрок А — компьютер, игрок В — человек любого пола. Задачей ведущего является теперь не определить кто из них мужчина и женщина, а кто из них компьютер, а кто — человек.

Тьюринг в 2012

Для организации мероприятий по празднованию в 2012 году столетия со дня рождения Тьюринга создан специальный комитет, задачей которого является донести мысль Тьюринга о разумной машине, отраженную в таких голливудских фильмах, как «Бегущий по лезвию», до широкой публики, включая детей. В работе комитета участвуют: Кевин Ворвик, председатель, Хьюма Ша, координатор, Ян Бланд (Ian Bland), Крис Чапмэн (Chris Chapman), Марк Аллен (Marc Allen), Рори Данлоуп (Rory Dunlop), победители конкурса на получение премии Лёбнера Робби Гарне и Фред Робертс (Fred Roberts). Комитет работает при поддержке организации «Женщины в технике» (Women in Technology) и Daden Ltd.

ИИ или нет? Тест про искусственный интеллект, который должен пройти каждый

Продолжение сюжета от

Истории

30 мая 2017

Истории

30 мая 2017

Алиса Беркана

Редактор блока «Технологии и бизнес».

Алиса Беркана

Пора расставить точки над i. Над искусственным интеллектом.

Алиса Беркана

Все, кто имеет хоть какое-то мнение по этому поводу, разбились на два лагеря. Первые считают, что искусственного интеллекта не существует, так как не ясна сама природа интеллекта человеческого. Вторые — что искусственный интеллект всё же есть, но его уровень развития сегодня находится на стадии пятилетнего ребёнка.

Сторонники второго лагеря делят искусственный интеллект на сильный и слабый (если он всё же есть). Согласно этой классификации, сильного ИИ ещё не существует, поэтому все примеры искусственного интеллекта в нашем тесте относятся к так называемому Weak AI.

Остались вопросы? Спорьте в комментариях!

Материалы по теме:

Алгоритмом — раз или шайбой в глаз: как ИИ меняет спорт

Эмоциональный труд: что останется человеку в эпоху ИИ?

Почему специалисты по ИИ так ценят видеоигры

Петербургский стартап разработал «счётчик Гейгера» для нативной рекламы

Главная технологическая повестка: куда смотрят лидеры индустрии?

• Искусственный интеллект
• Тесты

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

1. 1

   Что вы знаете об облачных сервисах?

2. 2

   ТЕСТ: Ребрендомания. Заметишь ли ты, как изменились логотипы компаний?

3. 3

   Тест: Факты о бумаге, которые вы не знали

4. 4

   Вместо Web 3.0 у нас будет Web 2.5 — что тормозит переход к новому интернету

5. 5

   TechTrends-дайджест: ИИ-генераторы «фейкньюс», графика игр нового поколения, «умная» модерация в Tinder

ВОЗМОЖНОСТИ

26 декабря 2022

Goznak Startup Lab

26 декабря 2022

«Безопасный интернет»

30 декабря 2022

Softlanding Program

Все ВОЗМОЖНОСТИ

Новости

Россиянам рассказали, какие счета в банке лучше закрыть

Истории

OpenAI: создатель Chat GPT и потенциальная «угроза для человечества»

Новости

Сергей Брин «без помпы» пожертвовал $1,1 млрд на исследования болезни Паркинсона

Истории

Портфель Бернара Арно: в какие стартапы инвестирует самый богатый человек мира

Истории

Подборка: 10 самых популярных ИИ-генераторов изображений

Тест Тьюринга в искусственном интеллекте

Тест Тьюринга был разработан Аланом Тьюрингом (ученым-компьютерщиком) в 1950 году. Он предположил, что «Тест Тьюринга используется для определения того, может ли компьютер (машина) мыслить разумно, как люди. ”?

Представьте себе игру с тремя игроками, двумя людьми и одним компьютером, следователь (как человек) изолирован от двух других игроков. Задача следователя состоит в том, чтобы попытаться выяснить, кто из них человек, а кто компьютер, задавая вопросы обоим. Чтобы усложнить задачу, компьютер пытается заставить следователя ошибиться. Другими словами, компьютеры будут стараться быть максимально неотличимыми от людей.
 

«Стандартная интерпретация» теста Тьюринга, в котором игроку С, следователю, дается задача определить, кто из игроков — А или В — компьютер, а кто человек. Следователь может использовать только ответы на письменные вопросы для вынесения решения.
А (Компьютер): Нет

C: Умножить одно большое число на другое, 158745887 * 56755647
A: После долгой паузы неверный ответ!

C: Добавить 5478012, 4563145
A: (Пауза около 20 секунд, а затем дать ответ) 10041157 

тест и машина (компьютер) считаются такими же интеллектуальными, как человек. Другими словами, компьютер считался бы разумным, если бы его разговор нельзя было легко отличить от разговора человека. Весь разговор будет ограничен только текстовым каналом, таким как компьютерная клавиатура и экран.

Он также предположил, что к 2000 году компьютер «сможет играть в имитацию настолько хорошо, что средний следователь будет иметь не более 70-процентного шанса провести правильную идентификацию (машину или человека) через пять минут». допроса». Ни один компьютер не приблизился к этому стандарту.

Но в 1980 году г-н Джон Сирл предложил «аргумент китайской комнаты ». Он утверждал, что тест Тьюринга нельзя использовать для определения того, «считается ли машина такой же разумной, как люди». Он утверждал, что любая машина, подобная ELIZA и PARRY, может легко пройти тест Тьюринга, просто манипулируя символами, которые они не понимают. Без понимания их нельзя было бы назвать «думающими» в том же смысле, что и люди. Мы обсудим это в следующей статье.
 

В 1990 году бизнесмен из Нью-Йорка Хью Лебнер объявляет о присуждении премии в размере 100 000 долларов за первую компьютерную программу, прошедшую тест. однако ни одна программа искусственного интеллекта до сих пор не приблизилась к прохождению полного теста Тьюринга

Искусственный интеллект можно разделить на следующие два типа по производительности и компетентности:

1. Слабый искусственный интеллект: Тип искусственного интеллекта с дизайн для личного помощника, отношения с клиентами, видеоигры и анкеты, известные как слабый искусственный интеллект. Он состоит из небольшого алгоритма и источника данных. Алгоритм и источник данных, связанных с данными, связанными со сферой услуг, некоторые из слабых примеров ИИ: a.Amazon Alexa b. РЖД Диша c. Сири от Apple.
2. Сильный искусственный интеллект: Это система, которая выполняет задачи, непосредственно выполняемые людьми, такие как вождение автомобиля. Этот тип задач является более сложным и рассматривается в рамках сложной системы. Они запрограммированы на то, чтобы справляться с ситуациями, в которых решение может быть ситуационным изменением или непредсказуемым. Такие системы разрабатываются под сильным ИИ, и тестирование этих систем очень сложно, но очень полезно для людей. Эта классификация ИИ способна заменить ручную человеческую оперативную задачу запрограммированной машиной. Эти машины сегодня наиболее популярны с интеллектуальными системами, такими как роботы, которые пользуются теми же правами, что и люди.

Тест Тьюринга: 

Алан Тьюринг предложил простой метод определения того, может ли машина демонстрировать человеческий интеллект. Если машина вступает в разговор с человеком о том, как обрабатывать данные, продемонстрированные машиной, Он предложил следующие навыки теста следующим образом:

Поворот оценивает разговорные навыки людей. Согласно этому тесту, компьютерная программа может придумать правильный ответ для людей. Этот тест сопоставляет разговорные данные с существующими данными с помощью алгоритма и обратно отвечает людям.

Ссылка :
https://en.wikipedia.org/wiki/Turing_test

Эта статья предоставлена ​​Шубхамом Бансалом. Если вам нравится GeeksforGeeks и вы хотели бы внести свой вклад, вы также можете написать статью, используя submit.geeksforgeeks.org, или отправить свою статью по адресу [email protected]. Посмотрите, как ваша статья появится на главной странице GeeksforGeeks, и помогите другим гикам.
 

Что такое тестирование ИИ? Руководство веб-разработчика по тестированию с использованием ИИ

ИИ — это не просто модное слово или причуда; это реальная ценная технология с далеко идущими последствиями для бизнеса, образования и общества в целом. Конечно, ИИ также влияет на тестирование программного обеспечения. И именно поэтому мы здесь сегодня, чтобы поговорить о тестировании ИИ.

Да, тестирование ИИ — это важно, и оно особенно ценно в мире веб-разработки. В этом пространстве инструменты на основе ИИ можно использовать для решения постоянных проблем при тестировании программного обеспечения, что значительно повышает эффективность тестирования. Давайте узнаем больше об этом в этом руководстве.

До тестирования ИИ был ИИ

Конечно, все знают, что ИИ означает искусственный интеллект. Но что это означает на практике? Чем программы на базе ИИ отличаются от обычных?

Искусственный интеллект: краткое определение и обзор

В своей статье 2004 года Джон Маккарти дает следующее определение ИИ:

Это наука и техника создания интеллектуальных машин, особенно интеллектуальных компьютерных программ. Это связано с аналогичной задачей использования компьютеров для понимания человеческого интеллекта, но ИИ не должен ограничиваться методами, наблюдаемыми биологически.

Люди часто говорят, что ИИ состоит из попыток создать машины, имитирующие человеческий интеллект. Это имеет смысл, поскольку мы были единственным примером разумной жизни, о котором мы знаем до сих пор. Однако, согласно приведенному выше определению Маккарти, вы можете видеть, что ИИ не должен ограничиваться имитацией человеческого интеллекта.

Расширьте охват тестами

Быстрая и гибкая разработка сквозных тестов на базе ИИ, рассчитанных на масштабирование.

Начните бесплатное тестирование

AI в 2021 году: как это выглядит?

Рассвет ИИ восходит к 50-м годам. Однако за последние два десятилетия количество практических приложений ИИ резко возросло. К ним относятся системы рекомендаций для веб-сайтов электронной коммерции и развлекательных услуг, распознавание изображений, языковой перевод, игры, медицинская диагностика и многое другое.

В настоящее время, когда большинство людей говорят об ИИ, они описывают машинное обучение. Короче говоря, машинное обучение — это способность машин/алгоритмов обучаться и повышать свою эффективность не только посредством обучения, но и на основе их реального производственного опыта.

Тестирование ИИ

Что такое тестирование ИИ?

В двух словах, тестирование ИИ состоит из использования инструментов для автоматизированного тестирования программного обеспечения, использующих ИИ — обычно машинное обучение — для получения лучших результатов.

Идея состоит в том, что с помощью ИИ эти инструменты могут преодолеть многие распространенные препятствия автоматизированного тестирования программного обеспечения. Общие проблемы, с которыми могут помочь инструменты ИИ, включают:

• медленное выполнение тестов
• чрезмерное обслуживание тестов из-за хрупкого набора тестов
• создание качественных тестовых случаев
• дублирование усилий при тестировании
• недостаточное тестовое покрытие

Как ИИ используется в тестировании?

Существует несколько инструментов тестирования на основе ИИ, и не все они сосредоточены на одних и тех же проблемах или на одних и тех же этапах жизненного цикла тестирования.

Общим для всех инструментов и подходов является то, что тестирование ИИ направлено на оптимизацию автоматизированного тестирования. Как уже упоминалось, инструменты ИИ делают это, уменьшая или полностью устраняя препятствия, которые мешают еще более эффективной стратегии тестирования.

Давайте вернемся к списку в предыдущем разделе и объясним, как тестирование ИИ может решить — или, по крайней мере, исправить — каждую из этих проблем.

Медленное выполнение теста

Никому не нравятся наборы тестов, выполнение которых занимает целую вечность. Инструменты тестирования ИИ могут облегчить эту боль несколькими способами:

• Они могут оптимизировать вашу стратегию управления тестовыми данными, гарантируя, что качественные данные быстрее попадут в тестовые сценарии.
• Они могут вычислить только самый минимум тестов, которые необходимо выполнить после определенного изменения в кодовой базе, ускоряя конвейер CI/CD.
• Наконец, они могут определить ненужные/дублированные тестовые случаи, отказавшись от их выполнения.

Чрезмерное обслуживание тестов

Веб-приложения могут часто меняться. Хрупкие тесты могут легко сломаться при любом изменении кодовой базы, особенно когда идентификаторы элементов на странице, такие как класс кнопки CSS, изменяются, и инструмент тестирования больше не может найти элементы.

Инструмент на основе ИИ, такой как Testim Automate, может решить эту проблему, используя машинное обучение для создания более сложной стратегии поиска элементов на странице, что приводит к более надежным тестам.

Создание высококачественных тестовых наборов

Часто бывает сложно создавать ценные тестовые наборы. Здесь также может помочь ИИ с инструментами тестирования, которые могут генерировать тестовые случаи на уровне модуля и даже на уровне API.

Средства автоматизации тестирования также могут помочь в создании хорошо разработанных тестов путем определения существующих повторно используемых компонентов, которые можно вызывать, а не дублировать.

Напрасные усилия по тестированию

Мы уже вкратце коснулись этого. В обширном наборе тестов вы часто найдете тестовые наборы, которые не являются строго необходимыми, потому что они дублируют усилия разных тестовых наборов. По отдельности они могут не иметь большого значения, но могут суммироваться во время выполнения теста. Инструменты тестирования ИИ могут идентифицировать и удалять — или, по крайней мере, пропускать во время выполнения — эти тестовые случаи.

Кроме того, такие проверки могут выполняться упреждающе во время написания кода, предупреждая инженеров о том, что они собираются включить ненужный тестовый пример.

Более того, вы можете обнаружить, что части тестового набора часто повторяются в нескольких тестовых сценариях. Вам нужно тестировать этот компонент много раз? Замена этих тестовых шагов известной и проверенной повторно используемой группой может помочь обеспечить последовательное выполнение вашего тестового примера.

Низкое покрытие тестами

Покрытие тестами — не путать с покрытием кода — измеряет, насколько всесторонне протестировано ваше приложение в отношении его функциональных возможностей, требований к продукту и основных точек риска.

В этом нам могут помочь инструменты тестирования на основе ИИ. Оценивая прошлые сеансы исследовательского тестирования, инструмент ИИ может определить и создать новые тестовые случаи, чтобы обеспечить более полный охват. Это было бы особенно полезно в сочетании с подходом, основанным на оценке риска, при котором инструмент анализирует показатели приложения, чтобы определить:

• какие части приложения с большей вероятностью сломаются
• из тех, какие из них потенциально более разрушительны в случае выхода из строя

Инструменты тестирования ИИ, о которых вам нужно знать

Вы только что более подробно узнали о тестировании ИИ. Прежде чем завершить, давайте рассмотрим некоторые из имеющихся в вашем распоряжении инструментов на основе ИИ, чтобы вы могли начать свое путешествие по тестированию ИИ уже сегодня.

Крышка Diffblue

Крышка Diffblue — это инструмент искусственного интеллекта для создания модульных тестов. В настоящее время этот инструмент работает с кодом Java и доступен как в виде плагина для IntelliJ IDEA, так и в виде инструмента CLI.

Когда вы пишете свои программы, он анализирует ваши коды и создает модульные тесты, которые соответствуют тому, что вы реализовали.

Сгенерированные тесты действуют как набор для регрессионного тестирования, поэтому вы будете предупреждены, когда что-то изменится в приложении.

FBInfer

Facebook Infer — это инструмент статического анализа, который использует искусственный интеллект для выявления возможных ошибок в исходном коде перед отправкой его в производство. Это сдвиг влево, тестирование в лучшем виде.

Вам может быть интересно, чем Infer отличается от линтеров. Вот ответ прямо из часто задаваемых вопросов инструмента:

Infer находит более глубокие ошибки процедуры вывода, иногда охватывающие несколько файлов. Линтеры, напротив, обычно реализуют простые синтаксические проверки, локальные внутри одной процедуры. Но они ценны, и Infer не пытается дублировать то, в чем они хороши.

GitHub Copilot

Если вы знакомы с GitHub Copilot — а я как инженер-программист был бы удивлен, если бы вы этого не знали — вы можете подумать, что это слишком. Конечно, с технической точки зрения GitHub Copilot — это не инструмент тестирования. Это помощник по кодированию на базе искусственного интеллекта.

Я включил его по двум причинам. Во-первых, Copilot может быть как более умный коллега, который рядом с вами, помогает вам улучшать ваш код и, таким образом, вносить меньше ошибок. Я думаю, что это окончательное испытание сдвига влево.

Кроме того, если вы просмотрите такие форумы, как Reddit и Hacker News, вы увидите, что многие инженеры выражают идею Copilot как генератора модульных тестов. Я, конечно, вижу, что это пойдет в этом направлении в не столь отдаленном будущем.

Testim Automate

Testim Automate — это платформа автоматизации тестирования, которая использует машинное обучение для решения двух самых неприятных проблем тестирования программного обеспечения: медленной разработки тестов и высоких затрат на сопровождение тестов.

С помощью Testim люди, не имеющие навыков программирования, могут быстро создавать сквозные тесты, используя его функции записи. Инженеры могут использовать код для расширения этих возможностей, создавая гибридный подход «лучшее из обоих миров».

Когда дело доходит до проблемы обслуживания тестов, Testim решает ее с помощью своего инновационного подхода к интеллектуальным локаторам, который анализирует каждый элемент, используемый во время тестирования, присваивая веса сотням атрибутов каждого элемента. Таким образом, даже если одно свойство элемента — скажем, его идентификатор — изменится, Testim все равно найдет его, предотвращая сбой теста. И все это просто, не требуя использования сложных и подверженных сбоям запросов.

Примите будущее: тестирование ИИ никуда не денется

За последние два десятилетия все более широкое использование автоматизации в тестировании программного обеспечения и в жизненном цикле разработки программного обеспечения в целом изменило способы планирования, разработки и поставки программного обеспечения. Автоматизация тестирования помогла внедрить CI/CD и DevOps, позволив организациям поставлять высококачественный код быстрее, чем когда-либо прежде.