Как создать ии: Как создать искусственный интеллект? (Почти) исчерпывающее руководство |

Содержание

Как создать искусственный интеллект? (Почти) исчерпывающее руководство

На этой неделе вы могли прочитать крайне мотивирующей кейс от ученика GeekBrains Валерия Турова, который изучил профессию «Программист Java», где он рассказал об одной из своих целей, которая привела в профессию — желанию познать принцип работы и научиться создавать самому игровых ботов.

А ведь действительно, именно желание создать совершенный искусственный интеллект, будь то игровая модель или мобильная программа, сподвигла на путь программиста многих из нас. Проблема в том, что за тоннами учебного материала и суровой действительностью заказчиков, это самое желание было заменено простым стремлением к саморазвитию. Для тех, кто так и не приступил к исполнению детской мечты, далее краткий путеводитель по созданию настоящего искусственного разума.

Стадия 1. Разочарование

Когда мы говорим о создании хотя бы простых ботов, глаза наполняются блеском, а в голове мелькают сотни идей, что он должен уметь делать. Однако, когда дело доходит до реализации, оказывается, что ключом к разгадке реальной модели поведения является математика. Да-да, искусственный интеллект куда сложнее написания прикладных программ — одних знаний о проектировании ПО вам не хватит.

Математика — этот тот научный плацдарм, на котором будет строиться ваше дальнейшее программирование. Без знания и понимания этой теории все задумки быстро разобьются о взаимодействие с человеком, ведь искусственный разум на самом деле не больше, чем набор формул.

Стадия 2. Принятие

Когда спесь немного сбита студенческой литературой, можно приступать к практике. Бросаться на LISP или другие функциональные языки пока не стоит — сначала стоит освоиться с принципами проектирования ИИ. Как для быстрого изучения, так и дальнейшего развития прекрасно подойдёт Python — это язык, чаще всего используемый в научных целях, для него вы найдете множество библиотек, которые облегчат ваш труд.

Стадия 3. Развитие

Теперь переходим непосредственно к теории ИИ. Их условно можно разделить на 3 категории:

Слабый ИИ – боты, которых мы видим в компьютерных играх, или простые подручные помощники, вроде Siri. Они или выполняют узкоспециализированные задачи или являются незначительным комплексом таковых, а любая непредсказуемость взаимодействия ставит их в тупик.
Сильный ИИ – это машины, интеллект которых сопоставим с человеческим мозгом. На сегодняшний день нет реальных представителей этого класса, но компьютеры, вроде Watson очень близки к достижению этой цели.
Совершенные ИИ – будущее, машинный мозг, который превзойдёт наши возможности. Именно об опасности таких разработок предупреждают Стивен Хоккинг, Элон Маск и кинофраншиза «Терминатор».

Естественно, начинать следует с самых простых ботов. Для этого вспомните старую-добрую игру «Крестики-нолики» при использовании поля 3х3 и постарайтесь выяснить для себя основные алгоритмы действий: вероятность победы при безошибочных действиях, наиболее удачные места на поле для расположения фигуры, необходимость сводить игру к ничьей и так далее.

Сыграв несколько десятков партий и анализируя собственные действия, вы наверняка сможете выделить все важные аспекты и переписать их в машинный код. Если нет, то продолжайте думать, а эта ссылка здесь полежит на всякий случай.

К слову, если вы всё-таки взялись за язык Python, то создать довольно простого бота можно, обратившись к этому подробному мануалу. Для других языков, таких как C++ или Java, вам также не составит труда найти пошаговые материалы. Почувствовав, что за созданием ИИ нет ничего сверхъестественного, вы сможете смело закрыть браузер и приступить к личным экспериментам.

Стадия 4. Азарт

Теперь, когда дело сдвинулось с мёртвой точки, вам наверняка хочется создать что-то более серьёзное. В этом вам поможет ряд следующих ресурсов:

Diffbot;
Google Cloud Prediction API;
Mallet;
Scrapy;
Wolfram|Alpha;

Как вы поняли даже из названий, это API, которые позволят без лишних затрат времени создать некоторое подобие серьёзного ИИ.

Стадия 5. Работа

Теперь же, когда вы уже вполне ясно представляете, как ИИ создавать и чем при этом пользоваться, пора выводить свои знания на новый уровень. Во-первых, для этого потребуется изучение дисциплины, которое носит название «Машинное обучение». Во-вторых, необходимо научиться работать с соответствующими библиотеками выбранного языка программирования. Для рассматриваемого нами Python это Scikit-learn, NLTK, SciPy, PyBrain и Numpy. В-третьих, в развитии никуда не обойтись от функционального программирования. Ну и самое главное, вы теперь сможете читать литературу о ИИ с полным пониманием дела:

Artificial Intelligence for Games, Ян Миллингтон;
Game Programming Patterns, Роберт Найсторм;
AI Algorithms, Data Structures, and Idioms in Prolog, Lisp, and Java, Джордж Люгер, Уильям Стбалфилд;
Computational Cognitive Neuroscience, Рэнделл О’Рейли, Юко Мунаката;
Artificial Intelligence: A Modern Approach, Стюарт Рассел, Питер Норвиг.

И да, вся или почти вся литература по данной тематике представлена на иностранном языке, поэтому если хотите заниматься созданием ИИ профессионально — необходимо подтянуть свой английский до технического уровня. Впрочем, это актуально для любой сферы программирования, не правда ли?

В остальном же ваше дальнейшее развитие будет зависеть лишь от практики и желания усложнять алгоритмы. Но будьте осторожны: возможно, совершенный искусственный разум опасен для человечества?

Спасибо GeekBrains за представленный материал.

Как создать искусственный интеллект? История первая. Что такое интеллект? / Хабр

В серии статей мы расскажем о новых подходах в ИИ, моделировании личности и обработке BIG Data, которые недоступны для большинства специалистов по ИИ и общественности. Ценность этой информации в том, что она вся проверена на практике и большинство теоретических наработок реализованы в прикладных проектах.

Многие из вас слышали про современные технологии, которые ассоциируются сегодня с понятием искусственный интеллект, а именно: экспертные системы, нейронные сети, лингвистические алгоритмы, гибридные системы, когнитивные технологии, имитационные(чат-боты) и пр.

Да, многие компании с помощью приведенных выше технологий решают задачи своих клиентов по обработке информации. Некоторые из этих компаний пишут, что создают или создали решения в области искусственного интеллекта. Но интеллект ли это?

Первое, что мы с вами сделаем это определим, что такое интеллект.

Представьте себе, что компьютер с интеллектом существует. И у вас есть возможность общаться с ним голосом или с помощью текстовых сообщений.

Вопросы:

Обязательно ли встраивать в программу интеллекта компьютера особенности языка (описывать семантику, грамматику, морфологию) или он смог бы выучить языки самостоятельно через взаимодействие с человеком?

Если бы вам поставили задачу научить компьютер языку, то что бы вы делали?

Если бы в обучении принимали участие только вы, то на кого он был бы похож?

А теперь, ответьте на эти вопросы еще раз, с той лишь разницей, что обучать пришлось бы:

Породистого попугая, теоретически способного к общению.

Новорожденного ребенка.

Мы с вами только что проделали интеллектуальную работу, и я надеюсь, что многие из вас получили новые знания. И вот почему:

Во-первых, я попросил вас представить себе (вообразить), «что будет если…». Вы действовали в изменившихся условиях. Возможно вам не хватало информации и знаний, вам было трудно.

Во-вторых, вы оказались способны к обучению, познанию, вы нашли знакомую вам аналогию сами или встретили ее в тексте, а возможно вы воспользовались интернетом или спросили совет друга.

Существует множество подходов к определению интеллекта. Мы определим главные его признаки…

В первую очередь

интеллект – это способность обучаться и воображать.

Для того чтобы создать алгоритм моделирующий интеллект, первое что нужно сделать это наделить его способностью к обучению, никаких знаний вкладывать в него не нужно.

Давайте вернемся к нашему примеру c ребенком для того, чтобы описать процесс обучения более подробно.

Какие принципы работают, когда ребенок учится понимать язык и говорить на нем?

Чем чаще он слышит слово в разных контекстах, тем быстрее он его запомнит. Слово, которое он произнесет первым скорее всего будет – «мама».

«Мама тебя любит»

«Мамочка тебе ручки помоет»

«Мама тебя целует»

«А где мама?»

Обучение происходит за счет избыточности данных.

Чем больше каналов поступления информации задействовано, тем эффективнее обучение:

ребенок слышит: «Мама тебя любит».

ребенок видит улыбку мамы.

ребенок чувствует тепло исходящее от мамы.

ребенок чувствует вкус и запах маминого молока.

ребенок говорит «Мама».

Ребенок не сможет воспроизвести слово сразу правильно. Он будет пытаться, пробывать. «М», «Ма», «Мам», «М» … «Мама». Обучение происходит в действии, каждая следующая попытка корректируется пока не получим результат. Метод проб и ошибок. Очень важно получение обратной связи из реальности.

Не воспитывайте своих детей, все равно они будут похожи на вас. Ребенок стремится быть похожим на окружающих его людей. Он подражает им и учится у них. Это один из механизмов моделирования личности, о котором мы поговорим более подробно в следующих статьях.

Какова же роль воображения?

Представьте себе, что вы едите на автомобиле по незнакомой трассе. Проезжаете знак ограничения скорости 80 км/ч. Едите дальше, и видите еще один знак ограничения скорости, но он забрызган грязью и его практически не разобрать. Вы передвигаетесь со скоростью 95 км/ч. Что будете делать? Пока вы принимали решение из-за кустов выглянул сотрудник полиции, и вы увидели лучезарную улыбку на его лице. В голове у вас мгновенно достроился «образ знака», и вы поняли почему тут стоит полицейский, и что вам срочно нужно нажать тормоз. Вы сбрасываете скорость до 55 км/ч, улыбка с лица полицейского мгновенно пропадает, и вы едите дальше.

И еще один интересный пример работы воображения из мира животных – это наблюдение за сороками. Сорока на глазах других сорок зарыла еду на пустыре. Все сороки улетели, но наша сорока вернулась на пустырь и перепрятала еду. Что произошло? Она представила себе(вообразила), «что будет если» прилетит другая сорока, которая видела куда она спрятала еду. Она смоделировала ситуацию и нашла решение как этого избежать.

Воображение – это моделирование ситуации на произвольных условиях.

Как вы уже убедились, интеллект – это не база знаний, это не набор запрограммированных реакций или следование заранее определенным правилам.

Интеллект – это способность к обучению, познанию и адаптации к изменяющимся условиям в процессе решения трудностей.

Вам не кажется, что определяя интеллект мы упустили из виду какие-то важные компоненты или забыли о чем-то рассказать?

Да, мы упустили из виду восприятие, и забыли рассказать про память.

Представьте себе, что вы смотрите в глазок и видите часть буквы:

Что это за буква?

Может быть «К»?

Конечно нет, это же японский иероглиф «вечность».

Перед вами только, что поставили задачу(проблему). Скорее всего вы нашли похожий образ буквы «К» у себя в голове и успокоились.

Ваш интеллект воспринимает все образами и ищет похожий образ в памяти, если его нет, то формируется привязка(якорь) к уже существующим образам и благодаря этому вы запоминаете новую информацию, получаете навыки или опыт.

Образ – субъективное видение реального мира, воспринимаемого при помощи органов чувств (каналов поступления информации).

Восприятие субъективно, потому что зависит от последовательности обучения, последовательности появления образов в жизни человека и их влияния.

Восприятие начинается с распознания образов светло/темно. Открываем глаза – светло, закрываем – темно. Далее человек учится распознавать все более сложные образы – «мама», «папа», мяч, стол, собака. Мы получаем опорные данные, а все последующие образы – это надстройка над предыдущими.

С этой точки зрения обучение – это процесс построения новых взаимосвязей между воспринимаемыми образами и образами, которые уже есть в памяти.

Память служит для хранения образов и их взаимосвязей.

А воображение – это способность достраивать незавершенный образ.

Для обобщения приведем еще один эксперимент из мира животных:

Шимпанзе посадили в клетку, а внутри клетки подвесили гроздь бананов довольно высоко от пола. Сначала шимпанзе прыгала, но быстро устала, и, казалось, потеряла интерес к бананам и уселась, едва обращая на них внимание. Но через некоторое время обезьяна взяла палку, оставленную в клетке, и раскачивала бананы до тех пор, пока они не упали. В другой раз, чтобы достать бананы, шимпанзе удалось соединить две палки, так как каждой палки по отдельности не хватало, чтобы до них дотянуться. Животное справилось и с более сложной задачей, неожиданно поставив под бананами коробку и используя ее как ступеньку.

Шимпанзе показали знакомый ей образ «гроздь бананов». Но образ для нее оказался незавершенным – их нельзя достать и съесть. Но так как это был единственный источник пищи из доступных, то незавершенный образ наращивал внутреннее напряжение и требовал завершения.

Средства для решения проблемы (завершения образа), всегда имелись в наличии, но возникновение решения требовало преобразования имеющихся образов (требовалось обучиться с помощью воображения). Шимпанзе необходимо было представить себе (умственно перечислить все возможные варианты): «что будет если я возьму палку», «а что будет если…» и наиболее вероятные предположения проверить на практике, попробовать и получить обратную связь, опять вообразить, попробовать, получить обратную связь и так далее до тех пор, пока мы не завершим образ(научимся).

Если бы распознание образа иероглифа «вечность» было бы для вас вопросом жизни и смерти, то вы обязательно нашли способ это сделать.

С более популярного языка перейдем к техническому и сформулируем основные понятия, которые мы будем использовать далее:

Пересечение избыточной информации из разных информационных каналов создает образ.

Обучение – это преобразование информационных потоков в информационное поле.

Информационное поле(память) – хранение образов и их взаимосвязей.

Воображение – …

– «Уважаемый читатель, дострой образ воображения самостоятельно, используя избыточную информацию из своего жизненного опыта и этой статьи».

Интеллект – это способность обучаться и воображать.

В начале статьи мы перечислили технологии, ассоциирующиеся сегодня с искусственным интеллектом, теперь вы самостоятельно сможете оценить насколько они соответствуют понятию интеллект.

В следующей статье мы рассмотрим такую задачу как интеллектуальный поиск информации в интернете. Определим критерии интеллектуальности, разработаем практические подходы и «пощупаем» реальное приложение, в котором реализованы принципы, описанные в этой статье.

Статья не претендует на истину, является частью наших разработок и исследований. Пишите комментарии, дополняйте материал своими примерами или размышлениями. Обучайтесь и воображайте…

Читайте следующую статью на хабре:
Как создать искусственный интеллект? История вторая. Алгоритмы интеллектуального поиска и хранения информации

Пошаговое руководство по созданию ИИ

С 1940-х годов, когда был разработан цифровой компьютер, стало ясно, что компьютеры можно запрограммировать для выполнения чрезвычайно сложных задач. Например, они могут находить доказательства математических теорем или играть в шахматы. На самом деле компьютеры или управляемые компьютером роботы могут выполнять задачи, типичные для человека. Вот где искусственный интеллект вступает в игру.

Вас интересует, как построить ИИ? Эта статья дает базовое представление об искусственном интеллекте, его применении и шагах, необходимых для создания ИИ.

Что такое искусственный интеллект

Искусственный интеллект (ИИ) — это способность цифрового компьютера или управляемого компьютером робота выполнять задачи, которые выполняют разумные существа. ИИ представляет собой отрасль информатики. Примерами искусственного интеллекта являются Siri, Alexa и подобные умные помощники, а также беспилотные автомобили, диалоговые боты и фильтры спама в электронной почте.

Статья математика Алана Тьюринга «Вычислительные машины и интеллект» и тест Тьюринга выражают фундаментальную цель и видение ИИ. Тьюринг написал свою статью об искусственном интеллекте, утверждая, что нет убедительных аргументов в пользу того, что машины не могут мыслить разумно, как люди. Точно так же тест Тьюринга — это метод определения того, может ли машина «думать».

Согласно теории информации, интеллект — это способность человека принимать или передавать информацию и сохранять ее в форме знаний. Теория информации математически представляет условия и параметры, влияющие на то, как информация передается и обрабатывается

По словам Шейна Легга, соучредителя DeepMind Technologies, интеллект — это способность агента ставить цели и решать различные проблемы в изменяющейся среде. Если агент — человек, вы имеете дело с естественным интеллектом, а если агент — машина, вы имеете дело с искусственным интеллектом.

Использование и применение ИИ

Создание систем ИИ становится все менее сложным и дешевым. Принцип создания хорошего ИИ заключается в сборе соответствующих данных для обучения модели ИИ. Модели ИИ — это программы или алгоритмы, которые позволяют ИИ распознавать определенные шаблоны в больших наборах данных.

Чем лучше вы совершенствуете технологию ИИ, тем мудрее она может анализировать огромные объемы данных, чтобы научиться выполнять ту или иную задачу.

Процесс анализа данных и выполнения задач называется машинным обучением (МО). Например, обработка естественного языка (NLP) дает машинам возможность читать, понимать человеческие языки и имитировать это поведение. Наиболее многообещающие приложения ИИ основаны на машинном обучении и глубоком обучении. Последний работает на основе нейронных сетей, построенных аналогично человеческому мозгу.

Системы искусственного интеллекта широко применяются в реальном мире. Ниже приведены наиболее распространенные примеры использования ИИ в повседневной жизни. для преобразования человеческой речи в письменный формат. Например, Siri использует распознавание речи для голосового поиска.

Служба поддержки клиентов

Все больше компаний обращаются к онлайновым виртуальным агентам для обслуживания клиентов, тем самым заменяя агентов-людей. По данным Servion Global Solutions, 9К 2025 году 5% всех взаимодействий с клиентами будут связаны с искусственным интеллектом.

Компьютерное зрение

В этом случае технология искусственного интеллекта позволяет компьютерам и системам извлекать значимую информацию из цифровых изображений, видео и других визуальных входных данных. Вы можете увидеть его применение в тегах фотографий в социальных сетях.

Обнаружение тенденций данных

Алгоритмы ИИ могут использовать поведение потребителей для обнаружения тенденций данных, позволяя компаниям создавать эффективные стратегии перекрестных продаж. В результате компании могут предлагать соответствующие дополнительные рекомендации в процессе оформления заказа. Вот где вступает программное обеспечение для прогнозной аналитики 9.0003

Такое программное обеспечение позволяет принимать решения в режиме реального времени с вашими данными. Например, программное обеспечение может генерировать модели оценки рисков, такие как обнаружение мошенничества и рисков, таргетированная реклама и рекомендации по продуктам.

Предотвращение мошенничества

Одной из основных проблем, которые решает искусственный интеллект, является мошенничество с платежами и конфиденциальной информацией. Компании используют системы на основе ИИ для эффективного обнаружения и предотвращения этого вида мошенничества.

Автоматизированная торговля акциями

Высокочастотные торговые платформы на основе искусственного интеллекта ежедневно совершают тысячи, а иногда и миллионы сделок. По состоянию на 2020 год половина сделок на фондовом рынке в Америке была автоматизирована. По данным Allied Market Research, к 2028 году объем глобального рынка алгоритмов составит 31,2 млн долларов.

Как создать ИИ: что требуется для создания системы ИИ?

Gartner, Inc. прогнозирует, что мировой доход от программного обеспечения для ИИ достигнет 62,5 млрд долларов в 2022 году, увеличившись на 21,3% по сравнению с 2021 годом. Итак, как создать ИИ? Давайте рассмотрим основные шаги, которые помогут вам понять, как создать ИИ с нуля.

Шаг 1. Первым компонентом, который необходимо учитывать при создании решения ИИ, является выявление проблемы. можно получить от вашего продукта. Ценностное предложение связано с ценностью, которую вы обещаете предоставить своим клиентам, если они решат приобрести ваш продукт.

Определив идею решения проблемы, вы можете создать более полезный продукт и предложить больше преимуществ пользователям. После того, как вы разработали первый набросок продукта или минимально жизнеспособный продукт (MVP), проверьте наличие проблем, чтобы быстро их устранить.

Шаг 2. Имейте правильные данные и очищайте их

Теперь, когда вы сформулировали проблему, вам нужно выбрать правильные источники данных. Получить качественные данные важнее, чем тратить время на улучшение самой модели ИИ. Данные делятся на две категории:

Структурированные данные

Структурированные данные — это четко определенная информация, которая включает шаблоны и легко доступные для поиска параметры. Например, имена, адреса, даты рождения и номера телефонов.

Неструктурированные данные

Неструктурированные данные не имеют закономерностей, согласованности или единообразия. Он включает в себя аудио, изображения, инфографику и электронные письма.

Далее вам необходимо очистить данные, обработать их и сохранить очищенные данные, прежде чем вы сможете использовать их для обучения модели ИИ. Очистка или очистка данных — это исправление ошибок и упущений для улучшения качества данных.

Шаг 3: Создание алгоритмов

Когда вы говорите компьютеру, что делать, вам также нужно выбрать, как он это будет делать. Вот где вступают в дело компьютерные алгоритмы. Алгоритмы — это математические инструкции. Необходимо создать алгоритмы машинного обучения прогнозирования или классификации, чтобы модель ИИ могла учиться на наборе данных.

Шаг 4. Обучение алгоритмов

Чтобы продолжить создание ИИ, вам необходимо обучить алгоритм с использованием собранных данных. Было бы лучше оптимизировать алгоритм для получения модели ИИ с высокой точностью в процессе обучения. Однако вам могут понадобиться дополнительные данные для повышения точности вашей модели.

Точность модели является важным шагом. Следовательно, вам необходимо установить точность модели, установив минимально допустимый порог. Например, компания социальной сети, работающая над удалением поддельных учетных записей, может установить «оценку мошенничества» от нуля до единицы для каждой учетной записи. После некоторого исследования команда может решить отправить все аккаунты с оценкой выше 0,9.в группу мошенничества.

Шаг 5. Выберите правильную платформу

Помимо данных, необходимых для обучения модели ИИ, вам необходимо выбрать платформу, соответствующую вашим потребностям. Вы можете выбрать внутреннюю или облачную структуру. В чем основное отличие этих фреймворков? Облако позволяет предприятиям легко экспериментировать и расти по мере запуска проектов и увеличения спроса, позволяя быстрее обучать и развертывать модели машинного обучения.

Внутренние каркасы

Например, вы можете выбрать Scikit, Tensorflow и Pytorch. Это самые популярные из них для разработки моделей внутри компании.

Cloud Frameworks

Платформа ML-as-a-Service или ML в облаке позволяет быстрее обучать и развертывать модели. Вы можете использовать IDE, Jupyter Notebooks и другие графические пользовательские интерфейсы для создания и развертывания своих моделей.

Шаг 6. Выберите язык программирования

Существует более одного языка программирования , включая классический C++, Java, Python и R. Последние два языка программирования более популярны, поскольку они предлагают надежный набор инструментов, таких как обширный библиотеки машинного обучения. Сделайте правильный выбор, учитывая свои цели и потребности. Например:

Python — хороший выбор для начинающих, поскольку он имеет самый простой синтаксис, который может легко выучить непрограммист.
C++ отличается высоким уровнем производительности и эффективности, что делает его идеальным для ИИ в играх.
Java легко отлаживать, она удобна для пользователя и может использоваться на большинстве платформ. Кроме того, он хорошо работает с алгоритмами поисковых систем и для масштабных проектов. Как правило, Java используется для создания настольных приложений.
R разработан для прогнозного анализа и статистики. Таким образом, он в основном используется в науке о данных.

Шаг 7. Развертывание и мониторинг

Наконец, после того как вы разработали устойчивое и самодостаточное решение, пришло время его развертывания. Отслеживая свои модели после развертывания, вы можете убедиться, что они будут работать хорошо. Не забывайте постоянно следить за работой.

Подведение итогов

Вопрос «Как создать ИИ» интересует многих в наши дни. Чтобы создать ИИ, вам нужно определить проблему, которую вы пытаетесь решить, собрать нужные данные, создать алгоритмы, обучить модель ИИ, выбрать правильную платформу, выбрать язык программирования и, наконец, развернуть и контролировать работу. вашей системы ИИ.

Простой способ объяснить, как построить систему ИИ | Роджер Чуа

В моем предыдущем блоге он объясняет, как машины учатся (насколько это возможно непрофессионально).

В этом блоге мы рассмотрим как построить систему ИИ . Точно так же мы не будем погружаться в технические детали, так как блог написан для понимания основы.

Создание системы искусственного интеллекта отличается от традиционного компьютерного программирования, когда программное обеспечение не улучшается автоматически.

Принципы, лежащие в основе хорошего двигателя ИИ:

Кроме того, важно понимать, что создание систем ИИ стало не только намного менее сложным , но и намного дешевле . Одним из примеров является машинное обучение Amazon. Это помогает автоматически классифицировать продукты в вашем каталоге, используя данные описания продукта в качестве обучающего набора.

1. Основы нейронной сети
2. Лопаем жаргонные пузыри — глубокое обучение
3. Как мы можем улучшить качество наших данных?
4. Машинное обучение с использованием логистической регрессии в Python с кодом

Пример . Представьте, что вы потратили 20 часов вычислительного времени на создание своих моделей и получили 8

прогнозов в реальном времени за один месяц. Это обошлось бы вам всего в 100 долларов.

В рамках этого короткого письма мы сосредоточимся на машинном обучении (ML), поскольку это область, которая получает наибольшее количество приложений. Один важный момент, на который стоит обратить внимание: хорошее понимание статистики является полезным началом в AI 9.0176 .

Этапы проектирования системы ИИ

Определите проблему.
Подготовьте данные.
Выберите алгоритмы.
Обучить алгоритмы.
Выберите конкретный язык программирования.
Запуск на выбранной платформе.

1. Определите проблему

В первую очередь, самые важные вопросы, которые следует задать: (1) « что вы пытаетесь решить для ?» (2) « Каков желаемый результат ?

Однако мы должны постоянно напоминать себе, что ИИ сам по себе не может быть панацеей . Это инструмент , а не само решение. Существует несколько методов и множество различных проблем, которые необходимо решить с помощью ИИ.

Подумайте об этой аналогии, которая поможет объяснить вышесказанное. Если вы хотите приготовить вкусное блюдо, вы должны точно знать, что вы собираетесь готовить, и все ингредиенты, которые вам понадобятся.

2. Подготовьте данные

Источник: IT Chronicles.com

Мы должны просмотреть данные. Данные делятся на две категории , структурированные и неструктурированные .

Структурированные данные соответствуют жесткому формату, что обеспечивает согласованность обработки и простоту анализа. т.е. запись клиента с именем, фамилией, датой рождения, адресом и так далее.

Неструктурированные данные все остальное. Данные хранятся в неоднородном шаблоне. Он может включать аудио, изображения, изображения, слова и инфографику. — примеры, такие как электронная почта, телефонный разговор, сообщение WhatsApp, WeChat.

Одним из величайших достижений и прорывов в области искусственного интеллекта было предоставление компьютерам возможности анализировать неструктурированные данные и получать доступ к гораздо большему объему информации, чем мир структурированных данных.

Часто мы думаем, что ключевыми элементами ИИ являются сложные алгоритмы. Но на самом деле наиболее важной частью наборов инструментов ИИ является очистка данных . Для специалистов по данным вполне нормально тратить 80% своего времени на очистку , перемещение, проверку, организацию данных, прежде чем даже использовать или написать отдельный алгоритм.

Предприятия и крупные фирмы имеют массивные частные базы данных. Данные могут быть не готовы для ИИ, и очень распространено, что данные хранятся в разрозненных хранилищах. Это может привести к дублированию информации, некоторые из которых могут совпадать, некоторые могут противоречить. Хранилища данных могут в конечном итоге ограничить фирму в получении быстрой информации из своих внутренних данных.

Перед запуском моделей мы должны убедиться, что данные организованы и очищены. На практике нам приходится проверять согласованность, определять хронологический порядок, добавлять метки там, где это необходимо, и так далее.

В целом, чем больше мы обрабатываем данные, тем больше у нас шансов получить результат для решения поставленной нами задачи.

3. Выберите алгоритм

Мы не будем вдаваться в технические подробности (выходящие за рамки этого письма), но важно, по крайней мере, понять различные общие типы алгоритмов, которые также зависят от типа обучения, которое твой выбор.

Источник: отраслевой блог IBM Government

Обучение под наблюдением

По сути, классификация предназначена для предсказания метки, а регрессия — для предсказания количества.

Пример использования алгоритма классификации, вероятно, будет сценарием, если вы хотите понять, существует ли вероятность дефолта по кредиту.
Примером использования алгоритма регрессии, вероятно, будет сценарий, если вы хотите количественно определить ожидаемые потери для этих просроченных кредитов. В этом контексте вы ищете ценность. Какую сумму в долларах я ожидаю потерять в случае неуплаты кредита?

Как только мы определили проблему, мы можем выбрать алгоритм.

Эти примеры упрощены и на практике далеки от реальности. Существуют и другие алгоритмы, которые мы можем выбрать в контролируемом обучении, такие как случайный лес , наивная байесовская классификация , машина опорных векторов и логистическая регрессия .

Тем не менее, эти примеры помогут вам понять типы алгоритмов в ИИ.

2. Неконтролируемое обучение и обучение с подкреплением

Типы алгоритмов будут разными, и мы можем классифицировать их по нескольким различным категориям, таким как кластеризация, когда алгоритм пытается сгруппировать объекты вместе, ассоциация, когда он находит связи между объектами, уменьшение размерности, когда он уменьшает количество переменных для уменьшения шума.

4. Обучить алгоритмы

Источник: The Verge

После выбора алгоритмов нам нужно обучить модель, где мы вводим данные в модель. Важным шагом здесь является точность модели. Хотя общепринятых или интернационализированных пороговых значений не существует, жизненно важно установить точность модели в рамках вашей системы выбора. Установка минимально приемлемого порога и применение большой статистической дисциплины являются ключевыми, мы должны переобучить модель, поскольку вполне естественно, что модели могут нуждаться в некоторой тонкой настройке. Рассмотрим событие, при котором предсказуемость модели снижается. Поэтому вам необходимо переработать модель и проверить все различные шаги, которые мы упоминали ранее.

5. Итак, какой язык программирования лучше всего подходит для ИИ?

Короткий ответ: это зависит от ваших потребностей и множества факторов. Как вы знаете, существует множество языков программирования, от классического C++ и Java до Python и R. Python и R являются более популярными языками кодирования, поскольку они предлагают пользователям мощный набор инструментов, включая обширные библиотеки машинного обучения. Одной из очень полезных библиотек является NLTK — набор инструментов на естественном языке, написанный на Python вместо того, чтобы программировать все это самостоятельно.

6. Выбранные платформы

Выберите платформу, предоставляющую все услуги, вместо того, чтобы покупать собственную службу, базу данных и т. д.

Готовая платформа — Машинное обучение как услуга — была одной из самых полезных частей инфраструктура, которая способствовала распространению машинного обучения.