Нейроморфные вычисления: Нейроморфные вычисления и их успехи / Хабр |

Содержание

Нейроморфные вычисления и их успехи / Хабр

Вот уже лет сто, а то и больше, человечество мечтает, размышляет, пишет, поёт, снимает фильмы о машинах, которые могут думать, рассуждать и, подобно нам, обладают разумом. Произведения литературного и кинематографического искусства — начиная с романа «Едгин», опубликованного в 1872 году Сэмюэлем Батлером, со статьи Эдгара Аллана По «Игрок в шахматы Мельцеля», с фильма «Метрополис» 1927 года — продемонстрировали миру идею, в соответствии с которой машины могут думать и рассуждать как люди. Причём, в этой идее нет ни магии, ни ещё чего-то фантастического. Те, кого захватывала эта идея, вдохновлялись автоматонами из глубокой древности и работами философов — таких, как Аристотель, Раймунд Луллий, Томас Гоббс и многих, многих других.

Идеи философов о человеческом разуме привели к вере в то, что рациональное мышление можно описать, пользуясь алгебраическими или логическими механизмами. Позже, с появлением электронных приборов, компьютеров и закона Мура, человечество попало в состояние постоянного ожидания того, что вот ещё немного — и появится машина, разум которой сравним с человеческим. Некоторые объявляли разумные машины спасителями человечества, а некоторые видели в этих машинах источник великого бедствия, так как полагали, что появление на Земле второй разумной сущности приведёт к уничтожению первой, то есть — людей.

Свет компьютеризированных систем искусственного интеллекта ярко вспыхивал в истории человечества уже несколько раз. Это было в 1950-х, в 1980-х и в 2010-х годах. К сожалению, за обоими предыдущими ИИ-бумами следовала «ИИ-зима». Искусственный интеллект не оправдывал возложенных на него ожиданий и выходил из моды. В том, что наступали эти «зимы», часто винили недостаток вычислительной мощности, неправильное понимание устройства человеческого мозга, или рекламную шумиху и необоснованные домыслы, которыми была окутана тема ИИ. В разгар сегодняшнего «ИИ-лета» большинство исследователей, работающих в сфере искусственного интеллекта, основное внимание уделяют использованию постоянно увеличивающейся доступной им вычислительной мощности для увеличения глубины создаваемых ими нейронных сетей. «Нейронные сети», несмотря на своё многообещающее название, хотя и созданы под влиянием знаний о нейронах головного мозга человека, похожи на сети настоящих нейронов лишь на поверхностном уровне.

Некоторые исследователи полагают, что уровня общего умственного развития, соответствующего человеческому, можно достичь, просто добавляя всё больше и больше слоёв к упрощённым моделям головного мозга, вроде свёрточных нейронных сетей, и скармливая им всё больше и больше данных. Это направление развития ИИ подпитывают те невероятные вещи, на которые способны такие сети, возможности которых постоянно понемногу возрастают. Но нейронные сети, которые, в буквальном смысле слова, творят чудеса, всё же, являются узкоспециализированными системами, умеющими добиваться превосходных успехов лишь в решении какой-то одной задачи. ИИ, который божественно играет в игры Atari, не способен, если человек не оснастит его этими возможностями, писать музыку или размышлять о погодных закономерностях. Более того — качество входных данных очень сильно влияет на качество работы нейронных сетей. Их возможности по формированию логических заключений ограничены. В некоторых сферах применения нейронных сетей это приводит к неудовлетворительным результатам. Есть мнение, что, например, рекуррентные нейронные сети никогда не смогут достичь того уровня общего умственного развития и гибкости, которые характерны для людей.

Но, в то же время, некоторые исследователи пытаются построить что-то, больше похожее на человеческий мозг. Они для этого, как вы, наверное, уже догадались, стремятся к созданию как можно более точных моделей мозга. Учитывая то, что мы живём в эпоху золотого века компьютерных архитектур, похоже, что сейчас — самое время создать что-то новое в сфере аппаратного обеспечения компьютеров. Подобное «железо» уже, на самом деле, создают. Это — нейроморфное аппаратное обеспечение.

Что такое нейроморфные вычисления?

«Нейроморфный» — это модный термин, который используется в применении к любым программам или устройствам, которые пытаются сымитировать деятельность мозга. Хотя человечество ещё очень многого не знает о мозге, за несколько последних лет в этой сфере достигнуты кое-какие замечательные успехи. Одной из широко принятых теорий, касающихся мозга, является гипотеза, в соответствии с которой неокортекс (в широком смысле — место, где принимаются решения и обрабатывается информация) состоит из миллионов кортикальных колонок или модулей. Отдельные системы мозга, такие, как гиппокамп, имеют узнаваемую структуру, которая отличает их от других частей мозга.

То же самое справедливо и для неокортекса, который сильно отличается в плане структуры, например, от заднего мозга. В неокортексе имеются области, отвечающие, как известно, за выполнение различных функций — таких, как зрение и слух, но мозговое вещество, из которого сформирован неокортекс, в плане структуры, выглядит весьма однородным. Если перейти на более абстрактную точку зрения, то получится, что части неокортекса, ответственные за зрение, очень похожи на те, что отвечают за слух. Но, в то же время, системы заднего мозга сильно отличаются одна от другой, их структура зависит от их функций. Этот подход к пониманию устройства мозга привёл к появлению гипотезы Вернона Маунткасла, в соответствии с которой имеется некий центральный алгоритм, или некая центральная структура, благодаря которым неокортекс решает свои задачи. Кортикальная колонка — это своего рода логическая единица коры головного мозга. Она обычно состоит из 6 слоёв, причём, в пределах колонки, вертикальных связей между этими слоями гораздо больше, чем горизонтальных связей между отдельными колонками. Это значит, что подобную логическую единицу можно несколько раз скопировать и сформировать благодаря этому искусственный неокортекс. У этой идеи есть хорошие перспективы в свете технологий создания сверхбольших интегральных схем. Наши производственные процессы весьма эффективны в деле создания миллионов копий неких структур на маленькой площади.

Хотя рекуррентные нейронные сети (RNN, Recurrent Neural Network) относятся к полносвязным сетям, настоящий мозг придирчиво относится к вопросу о том, что с чем должно быть соединено. Распространённой наглядной моделью нейронных сетей является пирамида, состоящая из отдельных слоёв. Нижний слой извлекает признаки из входных данных, а каждый последующий слой извлекает из того, что подаётся на его вход, всё более абстрактные признаки. Анализ лучше всего исследованных систем мозга показывает, что в этих системах существует широкое разнообразие иерархических структур, в которых имеются обратные связи. В пределах этих иерархических структур существуют обратные и прямые связи, соединяющие, не обязательно по порядку, различные уровни этих структур. Такой вот «пропуск уровней» можно считать нормой, но не жёстким правилом, а это свидетельствует о том, что именно структура связей может быть ключом к тем свойствам, которые демонстрирует мозг человека.

Это привело нас к следующей общепринятой точке зрения: большинство нейронных сетей используют метод «интегрировать-и-сработать» с утечками. В RNN каждый узел испускает сигнал на каждом временном шаге работы сети, а настоящие нейроны испускают сигналы лишь тогда, когда мембранный потенциал нейрона достигает порогового значения (в реальности, правда, всё несколько сложнее). Есть искусственные нейронные сети, в которых учтена эта особенность, и которые более точно, с биологической точки зрения, имитируют работу мозга. Это — так называемые импульсные нейронные сети (Spiking Neural Networks, SNN). Модель, соответствующая методу «интегрировать-и-сработать» с утечками не так точна, с биологической точки зрения, как другие модели — вроде модели Хиндмарша — Роуз или модели Ходжкина — Хаксли. В рамках этих моделей учитываются функции нейротрансмиттеров и синаптических щелей. Но реализация таких моделей требует значительной вычислительной мощности. То, что нейроны испускают сигналы не всегда, означает, что числа должны быть представлены в виде последовательностей потенциалов действия нейронов, а конкретные значения должны быть соответствующим образом закодированы.

Как далеко продвинулись нейроморфные вычисления?

Несколько групп исследователей занимаются непосредственным моделированием нейронов. Например — это делается в рамках проекта OpenWorm: создана модель нервной системы круглого червя Caenorhabditis elegans, состоящая из 302 нейронов. Сейчас цель многих подобных проектов заключается в увеличении количества моделируемых нейронов, в повышении точности моделей, в оптимизации производительности программ. Например, в рамках проекта SpiNNaker создан суперкомпьютер начального уровня, позволяющий, в реальном времени, моделировать работу огромного количества нейронов. А именно, каждое процессорное ядро суперкомпьютера может обслуживать 1000 нейронов. В конце 2018 года проектом достигнут рубеж в 1 миллион ядер, а в 2019 году было объявлено о гранте на постройку подобной машины второго поколения (SpiNNcloud).

Многие компании, правительственные организации и университеты занимаются поиском необычных материалов и технологий для создания искусственных нейронов. В этой связи можно вспомнить о мемристорах, о спин-трансферных осцилляторах, о магнитных переключателях на основе джозефсоновских переходов. Хотя в моделях эти технологии и выглядят весьма многообещающими, огромная пропасть лежит между парой десятков смоделированных нейронов (или нейронов, размещённых на небольшой экспериментальной плате) и тысячами, если не миллионами нейронов, которые необходимы для достижения машиной реальных человеческих возможностей.

Другие исследователи (они работают, например, в IBM, Intel, BrainChip, в некоторых университетах) пытаются создать аппаратные реализации SNN, опираясь на существующие технологии, в частности — на технологию CMOS. Одна из таких платформ разработана Intel и представлена нейроморфным процессором Loihi, на основе которого можно создавать достаточно крупные системы.

Нейроморфная система, использующая 64 чипа Loihi для моделирования 8 миллионов нейронов

В первой половине 2020 года специалистами Intel была опубликована работа, в которой шла речь об использовании 768 чипов Loihi для реализации алгоритма поиска ближайшего соседа. Машина, имитирующая работу 100 миллионов нейронов, показала многообещающие результаты, продемонстрировав задержки, выглядящие лучше, чем в системах с большими, заранее рассчитанными индексами, и давая возможность добавлять в набор данных новые записи за время O(1).

Есть ещё крупномасштабный проект Human Brain Project, цель которого — лучше понять биологические нейронные сети. В нём имеется система, называемая BrainScaleS-1, при создании которой применяются цельнопластинные интегральные схемы, использующая для имитации нейронов аналоговые и смешанные сигналы. BrainScaleS-1 состоит из 12 пластин, каждая из которых моделирует 200000 нейронов. Подобная система следующего поколения, BrainScaleS-2, сейчас находится в разработке. Ожидается, что она будет готова в 2023 году.

Проект Blue Brain Project нацелен на создание как можно более точной копии мозга мыши. Хотя речь идёт и не о человеческом мозге, опубликованные в рамках этого проекта исследования и модели бесценны в деле продвижения человечества к созданию нейроморфных искусственных нейронных сетей, способных найти реальное применение.

В результате можно сказать, что мы находимся в самом начале пути к созданию чего-то такого, что способно решать какие-то реальные задачи. А главным препятствием на этом пути является тот факт, что мы до сих пор не обладаем достаточными знаниями о том, как устроен наш мозг, и о том, как он обучается. Когда речь идёт о нейронных сетях, размеры которых сравнимы с размерами нашего мозга, одной из самых сложных задач оказывается обучение таких сетей.

Нужны ли человечеству нейроморфные аппаратные устройства?

Что если человечеству не нужно нейроморфное аппаратное обеспечение? Например, алгоритм обратного обучения с подкреплением (Inverted Reinforcement Learning, IRL) позволяет машинам создавать функцию вознаграждения, не заостряя внимание исследователей на нейронных сетях. Просто наблюдая за чьими-либо действиями можно выяснить цель этих действий и воссоздать их через найденную функцию вознаграждения, которая обеспечивает воспроизведение наиболее эффективных действий эксперта (сущности, за которой осуществляется наблюдение). Проводятся дальнейшие исследования, касающиеся работы с экспертами, поведение которых не является оптимальным, с целью выяснения того, что они делали, и того, что они стремились сделать.

Многие продолжат продвигаться в сфере нейроморфных вычислений, применяя уже существующие сети, сравнительно простые, с использованием улучшенных функций вознаграждения. Например, в свежей статье о копировании частей мозга стрекозы с использованием простой трёхслойной нейронной сети, показано, что систематизированный подход, основанный на хороших знаниях моделируемого объекта, способен дать отличные результаты. Хотя рассмотренные в статье нейронные сети не показывают столь же замечательных результатов, что и стрекозы, живущие в своей среде, трудно сказать, не является ли это следствием того, что стрекозы, в сравнении с другими насекомыми, обладают гораздо лучшими «лётными возможностями».

Каждый год мы видим всё новые и новые успехи техник глубокого обучения. Кажется, что выйдут ещё одна-две публикации, и эта сфера из интересной превратится в потрясающую воображение, а потом — в нечто такое, что и в голове не укладывается. Люди не умеют предсказывать будущее. Может — так всё и будет. А может — и нет. Возможно, если человечество продолжит двигаться в том же направлении — оно найдёт что-то новое, лучше поддающееся обобщению, которое можно будет реализовать средствами существующих нейронных сетей глубокого обучения.

Что делать тем, кому интересны нейроморфные вычисления?

Если вы хотите заняться нейроморфными вычислениями — учитывайте то, что многие проекты, упомянутые в этой статье, являются опенсорсными. Используемые в них наборы данных и модели можно найти на GitHub и на других подобных площадках. Среди таких проектов можно отметить, например, потрясающие NEURON и NEST. Многие энтузиасты нейроморфных вычислений рассказывают о своих экспериментах на OpenSourceBrain. А ещё, например, можно создать собственное нейроморфное «железо» — вроде NeuroBytes (если вас интересует именно тема «железа» — взгляните на этот обзор 2017 года).

В результате можно сказать, что, хотя нейроморфным вычислениям предстоит пройти ещё долгий путь, их будущее выглядит многообещающим.

Занимались ли вы нейроморфными вычислениями?

второе дыхание – Наука – Коммерсантъ

В 1950–1960 годах, когда первые компьютеры начали появляться в крупных компаниях, ученые пытались моделировать строение мозга с помощью алгоритмов искусственного интеллекта (ИИ). Но всерьез о возможностях ИИ заговорили только ближе к концу XX века, когда Гарри Каспаров в 1997 году проиграл в шахматы суперкомпьютеру IBM Big Blue.

Нейроморфная платформа Pohoiki Springs со 100 млн нейронов

Фото: Walden Kirsch / Intel Corporation

Нейроморфная платформа Pohoiki Springs со 100 млн нейронов

Фото: Walden Kirsch / Intel Corporation

Существенные изменения произошли в 2010-х годах, когда ИИ на базе нейронных сетей обучили делать выводы на основе анализа данных после предварительной «тренировки». Сегодня такие системы применяются, например, для подсчета пассажиров в автобусе или фиксации номера автомобиля нарушителя ПДД. Даже смартфоны со временем обзавелись ИИ — например, для обработки изображений или видео.

Согласно прогнозам компании IDC, выручка глобального рынка технологий ИИ, включая программы, оборудование и услуги, по итогам 2021 года достигнет $327,5 млрд, и уже в 2024 году превысит $500 млрд. В России аналитики IDC оценили рынок ИИ по итогам 2020 года в $291 млн.

Современные технологии ИИ прогрессируют с большой скоростью, но все еще значительно уступают «естественному» интеллекту: человеческий мозг универсальнее, лучше обучаем, более гибок в анализе и принятии решений на основе разрозненной и неполной информации, к тому же потребляет значительно меньше энергии.

Следующее поколение технологий ИИ, над которым, в частности, работают в Intel Labs (научно-исследовательское подразделение компании, которое изучает перспективные идеи работы с данными), будет использовать алгоритмы, более точно имитирующие работу биологического мозга, в том числе в части интерпретации (трактовки в правильном контексте) и автономной адаптации (улучшенное представление данных без взаимодействия с внешней средой) для реагирования на непредвиденные ситуации и различные абстракции.

Нейроморфные вычисления на основе цифровых нейронов, применяемые для этих целей, довольно точно моделируют поведение своих биологических аналогов. Вместе с вероятностными алгоритмами обработки неопределенных и противоречивых данных они являются одним из наиболее перспективных вариантов развития ИИ. Сегодня нейроморфные вычисления все еще на стадии исследований, однако им предсказывают большое будущее. Например, по прогнозу i-Micronews, только в США этот рынок ожидает рост с $69 млн в 2024 году до $5 млрд в 2029 году и $21,3 млрд к 2034 году.

Механизм работы нейроморфных вычислений

Компактная нейроморфная USB-система Kapoho Bay с 262 тыс. нейронов

Фото: Walden Kirsch / Intel Corporation

Компактная нейроморфная USB-система Kapoho Bay с 262 тыс. нейронов

Фото: Walden Kirsch / Intel Corporation

Сегодня для ускорения работы ИИ используются отдельные микросхемы или модули процессоров, чипы для глубокого машинного обучения или отдельных функций — например, для машинного зрения, а также видеокарты, архитектура которых, в частности, справляется с параллельными вычислениями лучше центральных процессоров.

Все эти примеры далеки от нейроморфных вычислений, поскольку построены на традиционной последовательной вычислительной архитектуре фон Неймана с разделенным процессором и памятью. Нейроны мозга, в свою очередь, способны и хранить, и обрабатывать информацию.

Нейроморфные процессоры, создаваемые на стыке биологии, физики, математики, информатики и полупроводникового производства, строятся из привычных транзисторов, но с иной организацией архитектуры, подобно строению нейронов биологического мозга. По аналогии с биологическим образцом искусственный нейрон имеет один выход (аксон), сигнал с которого может поступать на большое количество входов других нейронов и тем самым изменять их состояние.

Искусственные нейроны объединяются по модели импульсных нейронных (спайковых) сетей (Spiking neural network, SNN), особенностью которых является передача данных с помощью разнесенных по времени коротких импульсов равной амплитуды, а не за счет меняющихся по времени значений, как в нейросетях предыдущих поколений. Благодаря кодированию данных импульсами и временными промежутками между ними импульсные нейросети моделируют естественные процессы передачи сигналов, которые также управляют процессами обучения с динамическим переназначением синапсов между нейронами в ответ на стимулы.

Модель мозга

Нейроморфные (от греческого νεῦϱον — волокно, нерв, и μοϱφή — форма) вычисления используют архитектуры нейронных сетей, которые по аналогии с биологическими нервными клетками мозга — нейронами обмениваются информацией с тысячами других нейронов с помощью синапсов.Число нейронов не является метрикой таких характеристик, как производительность и «разумность» мозга, они в большей степени зависят от его организации (архитектуры). Например, у свиней и собак — более 2 млрд, а у медведя — около 10 млрд нейронов.Мозг взрослого человека содержит более 85 млрд нейронов, в коре головного мозга, которая отвечает за сознание и интеллект, находится порядка 20% от всех нейронов. Для моделирования работы отдельных функций нейроморфному процессору достаточно значительно меньшего числа нейронов, чем для полной модели мозга.

Нейросеть класса SNN обеспечивает крайне высокую скорость и производительность, а ее структура может обучаться непосредственно во время работы. Она может обрабатывать динамические задачи — например, распознавать запахи, речь или изображения в видеоряде. Многозадачность спайковых нейронных сетей позволяет обучать группы нейронов для решения различных проблем и осуществлять распознавание с предсказанием по неполным данным.

В настоящее время изучением вопросов применения импульсных нейросетей для моделирования функций мозга занимается множество научных групп и компаний во всем мире. Корпорация Intel вместе с экосистемой партнеров решает задачи в области нейроморфных вычислений комплексно — от фундаментальных теоретических разработок и создания алгоритмов до разработки и производства нейроморфных процессоров.

Искусственный нюх

Еще в сентябре 2017 года Intel Labs представила самообучающийся нейроморфный процессор Loihi первого поколения, предназначенный для изучения функциональных возможностей спайковых нейронных сетей и имитации адаптивного поведения мозга, с возможностью масштабирования решений от двух и более процессоров на одной плате. Кристалл Loihi первого поколения размером всего 60 кв. мм обладает 128 ядрами (по 1024 нейрона в каждом), обеспечивая в общей сложности примерно 130 тыс. нейронов и около 130 млн синапсов. В каждое из 128 ядер встроен механизм обучения, схожий с моделями пластичности мозга.

Архитектура Loihi обеспечивает быструю обработку сигналов в реальном времени с возможностью обучения и адаптации. Так, при обучении нейронной сети Loihi запахам требуется примерно в 3 тыс. раз меньше данных, нежели для процессоров общего назначения для сравнимой производительности обучения. Оптимизация такой сети требует примерно в 1 тыс. раз меньше энергии по сравнению с традиционной системой сравнимой мощности.

Самым доступным решением является USB-устройство Kapoho Bay с двумя процессорами Loihi. Исследователи также используют систему Pohoiki Beach на 64 чипах Loihi с эквивалентом 8 млн нейронов и платформу Pohoiki Springs на 768 чипах Loihi с эквивалентом порядка 100 млн нейронов, что уже сравнимо с мозгом мелкого млекопитающего.

Осенью 2021 года Intel объявила о дальнейшем развитии нейроморфных технологий и представила процессор нового поколения Loihi 2, а также среду программирования Lava с открытым исходным кодом для разработки нейроморфных приложений.

Число искусственных нейронов в Loihi 2 увеличилось по сравнению с первым поколением сразу в 8 раз — до 1 млн, при этом физический размер кристалла, напротив, уменьшился почти в два раза, до 31 кв. мм.

Ранние сравнения Loihi 2 с предыдущим поколением показали прирост скорости обработки данных до 10 раз, а также до 15 раз более плотную концентрацию ресурсов с большей экономией энергии. В Intel также подчеркивают, что нейроморфные сети Loihi 2 работают до 5 тыс. раз быстрее, чем биологические нейроны.

В последние годы исследователи отмечали, что нейроморфное оборудование опережает прогресс в программной области, особенно в части алгоритмов. Открытая модульная среда разработки Lava призвана устранить эти противоречия и унифицировать программный стек — особенно с учетом близкой перспективы появления коммерческих нейроморфных продуктов.

Lava поддерживает широкий спектр традиционных и нейроморфных процессоров, предоставляет разработчикам совместное использование общих инструментов и библиотек, возможность взаимного обмена накопленным опытом.

Возможности нейроморфных вычислений сегодня

Исследовательский процессор нового поколения Loihi 2

Фото: Walden Kirsch / Intel Corporation

Исследовательский процессор нового поколения Loihi 2

Фото: Walden Kirsch / Intel Corporation

Самая простая USB-система Intel Kapoho Bay с двумя процессорами Loihi содержит 262 тыс. нейронов, но этого вполне достаточно для системы распознавания жестов, чтения шрифта Брайля с использованием искусственной кожи, ориентирования на местности по запомненным визуальным ориентирам, изучения новых запахов и для решения других задач. Небольшая система Oheo Gulch на базе одного Loihi 2 предоставляет уже 1 млн нейронов.

Для отдельных функций вполне достаточно компактного решения на нескольких чипах Loihi, а Pohoiki Springs с 100 млн нейронов уже позволяет моделировать автономную многозадачную работу мозга для нахождения оптимальных решений масштабных задач.

Нейроморфные системы с производительностью уровня Pohoiki Beach имеют шансы стать оптимальным вариантом для решения специализированных задач, где современные процессоры не могут обеспечить требуемый уровень производительности с разумным уровнем расхода энергии. Среди таких задач, например, процессы, связанные с работой автономного транспорта или функционированием устройств «умного дома».

Одной из наиболее наглядных демонстраций возможностей нейроморфных вычислений стала совместная публикация исследователей из Intel Labs и Корнельского университета в журнале Nature Machine Intelligence, где они поделились опытом использования процессоров Intel Loihi для имитации системы обоняния человека. Исследователи научили предварительно натренированный Loihi точно и с первого раза распознавать до 10 видов запахов вредных веществ, включая ацетон, аммиак, метан и другие химикаты, используемые при создании наркотических и других подобных веществ. Альтернативам, в том числе с применением ИИ и глубокого обучения, для такого уровня точности требуется в 3 тыс. раз больше выборок для обучения по каждому классу веществ.

Исследователи полагают, что в будущем компактный нейроморфный «электронный нос» может пригодиться медикам для диагностики заболеваний, службам безопасности для обнаружения оружия и различных веществ, полиции и пограничникам для поиска и изъятия наркотиков, и даже в системах «умного дома» для практичных детекторов дыма и угарного газа. Роботы с системой определения запахов помогут сортировать продукты и следить за состоянием окружающей среды.

Схема работы нейроморфных вычислений. Как видно из рисунка, ключевым преимуществом нейроморфных процессоров является возможность искусственных нейронов обучаться «на лету», одновременно передавать, хранить и обрабатывать информацию в одной клетке. Особая архитектура, где каждый нейрон связан синапсами с тысячами других нейронов, позволяет таким процессорам учиться, развиваться и адаптироваться по аналогии с образом мышления человека

Искусственное прикосновение

Еще один удачный пример на стыке нейроморфных вычислений и биологии продемонстрировала команда ученых из Национального университета Сингапура (NUS). Исследователи создали роботизированную руку с искусственной кожей и датчиками зрения и оснастили ее нейроморфным процессором Loihi. В итоге искусственная рука была обучена обнаруживать прикосновения более чем в 1 тыс. раз оперативнее, чем сенсорная нервная система человека, и определять форму, текстуру и твердость объектов в 10 раз быстрее, чем человеческий глаз.

Решения с искусственной кожей могут внедряться в медицине для автоматизации хирургических задач, на производстве для тактильного распознавания, идентификации и захвата незнакомых предметов с допустимым давлением без скольжения. Способность к быстрой оценке окружающей среды также может помочь повысить безопасность в цехах с совместным присутствием людей и роботов и даже открыть новые горизонты в неизведанных ранее областях — например, в профессиях по уходу за пациентами преклонного возраста.

В этой области уже работает команда исследователей из Accenture Labs, Intel Labs и Открытого университета Израиля. Создаваемый ими роботизированный манипулятор предназначен для инвалидных колясок с адаптивным управлением. Решение задачи возложено на алгоритм компании Applied Brain Research (ABR) и нейроморфное оборудование Intel. Технология поможет людям со специальными потребностями использовать роботизированную руку в повседневной жизни — например, пить из стакана с уменьшением количества ошибок на 50% и повышением энергоэффективности на 48% по сравнению с традиционными методами управления.

Аэрокосмическая компания Airbus совместно с Университетом Кардиффа использует процессор Loihi в проекте совершенствования технологии обнаружения вредоносных программ. В компании полагают, что возможности обучения и масштабирования Loihi в режиме реального времени помогут ускорить обнаружение вредоносного кода при низком энергопотреблении и помогут в борьбе с вымогателями. Также в Airbus изучают возможности применения нейроморфных чипов Intel в сфере удаленного онлайн-обучения. Такой подход сулит ряд новых возможностей, включая адаптивное управление, автономную проверку и возможность совершенствования хранения данных на фоне снижения общих затрат.

Сложности на пути внедрения нейроморфных вычислений

Размер кристалла Loihi 2. Площадь кристалла Loihi 2 с 1 млн нейронов составляет 31 кв. мм

Фото: Walden Kirsch / Intel Corporation

Размер кристалла Loihi 2. Площадь кристалла Loihi 2 с 1 млн нейронов составляет 31 кв. мм

Фото: Walden Kirsch / Intel Corporation

Нейроморфные системы еще проходят эволюционную стадию лабораторных исследований и не ориентированы на замену традиционных компьютеров в коммерческих масштабах. Пока что это в большей степени инструментарий для изучения возможностей нейроморфных вычислений. Переход от традиционной вычислительной архитектуры к нейроморфным системам связан со сложностью создания нейроалгоритмов. Так, в отличие от покадровой обработки видео с традиционной архитектурой, нейроморфный алгоритм рассматривает ее как изменение визуальной информации во времени. В Intel полагают, что после выпуска нейроморфного процессора Loihi 2 и среды разработки Lava для перехода нейроморфных технологий из фазы лабораторных исследований в стадию коммерчески рентабельного производства теперь есть все необходимое — оборудование, платформенно-независимая среда разработки и межгосударственный альянс научных, отраслевых и правительственных кругов. Нейроморфные вычисления — это, по сути, полное переосмысление компьютерной архитектуры с использованием новейших разработок нейробиологии для создания процессоров и систем с функциональностью биологического мозга.

Нейроморфные процессоры представляют собой одну из самых перспективных разработок в области вычислительной техники. Сегодня они лишь формируют новую модель программируемых вычислений, однако предполагается, что уже в ближайшем будущем они не только ускорят выполнение трудоемких вычислительных задач «на лету» с минимальным энергопотреблением, но также откроют человечеству новые гармоничные аспекты цифрового образа жизни, подсмотренные в живой природе.

Со временем нейроморфные процессоры имеют все шансы расширить и дополнить возможности современных процессоров с помощью новых технологий, которые позволят компьютерам будущего функционировать, адаптироваться и обучаться с помощью алгоритмов, напоминающих образ мышления человека.

Юлия Сандомирская, старший научный сотрудник в лаборатории нейроморфных вычислений Intel Labs

Что такое нейроморфные вычисления? Все, что вам нужно знать о том, как это меняет будущее вычислений

Что такое нейроморфные вычисления?

Как следует из названия, нейроморфные вычисления используют модель, вдохновленную работой мозга.

Инновации

Tesla меняет датчики в своих автомобилях. Вот почему вы должны заботиться
Какой самый яркий фонарик в мире? Лучшие претенденты, ранжированные по количеству люменов
Продажа эмоций и чувств: как эти компании видят в виртуальной реальности будущее своего бизнеса
Лучшие доступные электромобили и как федеральный налоговый кредит может сэкономить вам 7500 долларов

Мозг представляет собой действительно привлекательную модель для вычислений: в отличие от большинства суперкомпьютеров, которые заполняют комнаты, мозг компактен и аккуратно помещается во что-то размером с вашу голову.

Мозгу также требуется гораздо меньше энергии, чем большинству суперкомпьютеров: ваш мозг потребляет около 20 ватт, тогда как суперкомпьютеру Fugaku требуется 28 мегаватт, или, говоря другими словами, мозгу требуется около 0,00007% источника питания Fugaku. В то время как суперкомпьютеры нуждаются в сложных системах охлаждения, мозг находится в костлявом корпусе, который поддерживает температуру 37°C.

ПОСМОТРЕТЬ: Управление искусственным интеллектом и машинным обучением на предприятии 2020: технические лидеры увеличивают разработку и реализацию проектов (TechRepublic Premium)

Действительно, суперкомпьютеры выполняют определенные вычисления с большой скоростью, но мозг выигрывает в адаптивности. Он может писать стихи, мгновенно выбирать знакомое лицо из толпы, водить машину, изучать новый язык, принимать хорошие и плохие решения и многое другое. И с традиционными моделями вычислений, использование методов, используемых нашим мозгом, может стать ключом к гораздо более мощным компьютерам в будущем.

Зачем нам нейроморфные системы?

Большая часть оборудования сегодня основана на архитектуре фон Неймана, которая разделяет память и вычисления. Поскольку чипы фон Неймана должны передавать информацию туда и обратно между памятью и ЦП, они тратят время (вычисления сдерживаются скоростью шины между вычислением и памятью) и энергию — проблема, известная как узкое место фон Неймана.

Впихивая больше транзисторов в эти процессоры фон Неймана, производители чипов долгое время могли увеличивать вычислительную мощность чипа, следуя закону Мура. Но проблемы с дальнейшим уменьшением размера транзисторов, их энергопотреблением и выделяемым ими теплом означают, что без изменения основ чипа это не будет продолжаться долго.

С течением времени архитектура фон Неймана будет все труднее и труднее увеличивать вычислительную мощность, в которой мы нуждаемся.

Чтобы не отставать, потребуется новый тип нефон-неймановской архитектуры: нейроморфная архитектура. В качестве решения были заявлены квантовые вычисления и нейроморфные системы, и именно нейроморфные вычисления, основанные на мозге, скорее всего, скоро будут коммерциализированы.

Помимо потенциального преодоления узкого места фон Неймана, нейроморфный компьютер может направить работу мозга на решение других проблем. В то время как системы фон Неймана в значительной степени являются последовательными, мозг использует массовые параллельные вычисления. Мозг также более отказоустойчив, чем компьютеры — оба преимущества исследователи надеются смоделировать в нейроморфных системах.

Разведение нейроморфных сетей для удовольствия и прибыли: новая репродуктивная наука

Так как же сделать компьютер, который работает как человеческий мозг?

Во-первых, чтобы понять нейроморфную технологию, имеет смысл взглянуть на то, как работает мозг.

Сообщения передаются в мозг и из него через нейроны, разновидность нервных клеток. Если вы наступите на булавку, болевые рецепторы в коже вашей стопы зафиксируют повреждение и вызовут нечто, известное как потенциал действия, — по сути, сигнал для активации — в нейроне, который связан со стопой. Потенциал действия заставляет нейрон высвобождать химические вещества через щель, называемую синапсом, которая происходит во многих нейронах, пока сообщение не достигнет мозга. Затем ваш мозг регистрирует боль, и в этот момент сообщения передаются от нейрона к нейрону, пока сигнал не достигнет ваших мышц ног — и вы двигаете ногой.

Потенциал действия может быть вызван либо множеством входов одновременно (пространственный), либо вводом, который накапливается с течением времени (временной). Эти методы, а также огромная взаимосвязь синапсов — один синапс может быть связан с 10 000 других — означают, что мозг может передавать информацию быстро и эффективно.

SEE: Нейроморфные вычисления обретают новую жизнь в машинном обучении

Нейроморфные вычисления моделируют работу мозга с помощью нейронных сетей. Обычные вычисления основаны на транзисторах, которые либо включены, либо выключены, единица или ноль. Спайковые нейронные сети могут передавать информацию как во временном, так и в пространственном отношении, как и мозг, и, таким образом, производить более одного из двух выходных данных. Нейроморфные системы могут быть как цифровыми, так и аналоговыми, причем роль синапсов играет либо программное обеспечение, либо мемристоры.

Мемристоры также могут пригодиться при моделировании другого полезного элемента мозга: способности синапсов хранить информацию, а также передавать ее. Мемристоры могут хранить диапазон значений, а не только традиционные единицу и ноль, что позволяет им имитировать то, как может варьироваться сила связи между двумя синапсами. Изменение этих весов в искусственных синапсах в нейроморфных вычислениях — один из способов позволить системам на основе мозга обучаться.

Наряду с мемристивными технологиями, включая память с фазовым переходом, резистивную RAM, магнитную RAM с передачей вращения и RAM с проводящим мостом, исследователи также ищут другие новые способы моделирования синапсов мозга, такие как использование квантовых точек и графена.

Нейроморфные вычисления могут решить надвигающийся кризис технологической отрасли
Intel обучает компьютерному чипу для запаха
Этот мощный новый суперкомпьютер позволит ученым задать «Правильные вопросы»

. можно ли поставить нейроморфные системы?

Для сложных вычислительных задач периферийные устройства, такие как смартфоны, в настоящее время должны передавать обработку в облачную систему, которая обрабатывает запрос и возвращает ответ на устройство. С нейроморфными системами этот запрос не нужно было бы пересылать туда-сюда, его можно было бы выполнять внутри самого устройства.

Оборудование

Лучшие дроны для фотосъемки: снимайте потрясающие кадры с воздуха
Наши любимые роботы-газонокосилки: уход за газоном без помощи рук
5 лучших домашних аккумуляторов: системы резервного питания, чтобы держать вас заряженными
Лучшие дешевые пылесосы: доступные и надежные пылесосы

Но, возможно, самой большой движущей силой для инвестиций в нейроморфные вычисления являются перспективы, которые они несут для ИИ.

ИИ нынешнего поколения, как правило, в значительной степени основан на правилах, обучается на наборах данных, пока не научится генерировать определенный результат. Но человеческий мозг работает иначе: нашему серому веществу гораздо удобнее работать с двусмысленностью и гибкостью.

ПОСМОТРЕТЬ: Нейроморфные вычисления могут решить надвигающийся кризис технологической отрасли оптимальное решение задачи с большим количеством ограничений.

Нейроморфные системы также, вероятно, помогут разработать более совершенные ИИ, поскольку они лучше справляются с другими типами задач, такими как вероятностные вычисления, где системам приходится справляться с зашумленными и ненадежными данными. Есть и другие, такие как причинно-следственная связь и нелинейное мышление, которые относительно незрелы в нейроморфных вычислительных системах, но как только они будут более развиты, они могут значительно расширить области применения ИИ.

Существуют ли сегодня нейроморфные компьютерные системы?

Да, ученые, стартапы и некоторые известные технические компании уже создают и используют нейроморфные системы.

У Intel есть нейроморфный чип под названием Loihi, и она использовала 64 из них для создания 8-миллионной системы синапсов под названием Pohoiki Beach, состоящей из 8 миллионов нейронов (ожидается, что в ближайшем будущем она достигнет 100 миллионов нейронов). В настоящее время чипы Loihi используются исследователями, в том числе в мастерской Telluride Neuromorphic Cognition Engineering Workshop, где они используются для создания искусственной кожи и разработки механических протезов конечностей.

У IBM также есть собственная нейроморфная система TrueNorth, запущенная в 2014 году и в последний раз использовавшаяся с 64 миллионами нейронов и 16 миллиардами синапсов. Хотя IBM относительно умалчивает о развитии TrueNorth, недавно она объявила о партнерстве с Исследовательской лабораторией ВВС США для создания «нейроморфного суперкомпьютера», известного как Blue Raven. Хотя лаборатория все еще изучает возможности использования этой технологии, одним из вариантов может быть создание более умных, легких и менее энергоемких дронов.

Нейроморфные вычисления зародились в исследовательской лаборатории (Карвер Мид в Калифорнийском технологическом институте), и некоторые из наиболее известных из них все еще находятся в академических учреждениях. Финансируемый ЕС проект Human Brain Project (HBP), 10-летний проект, который осуществляется с 2013 года, был создан для углубления понимания мозга с помощью шести областей исследований, включая нейроморфные вычисления.

HBP привела к двум крупным нейроморфным инициативам, SpiNNaker и BrainScaleS. В 2018 году была запущена система SpiNNaker с миллионом ядер, крупнейший нейроморфный суперкомпьютер в то время, и университет надеется в конечном итоге масштабировать ее до моделирования одного миллиона нейронов. BrainScaleS имеет те же цели, что и SpiNNaker, и теперь его архитектура относится ко второму поколению, BrainScaleS-2.

Нейроморфные вычисления и мозг, который не умрет
Что такое нейроморфная инженерия, и почему это вызвало аналоговую революцию
10 Tech Prodiction проблемы с использованием нейроморфных систем?
Переход от фон Неймана к нейроморфным вычислениям не обходится без серьезных проблем.
Вычислительные нормы — например, то, как данные кодируются и обрабатываются — выросли вокруг модели фон Неймана, и поэтому их необходимо переработать для мира, где нейроморфные вычисления более распространены. Один из примеров касается визуального ввода: обычные системы понимают их как серию отдельных кадров, в то время как нейроморфный процессор будет кодировать такую информацию как изменения в поле зрения с течением времени.
ПОСМОТРЕТЬ: Создание бионического мозга (бесплатный PDF) (TechRepublic)
Языки программирования также необходимо будет переписать с нуля. Есть проблемы с аппаратной частью: необходимо будет создать новые поколения технологий памяти, хранения и датчиков, чтобы в полной мере использовать преимущества нейроморфных устройств.
Нейроморфная технология может даже потребовать фундаментальных изменений в разработке аппаратного и программного обеспечения из-за интеграции между различными элементами нейроморфного оборудования, например интеграции памяти и обработки.
Достаточно ли мы знаем о мозге, чтобы начать делать мозгоподобные компьютеры?
Одним из побочных эффектов растущего импульса нейроморфных вычислений, вероятно, станут улучшения в нейробиологии: поскольку исследователи начинают пытаться воссоздать наше серое вещество в электронике, они могут больше узнать о внутренней работе мозга, что поможет биологам узнать больше о мозг.
Точно так же, чем больше мы узнаем о человеческом мозге, тем больше возможностей откроется для исследователей нейроморфных вычислений. Например, глиальные клетки — опорные клетки мозга — не играют большой роли в большинстве нейроморфных конструкций, но по мере того, как появляется все больше информации о том, как эти клетки участвуют в обработке информации, ученые-компьютерщики начинают исследовать, должны ли они учитываться. в нейроморфных конструкциях тоже.
И, конечно же, один из наиболее интересных вопросов, связанных с все более изощренной работой по моделированию человеческого мозга в кремнии, заключается в том, смогут ли исследователи в конечном итоге воссоздать — или создать — сознание в машинах.
Искусственный интеллект
Нейроморфные вычисления — GeeksforGeeks
Нейроморфные вычисления пытаются имитировать работу человеческого мозга.
Нейроморфные вычисления гораздо лучше подходят для вычислений нового поколения. Термин был впервые придуман профессором Карвером Мидом еще в 80-х годах. Он описывает вычисления, имитирующие человеческий мозг. За последнее десятилетие ряд компаний и учреждений работали над нейроморфными вычислениями, например IBM. Чип IBM True North — это первый нейроморфный чип в мире, который становится нефундаментальной архитектурой.
Рисунок – Карвер Мид
Чип TrueNorth имеет 4096 ядер, каждое ядро содержит 256 цифр (около 1 млн новых номеров и более 250 млн синапсов).
Рисунок – Чип TrueNorth
Это относительно новая концепция вычислений. Человеческий мозг Типичный человеческий мозг содержит от 86 до 87 миллиардов нейронов и от 10 до 15 сил синапсов.
Когда мы выполняем задачу, вычислительную задачу в нашем мозгу, мы потребляем лишь малую часть всего количества нейронов. Вот почему человеческий мозг чрезвычайно энергоэффективен: мы потребляем 20 ватт энергии и способны выполнять один экзафлоп (экзафлоп — это один квинтиллион (1018) операций с плавающей запятой в секунду или 1000 петафлопс). в перспективе самый быстрый в мире суперкомпьютер IBM Summit потребляет 30 мегаватт энергии и способен совершать 200 маховых операций.
Рисунок – IBM Summit
Нейроморфные компьютеры , которые используют нейроморфные вычисления, смоделированы непосредственно по образцу человеческого мозга. Это не следует путать с программными алгоритмами, такими как сверточные нейронные сети (CNN), рекуррентные нейронные сети (RNN) или генеративно-состязательные сети (GAN).
Нейроморфные чипы, на которых работают нейроморфные компьютеры, не могут заменять обычные вычислительные чипы, такие как CPU GPU или специализированные ИС. Однако нейроморфные компьютеры могут добавляться к существующим компьютерам, которые выполняют глубокое обучение для искусственного интеллекта. От IBM TrueNorth до лояльности Intel к Манчестерскому университету — это спинакерная машина, каждая компания или учреждение работает над уникальным решением для нейроморфных вычислительных чипов.
Ограничения:
Хотя современные компьютеры могут делать многое из того, что могут делать люди, им не хватает как минимум двух аспектов: машинного мышления и трансферного обучения. Леон Ботту, эксперт, определил машинное мышление как
Алгебраическое манипулирование ранее полученными знаниями, чтобы ответить на новый вопрос.
Перенос обучения относится к способности переносить приобретенный опыт из одного контекста в другой.
Есть третий аспект, т.е. физические размеры и энергозатраты. Суперкомпьютеры представляют собой самые высокие скорости вычислений, а текущие версии имеют скорость в PFLOP (10 ^ 15 операций с плавающей запятой в секунду).