ПО МОЕМУ ХОТЕНЬЮ... БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС. Берлинский нейрокомпьютерный интерфейс


ПО МОЕМУ ХОТЕНЬЮ... БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: "По щучьему веленью, по моему хотенью…". Как только произнесет их Емеля, вокруг начинаются чудеса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли сказочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

Общая модель нейро-компьютерного интерфейса.

Нейро-компьютерный интерфейс.

Еще один нейро-компьютерный интерфейс (НКИ).

На картинах распределения электрических потенциалов на поверхности головы видно, что за несколько долей секунды до выполнения действия правой рукой отрицательный потенциал повышается в левой половине коры головного мозга и наоборот.

Общая схема обработки данных в БНКИ.

Мысленно имитируя движение правой или левой рукой, пользователь направляет курсор в левое или правое поле в верхней части экрана.

Работая на виртуальной пишущей машинке, пользователь за несколько шагов выбирает нужную букву.

Приложение обратной связи БНКИ "мысленный теннис".

Приложение обратной связи БНКИ "мысленный диггер".

Приложение обратной связи БНКИ "мысленный тетрис".

Работая с приложением "виртуальная рука", пациент приобретает навыки управления электромеханическим протезом: учится поднимать его, сгибать в локте, сжимать и разжимать пальцы.

Мысль может стать физической силой

Для лентяя Емели езда на печи была обычной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна возможности жить. Как бы заставить инвалидную коляску ехать, останавливаться или поворачивать без физического воздействия и без посторонней помощи? Для пациентов, потерявших способность управлять деятельностью мышц, единственный способ общения с внешним миром - это материализация их мысленных желаний.

Намерение выполнить определенное действие возникает в недрах нашего мозга и превращается в электрический потенциал. Его распределение в пространстве и времени создает определенную картину, которую можно отобразить с помощью электроэнцефалографа 1. В настоящее время созданы особые системы, получившие название нейро-компьютерных интерфейсов 2, которые способны различать множество таких картин и превращать их в команды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообщения и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привычным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал "восприятия", "мышления".

Как все начиналось

Еще в 1929 году немецкому врачу-нейрофизиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвердить гипотезу о том, что действия человека всегда связаны с повышением активности отдельных зон коры головного мозга. С тех пор многие исследователи неоднократно хотели научиться "читать мысли", пытаясь расшифровать электроэнцефалограмму. Но мешали технические причины: недостаточное пространственное разрешение электроэнцефалографов (то есть не удавалось в подробностях получить картину распределения потенциалов), а также отсутствие возможности хранить и обрабатывать в режиме реального времени огромные массивы данных.

Последнее десятилетие прошлого века прошло под знаком стремительного развития информационных технологий, давших в распоряжение ученых высокоскоростные ЭВМ с большой памятью. Прогресс в области цифровой обработки сигналов и статистического анализа, а также новые теоретические знания о нейронных сетях открыли перед научными коллективами перспективу практической реализации различного рода нейро-компьютерных интерфейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой интерфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-компьютерным. Более того, для пациентов, полностью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали проводить в Уодсфорд-центре Нью-Йоркского университета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления исполнительным устройством (компьютером, инвалидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные каналы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиатура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С помощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им пространственно-временны' е картины, и стремится подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Когда группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь снова ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем появляется в строке в верхней части экрана. Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и основанный на использовании схожных нейрофизиологических признаков, сегодня помогает парализованному пациенту управлять протезом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследованиями и постоянным совершенствованием системы, продлился более года.

Берлинский НКИ

Система, разработанная сотрудниками Института компьютерных архитектур и программного обеспечения Общества Фраунхофера и нейрофизиологами берлинской клиники Шарите, принципиально отличается от предшественников. Чтобы пользоваться Берлинским нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, начиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользователь должен был нажимать клавиши правой или левой рукой или представлять себе такое движение. По результатам 4-5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для этого в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предшествующий нажатию клавиши. Выполнение каждого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мышцам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для человеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного потенциала легко обнаруживается на картинах распределения электрического поля, усредненных после многократных повторений движений левой и правой руки. При намерении совершить движение левой рукой отрицательный потенциал возникает в области правого полушария, а перед движением правой рукой - в области левого полушария. Было установлено, что заметное повышение потенциала происходит за 0,5-0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, то есть на некоторое время "успокоиться", а процесс понижения их индивидуальной активности как раз и отражается в росте отрицательного потенциала. После посылки импульса также происходит задержка порядка 0,15 секунды - за это время он достигает соответствующих мышц.

Берлинский НКИ, таким образом, может заранее распознать команду на совершение мышечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспечения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведены в состояние готовности.

После того как собрано достаточное количество примеров, включается автоматическая процедура обучения. Она производит анализ примеров и вырабатывает модель управления системой, наиболее подходящую для данного пользователя. Для этого подбираются характерные признаки, несущие информацию о различных командах управления, и рассчитывается математическая функция, способная по каждому набору признаков генерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользователь может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что компьютер "понимает" его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или правой рукой производит эффект, как при истинном движении. Самое главное для пользователя - не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ - успевать обрабатывать и реализовывать сигналы, полученные от пользователя, в реальном времени.

В связи с большими потоками информации БНКИ сконструирован с использованием нескольких компьютеров, объединенных в локальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выбирать один вариант из двух возможных. Он, например, с точностью 75-90% за 0,2-0,1 секунды до того, как пользователь действительно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Более высокой надежности достигают, разделяя сложную задачу на несколько простых. Например, задача распознавания набора команд "влево", "вправо", "на месте" разбивается на две более простые: "движение", "покой" и "лево", "право". Формирование команды управления происходит по логическому правилу: если "движение", тогда "лево" или "право", иначе "покой".

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из области виртуальной реальности.

От теории к практике

В БНКИ привлекает разнообразие прикладных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная другим компьютером. Обратная связь в этом случае очень важна: пользователь должен все время видеть реакцию системы на свои мысленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Игровые программы предназначены для здоровых пользователей, а реабилитационные позволяют пациенту с ограниченными двигательными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии известных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить "мысленную пишущую машинку" и "виртуальную руку".

На начальных этапах освоения системы рекомендуется использовать простейшую прикладную программу "бегущий крест". Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сигналов электроэнцефалографа. Вертикальная координата курсора изменяется при поступлении команды "движение", а горизонтальная координата - при поступлении команды "право" или "лево". Координаты курсора обновляются с частотой 25 Гц. Таким образом, положение курсора позволяет визуализировать, насколько правильно система распознает управляющие команды. При мысленном желании подвинуть левую (правую) руку курсор должен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машинке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обучения системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. "Машинка" позволяет пациенту увидеть и почувствовать, как реализуются его мысленные команды.

В нижней части экрана есть поле обратной связи, с помощью которого пользователь-новичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле отключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоростью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, которая предлагает наиболее вероятные продолжения слова, то работа станет еще эффективнее.

Наиболее удобным и естественным для человека устройством ввода информации в компьютер считается мышь. Поэтому резонно возникает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, управляют курсором в компьютерной игре "теннис", первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне подходит БНКИ. Во время игры "мяч" движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается "ракетка", управляемая "силой мысли", так, чтобы в нужный момент перехватить "мяч". Разумеется, в такой "мысленный теннис" могут сражаться два игрока одновременно.

Следующей ступенью будет задача перемещения курсора по всей плоскости экрана.

Другим приложением БНКИ стала игра "диггер". Курсор представляет собой путешественника (зеленый кружок с "носом", указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабиринта. Диггер движется по тоннелю с постоянной скоростью, пока не "упрется" в стену. В местах ответвлений пользователь может дать одну из команд: "налево" или "направо".

Сценарий, аналогичный используемому в игре "диггер", можно применить к управлению инвалидной коляской. "Умная" коляска, оснащенная видеокамерой для определения местонахождения и обнаружения препятствий, интерпретирует следующие команды: "поверни налево (направо) при следующей возможности", "двигайся вперед (назад) при отсутствии помех" и т. п. Такого рода управление уже разрабатывается и применяется для пациентов со сложными травмами и заболеваниями спинного мозга, правда пока в единичных случаях.

Игра в "мысленный тетрис" требует от НКИ способности распознавать более двух групп сигналов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, относится к серии виртуальной реальности. "Виртуальная рука", изображенная на экране, позволяет пациенту приобрести навык управления электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плечевом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцированные движения распознать пока не удается, поскольку двигательные центры мышц предплечий и пальцев расположены близко друг к другу и электроэнцефалограф не может различить картины распределения потенциалов, формируемых этими центрами.

А кто исправит ошибку?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них - генерация так называемых потенциалов ошибки, когда человек обнаруживает, что развитие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре неправильный ход, то возникает одна из таких ошибочных ситуаций. "Недовольство" пользователя принятым системой решением вызывает появление потенциала ошибки, и если система распознает этот потенциал в течение 0,4-0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситуацию.

Что нас ждет впереди?

Чтобы НКИ стали более совершенными, разработчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забывать и о потенциальных пользователях - именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью "силы мысли".

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особенностей "поведения" соответствующих зон головного мозга. Это позволит значительно расширить диапазон команд управления. Современная нейрология располагает довольно неточными "картами" головного мозга. Недостаточно изучены функции и назначения отдельных регионов. К наиболее хорошо изученным можно отнести двигательный и осязательный ареалы коры, и здесь мы можем с точностью до 3-7 мм указать на поверхности мозга расположение нервных клеток, которые несут ответственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электроды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или умственной нагрузки. Благодаря новинкам в области цифровой обработки сигналов и машинного обучения появятся средства точного распознавания и перевода биоэлектрических импульсов в команды. Тогда перед НКИ откроется еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскоростных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов самолетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое содружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

1 В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере.

2Об интерфейсах рассказывается в заметке, помещенной после статьи.

Иллюстрация "Общая модель нейро-компьютерного интерфейса". Общая модель нейро-компьютерного интерфейса представляет собой замкнутый поток информации. При намерении совершить какое-либо действие у пользователя повышается электрическая активность соответствующих зон головного мозга. Эти сигналы снимаются электроэнцефалографом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее набор признаков разделяют по типам, и компьютер вырабатывает команду, управляющую исполнительным устройством (компьютерной программой, инвалидной коляской, протезом и пр.). Пользователь в режиме реального времени наблюдает за реакцией системы на свое мысленное действие.

Иллюстрация "Нейро-компьютерный интерфейс". В нейро-компьютерном интерфейсе, созданном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной скоростью курсор к полю, содержащему нужный символ. За несколько повторов можно выбрать символ, который затем включится в текст, появляющийся в верхней части экрана.

Иллюстрация "Еще один нейро-компьютерный интерфейс (НКИ)". На кривых 27 каналов электроэнцефало-графа (F3-O1) и четырех дополнительных каналов (электромиограммы левой и правой руки EMGL и EMGR, а также электроокулограммы EOGh и EOGv движения глаза) представлены три примера выполнения задания здоровым пользователем. Он последовательно нажимал клавишу правой, левой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно увидеть связь между намерением выполнить действие (в цветных рамках) и самим по-следующим действием (вершины треугольников).

Иллюстрация "Общая схема обработки данных в БНКИ". Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими "рабочими", каждый из которых выполняет специфическую задачу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сервером. На втором - производятся выбор признаков, их классификация по типам (например, "есть движение - нет движения" или "движение вправо - движение влево") и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она играет роль команд, поступающих с устройств ввода, и управляет работой игровой или реабилитационной прикладной программы. Реакция на сигналы пользователя отражается на мониторе, то есть возникает обратная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.

www.nkj.ru

Моему хотенью берлинский нейро-компьютерный интерфейс

ПО МОЕМУ ХОТЕНЬЮ...

БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чу­деса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли ска­зочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ

Для лентяя Емели езда на печи была обыч­ной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна воз­можности жить. Как бы заста­вить инвалидную коляску ехать, останавливаться или поворачи­вать без физического воздей­ствия и без посторонней помо­щи? Для пациентов, потерявших способность управлять дея­тельностью мышц, единствен­ный способ общения с внешним миром — это материализация их мысленных желаний.

Намерение выполнить опре­деленное действие возникает в недрах нашего мозга и превра­щается в электрический потен­циал. Его распределение в про­странстве и времени создает определенную картину, которую можно отобра­зить с помощью электроэнцефалографа1. В на­стоящее время созданы особые системы, по­лучившие название нейро-компьютерных ин­терфейсов2, которые способны различать мно­жество таких картин и превращать их в ко­манды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообще­ния и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привыч­ным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «вос­приятия», «мышления».

КАК ВСЕ НАЧИНАЛОСЬ

Еще в 1929 году немецкому врачу-нейрофи­зиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвер­дить гипотезу о том, что действия человека всегда связаны с повышением активности от­дельных зон коры головного мозга.

Общая модель нейро-компьютерного интер­фейса представляет собой замкнутый по­ток информации. При намерении совершить какое-либо действие у пользователя повы­шается электрическая активность соот­ветствующих зон головного мозга. Эти сигналы снимаются электроэнцефалогра­фом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее на­бор признаков разделяют по типам, и ком­пьютер вырабатывает команду, управляю­щую исполнительным устройством (ком­пьютерной программой, инвалидной коляс­кой, протезом и пр.). Пользователь в режи­ме реального времени наблюдает за реакци­ей системы на свое мысленное действие.

С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшиф­ровать электроэнцефалограмму. Но мешали технические причины: недостаточное про­странственное разрешение электроэнцефало­графов (то есть не удавалось в подробностях получить картину распределения потенциа­лов), а также отсутствие возможности хра­нить и обрабатывать в режиме  реального вре­мени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.

Последнее десятилетие прошлого века про­шло под знаком стремительного развития ин­формационных технологий, давших в распоря­жение ученых высокоскоростные ЭВМ с боль­шой памятью. Прогресс в области цифровой обработки сигналов и статистического анали­за, а также новые теоретические знания о ней­ронных сетях открыли перед научными коллек­тивами перспективу практической реализации различного рода нейро-компьютерных интер­фейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой ин­терфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полно­стью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали прово­дить в Уодсфорд-центре Нью-Йоркского уни­верситета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления испол­нительным устройством (компьютером, инва­лидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные кана­лы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиа­тура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С по­мощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им про­странственно-временные картины, и стремит­ся подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Ког­да группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь сно­ва ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем по­является в строке в верхней части экрана.

В нейро-компьютерном интерфейсе, создан­ном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной ско­ростью курсор к полю, содержащему нуж­ный символ. За несколько повторов можно выбрать символ, который затем включит­ся в текст, появляющийся в верхней части экрана.

БЕРЛИНСКИЙ НКИ

ЧЕЛОВЕК И КОМПЬЮТЕР

Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и осно­ванный на использовании схожных нейрофи­зиологических признаков, сегодня помогает парализованному пациенту управлять проте­зом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследования­ми и постоянным совершенствованием сис­темы, продлился более года.

Система, разработанная сотрудниками Ин­ститута компьютерных архитектур и про­граммного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от пред­шественников. Чтобы пользоваться Берлинс­ким нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, на­чиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользова­тель должен был нажимать клавиши правой или левой рукой или представлять себе такое дви­жение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для это­го в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предше­ствующий нажатию клавиши. Выполнение каж­дого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мыш­цам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для че­ловеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного по­тенциала легко обнаруживается на картинах распределения электрического поля, усреднен­ных после многократных повторений движе­ний левой и правой руки. При намерении со­вершить движение левой рукой отрицатель­ный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.

Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активнос­ти как раз и отражается в росте отрицатель­ного потенциала. После посылки импульса так­же происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.

На кривых 27 каналов электроэнцефало­графа (F3—01) и четырех дополнительных каналов (электромиограммы левой и пра­вой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения гла­за) представлены три примера выполнения задания здоровым пользователем. Он после­довательно нажимал клавишу правой, ле­вой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно уви­деть связь между намерением выполнить действие (в цветных рамках) и самим по­следующим действием (вершины треуголь­ников).

На картинах распределения электрических потенциалов на поверхности головы вид­но, что за несколько долей секунды до вы­полнения действия правой рукой отрица­тельный потенциал повышается в левой половине коры головного мозга и наоборот.

Берлинский НКИ, таким образом, может за­ранее распознать команду на совершение мы­шечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспе­чения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведе­ны в состояние готовности.

После того как собрано до­статочное количество при­меров, включается автома­тическая процедура обуче­ния. Она производит анализ примеров и вырабатывает модель управления систе­мой, наиболее подходящую для данного пользователя. Для этого подбираются ха­рактерные признаки, несущие информацию о различных ко­мандах управления, и рас­считывается математичес­кая функция, способная по каждому набору признаков ге­нерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользо­ватель может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что ком­пьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или пра­вой рукой производит эффект, как при истин­ном движении. Самое главное для пользова­теля — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.

Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую зада­чу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сер­вером. На втором — производятся выбор при­знаков, их классификация по типам (напри­мер, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она игра­ет роль команд, поступающих с устройств ввода, и управляет работой игровой или реа­билитационной прикладной программы. Ре­акция на сигналы пользователя отражает­ся на мониторе, то есть возникает обрат­ная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.

В связи с большими потоками информации БНКИ сконструирован с использованием не­скольких компьютеров, объединенных в ло­кальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выби­рать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действи­тельно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Бо­лее высокой надежности достигают, разделяя сложную задачу на несколько простых. Напри­мер, задача распознавания набора команд «вле­во», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «дви­жение», тогда «лево» или «право», иначе «по­кой».

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из об­ласти виртуальной реальности.

ОТ ТЕОРИИ К ПРАКТИКЕ

В БНКИ привлекает разнообразие приклад­ных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная дру­гим компьютером. Обратная связь в этом слу­чае очень важна: пользователь должен все время видеть реакцию системы на свои мыс­ленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Иг­ровые программы предназначены для здоро­вых пользователей, а реабилитационные по­зволяют пациенту с ограниченными двигатель­ными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии изве­стных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пи­шущую машинку» и «виртуальную руку».

На начальных этапах освоения системы ре­комендуется использовать простейшую при­кладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сиг­налов электроэнцефалографа. Вертикальная координата курсора изменяется при поступле­нии команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновля­ются с частотой 25 Гц. Таким образом, поло­жение курсора позволяет визуализировать, насколько правильно система распознает уп­равляющие команды. При мысленном желании подвинуть левую (правую) руку курсор дол­жен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машин­ке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обуче­ния системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реа­лизуются его мысленные команды.

Работая на виртуальной пишущей машин­ке, пользователь за несколько шагов выби­рает нужную букву.

В нижней части экрана есть поле обратной связи, с помощью которого пользователь-но­вичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле от­ключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоро­стью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, ко­торая предлагает наиболее вероятные продол­жения слова, то работа станет еще эффектив­нее.

Наиболее удобным и естественным для че­ловека устройством ввода информации в ком­пьютер считается мышь. Поэтому резонно воз­никает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, уп­равляют курсором в компьютерной игре «тен­нис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне под­ходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ра­кетка», управляемая «силой мысли», так, что­бы в нужный момент перехватить «мяч». Ра­зумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.

Следующей ступенью будет задача переме­щения курсора по всей плоскости экрана.

Приложение обратной связи БНКИ «мыс­ленный теннис».

Другим приложением БНКИ стала игра «диг­гер». Курсор представляет собой путешествен­ника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабирин­та. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В мес­тах ответвлений пользователь может дать одну из команд: «налево» или «направо».

Приложение обратной связи БНКИ "мысленный диггер".

Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, осна­щенная видеокамерой для определения мес­тонахождения и обнаружения препятствий, интерпретирует следующие команды: «повер­ни налево (направо) при следующей возмож­ности», «двигайся вперед (назад) при отсут­ствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для па­циентов со сложными травмами и заболева­ниями спинного мозга, правда пока в единич­ных случаях.

Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сиг­налов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, отно­сится к серии виртуальной реальности. «Вир­туальная рука», изображенная на экране, по­зволяет пациенту приобрести навык управле­ния электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плече­вом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцирован­ные движения распознать пока не удается, поскольку двигательные центры мышц пред­плечий и пальцев расположены близко друг к другу и электроэнцефалограф не может разли­чить картины распределения потенциалов, формируемых этими центрами.

Работая с приложением «виртуальная рука»,

пациент приобретает навыки управ­ления

электромеханическим протезом: учится поднимать

его, сгибать в локте, сжимать и разжимать пальцы.

Приложение обратной связи БНКИ «мыс­ленный тетрис».

А КТО ИСПРАВИТ ОШИБКУ?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что раз­витие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре непра­вильный ход, то возникает одна из таких оши­бочных ситуаций. «Недовольство» пользовате­ля принятым системой решением вызывает по­явление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситу­ацию.

ЧТО НАС ЖДЕТ ВПЕРЕДИ?

Чтобы НКИ стали более совершенными, раз­работчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забы­вать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особеннос­тей «поведения» соответствующих зон голов­ного мозга. Это позволит значительно расши­рить диапазон команд управления. Современ­ная нейрология располагает довольно неточ­ными «картами» головного мозга. Недостаточ­но изучены функции и назначения отдельных регионов. К наиболее хорошо изученным мож­но отнести двигательный и осязательный аре­алы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга распо­ложение нервных клеток, которые несут от­ветственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электро­ды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или ум­ственной нагрузки. Благодаря новинкам в об­ласти цифровой обработки сигналов и машин­ного обучения появятся средства точного рас­познавания и перевода биоэлектрических им­пульсов в команды. Тогда перед НКИ откроет­ся еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскорос­тных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов са­молетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое со­дружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ

ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ

Когда появились первые электронно-вычислительные машины, перед их создателя­ми встала проблема связать различные функциональные узлы — процессор, запомина­ющие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуще­ствлялся с помощью унифици­рованных сигналов. Посколь­ку пионерами в этой области техники были англичане и аме­риканцы, то они и разрабаты­вали терминологию. Аппарат­ные и программные средства сопряжения назвали интер­фейсами (interface), что в дос­ловном переводе с английско­го означает междуличие (в данном случае даже пуристы предпочтут употреблять аме­риканизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами на­зывают электрические разъе­мы, которые служат для при­соединения клавиатуры, мыши, монитора и т.д. к сис­темному блоку ПК.

Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.

Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ об­щения человека с компьюте­ром, поэтому, чтобы не запу­таться, новый термин зазву­чал как «интерфейс пользова­теля».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. От­верстие на перфокарте означа­ло единицу в двоичной систе­ме счисления, а его отсутствие — нуль. Таким образом, на пер­фокарте оказывалось зашифро­вано некое двоичное число, ко­торое воспринималось маши­ной либо как команда, либо как информация, которую нужно было обработать.

Программистам приходи­лось быть очень вниматель­ными, поскольку такой интер­фейс пользователя не предус­матривал обратной связи и любая ошибка приводила к сбою работы машины.

Прошли годы, и инженеры при­думали способ, как выводить буквенно-числовую информа­цию на экране электронно-луче­вой трубки. Для ввода данных теперь пользовались клавиату­рой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправле­ния. Такой интерфейс назвали буквенно-цифровым. Он приме­нялся и на первых персональ­ных компьютерах.

Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только про­фессиональные программис­ты. Чтобы помочь неподготов­ленному пользователю, созда­тели программного обеспече­ния разработали интерфейс, который не требовал ввода тех или иных команд, а позво­лял выбирать их из готового списка (меню). Самой извест­ной из подобных программ стал Norton Commander, пред­назначенный для операцион­ной системы DOS компании «Microsoft».

Качество ПК быстро повы­шалось, их возможности рос­ли. К середине 1980-х годов они обладали уже таким быс­тродействием и такими ресур­сами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие ком­пьютеры операционную систе­му с графическим интерфей­сом пользователя. Чуть поз­же появилась графическая оболочка Windows, предназна­ченная для более дешевых IBM-совместимых компьюте­ров.

При загрузке компьютера на экране монитора появлялись не слова или их аббревиату­ры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользо­ватель заставляет компьютер выполнять самые различные действия. Кроме того, графи­ческие оболочки и операцион­ные системы позволили реа­лизовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.

Теперь становится понят­ным и термин «нейро-компьютерный интерфейс»: это уп­равление компьютером с по­мощью электрических сигна­лов головного мозга.

refdb.ru

По моему хотенью берлинский нейро-компьютерный интерфейс

скачать ПО МОЕМУ ХОТЕНЬЮ...

БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чу­деса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли ска­зочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ

Для лентяя Емели езда на печи была обыч­ной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна воз­можности жить. Как бы заста­вить инвалидную коляску ехать, останавливаться или поворачи­вать без физического воздей­ствия и без посторонней помо­щи? Для пациентов, потерявших способность управлять дея­тельностью мышц, единствен­ный способ общения с внешним миром — это материализация их мысленных желаний.

Намерение выполнить опре­деленное действие возникает в недрах нашего мозга и превра­щается в электрический потен­циал. Его распределение в про­странстве и времени создает определенную картину, которую можно отобра­зить с помощью электроэнцефалографа1. В на­стоящее время созданы особые системы, по­лучившие название нейро-компьютерных ин­терфейсов2, которые способны различать мно­жество таких картин и превращать их в ко­манды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообще­ния и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привыч­ным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «вос­приятия», «мышления».

КАК ВСЕ НАЧИНАЛОСЬ

Еще в 1929 году немецкому врачу-нейрофи­зиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвер­дить гипотезу о том, что действия человека всегда связаны с повышением активности от­дельных зон коры головного мозга.

Общая модель нейро-компьютерного интер­фейса представляет собой замкнутый по­ток информации. При намерении совершить какое-либо действие у пользователя повы­шается электрическая активность соот­ветствующих зон головного мозга. Эти сигналы снимаются электроэнцефалогра­фом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее на­бор признаков разделяют по типам, и ком­пьютер вырабатывает команду, управляю­щую исполнительным устройством (ком­пьютерной программой, инвалидной коляс­кой, протезом и пр.). Пользователь в режи­ме реального времени наблюдает за реакци­ей системы на свое мысленное действие.

С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшиф­ровать электроэнцефалограмму. Но мешали технические причины: недостаточное про­странственное разрешение электроэнцефало­графов (то есть не удавалось в подробностях получить картину распределения потенциа­лов), а также отсутствие возможности хра­нить и обрабатывать в режиме  реального вре­мени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.

Последнее десятилетие прошлого века про­шло под знаком стремительного развития ин­формационных технологий, давших в распоря­жение ученых высокоскоростные ЭВМ с боль­шой памятью. Прогресс в области цифровой обработки сигналов и статистического анали­за, а также новые теоретические знания о ней­ронных сетях открыли перед научными коллек­тивами перспективу практической реализации различного рода нейро-компьютерных интер­фейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой ин­терфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полно­стью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали прово­дить в Уодсфорд-центре Нью-Йоркского уни­верситета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления испол­нительным устройством (компьютером, инва­лидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные кана­лы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиа­тура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С по­мощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им про­странственно-временные картины, и стремит­ся подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Ког­да группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь сно­ва ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем по­является в строке в верхней части экрана.

В нейро-компьютерном интерфейсе, создан­ном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной ско­ростью курсор к полю, содержащему нуж­ный символ. За несколько повторов можно выбрать символ, который затем включит­ся в текст, появляющийся в верхней части экрана.

БЕРЛИНСКИЙ НКИ ЧЕЛОВЕК И КОМПЬЮТЕР Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и осно­ванный на использовании схожных нейрофи­зиологических признаков, сегодня помогает парализованному пациенту управлять проте­зом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследования­ми и постоянным совершенствованием сис­темы, продлился более года.

Система, разработанная сотрудниками Ин­ститута компьютерных архитектур и про­граммного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от пред­шественников. Чтобы пользоваться Берлинс­ким нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, на­чиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользова­тель должен был нажимать клавиши правой или левой рукой или представлять себе такое дви­жение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для это­го в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предше­ствующий нажатию клавиши. Выполнение каж­дого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мыш­цам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для че­ловеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного по­тенциала легко обнаруживается на картинах распределения электрического поля, усреднен­ных после многократных повторений движе­ний левой и правой руки. При намерении со­вершить движение левой рукой отрицатель­ный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.

Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активнос­ти как раз и отражается в росте отрицатель­ного потенциала. После посылки импульса так­же происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.

На кривых 27 каналов электроэнцефало­графа (F3—01) и четырех дополнительных каналов (электромиограммы левой и пра­вой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения гла­за) представлены три примера выполнения задания здоровым пользователем. Он после­довательно нажимал клавишу правой, ле­вой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно уви­деть связь между намерением выполнить действие (в цветных рамках) и самим по­следующим действием (вершины треуголь­ников).

На картинах распределения электрических потенциалов на поверхности головы вид­но, что за несколько долей секунды до вы­полнения действия правой рукой отрица­тельный потенциал повышается в левой половине коры головного мозга и наоборот.

Берлинский НКИ, таким образом, может за­ранее распознать команду на совершение мы­шечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспе­чения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведе­ны в состояние готовности.

После того как собрано до­статочное количество при­меров, включается автома­тическая процедура обуче­ния. Она производит анализ примеров и вырабатывает модель управления систе­мой, наиболее подходящую для данного пользователя. Для этого подбираются ха­рактерные признаки, несущие информацию о различных ко­мандах управления, и рас­считывается математичес­кая функция, способная по каждому набору признаков ге­нерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользо­ватель может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что ком­пьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или пра­вой рукой производит эффект, как при истин­ном движении. Самое главное для пользова­теля — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.

Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую зада­чу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сер­вером. На втором — производятся выбор при­знаков, их классификация по типам (напри­мер, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она игра­ет роль команд, поступающих с устройств ввода, и управляет работой игровой или реа­билитационной прикладной программы. Ре­акция на сигналы пользователя отражает­ся на мониторе, то есть возникает обрат­ная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу. В связи с большими потоками информации БНКИ сконструирован с использованием не­скольких компьютеров, объединенных в ло­кальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выби­рать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действи­тельно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Бо­лее высокой надежности достигают, разделяя сложную задачу на несколько простых. Напри­мер, задача распознавания набора команд «вле­во», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «дви­жение», тогда «лево» или «право», иначе «по­кой».

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из об­ласти виртуальной реальности. ОТ ТЕОРИИ К ПРАКТИКЕ

В БНКИ привлекает разнообразие приклад­ных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная дру­гим компьютером. Обратная связь в этом слу­чае очень важна: пользователь должен все время видеть реакцию системы на свои мыс­ленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Иг­ровые программы предназначены для здоро­вых пользователей, а реабилитационные по­зволяют пациенту с ограниченными двигатель­ными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии изве­стных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пи­шущую машинку» и «виртуальную руку».

На начальных этапах освоения системы ре­комендуется использовать простейшую при­кладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сиг­налов электроэнцефалографа. Вертикальная координата курсора изменяется при поступле­нии команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновля­ются с частотой 25 Гц. Таким образом, поло­жение курсора позволяет визуализировать, насколько правильно система распознает уп­равляющие команды. При мысленном желании подвинуть левую (правую) руку курсор дол­жен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машин­ке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обуче­ния системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реа­лизуются его мысленные команды.

Работая на виртуальной пишущей машин­ке, пользователь за несколько шагов выби­рает нужную букву. В нижней части экрана есть поле обратной связи, с помощью которого пользователь-но­вичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле от­ключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоро­стью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, ко­торая предлагает наиболее вероятные продол­жения слова, то работа станет еще эффектив­нее.

Наиболее удобным и естественным для че­ловека устройством ввода информации в ком­пьютер считается мышь. Поэтому резонно воз­никает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, уп­равляют курсором в компьютерной игре «тен­нис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне под­ходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ра­кетка», управляемая «силой мысли», так, что­бы в нужный момент перехватить «мяч». Ра­зумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.

Следующей ступенью будет задача переме­щения курсора по всей плоскости экрана.

Приложение обратной связи БНКИ «мыс­ленный теннис».

Другим приложением БНКИ стала игра «диг­гер». Курсор представляет собой путешествен­ника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабирин­та. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В мес­тах ответвлений пользователь может дать одну из команд: «налево» или «направо».

Приложение обратной связи БНКИ "мысленный диггер".

Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, осна­щенная видеокамерой для определения мес­тонахождения и обнаружения препятствий, интерпретирует следующие команды: «повер­ни налево (направо) при следующей возмож­ности», «двигайся вперед (назад) при отсут­ствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для па­циентов со сложными травмами и заболева­ниями спинного мозга, правда пока в единич­ных случаях.

Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сиг­налов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, отно­сится к серии виртуальной реальности. «Вир­туальная рука», изображенная на экране, по­зволяет пациенту приобрести навык управле­ния электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плече­вом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцирован­ные движения распознать пока не удается, поскольку двигательные центры мышц пред­плечий и пальцев расположены близко друг к другу и электроэнцефалограф не может разли­чить картины распределения потенциалов, формируемых этими центрами.

Работая с приложением «виртуальная рука»,

пациент приобретает навыки управ­ления

электромеханическим протезом: учится поднимать

его, сгибать в локте, сжимать и разжимать пальцы.

Приложение обратной связи БНКИ «мыс­ленный тетрис».

А КТО ИСПРАВИТ ОШИБКУ?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что раз­витие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре непра­вильный ход, то возникает одна из таких оши­бочных ситуаций. «Недовольство» пользовате­ля принятым системой решением вызывает по­явление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситу­ацию.

ЧТО НАС ЖДЕТ ВПЕРЕДИ?

Чтобы НКИ стали более совершенными, раз­работчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забы­вать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особеннос­тей «поведения» соответствующих зон голов­ного мозга. Это позволит значительно расши­рить диапазон команд управления. Современ­ная нейрология располагает довольно неточ­ными «картами» головного мозга. Недостаточ­но изучены функции и назначения отдельных регионов. К наиболее хорошо изученным мож­но отнести двигательный и осязательный аре­алы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга распо­ложение нервных клеток, которые несут от­ветственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электро­ды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или ум­ственной нагрузки. Благодаря новинкам в об­ласти цифровой обработки сигналов и машин­ного обучения появятся средства точного рас­познавания и перевода биоэлектрических им­пульсов в команды. Тогда перед НКИ откроет­ся еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскорос­тных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов са­молетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое со­дружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ

ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ

Когда появились первые электронно-вычислительные машины, перед их создателя­ми встала проблема связать различные функциональные узлы — процессор, запомина­ющие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуще­ствлялся с помощью унифици­рованных сигналов. Посколь­ку пионерами в этой области техники были англичане и аме­риканцы, то они и разрабаты­вали терминологию. Аппарат­ные и программные средства сопряжения назвали интер­фейсами (interface), что в дос­ловном переводе с английско­го означает междуличие (в данном случае даже пуристы предпочтут употреблять аме­риканизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами на­зывают электрические разъе­мы, которые служат для при­соединения клавиатуры, мыши, монитора и т.д. к сис­темному блоку ПК.

Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.

Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ об­щения человека с компьюте­ром, поэтому, чтобы не запу­таться, новый термин зазву­чал как «интерфейс пользова­теля».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. От­верстие на перфокарте означа­ло единицу в двоичной систе­ме счисления, а его отсутствие — нуль. Таким образом, на пер­фокарте оказывалось зашифро­вано некое двоичное число, ко­торое воспринималось маши­ной либо как команда, либо как информация, которую нужно было обработать.

Программистам приходи­лось быть очень вниматель­ными, поскольку такой интер­фейс пользователя не предус­матривал обратной связи и любая ошибка приводила к сбою работы машины.

Прошли годы, и инженеры при­думали способ, как выводить буквенно-числовую информа­цию на экране электронно-луче­вой трубки. Для ввода данных теперь пользовались клавиату­рой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправле­ния. Такой интерфейс назвали буквенно-цифровым. Он приме­нялся и на первых персональ­ных компьютерах.

Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только про­фессиональные программис­ты. Чтобы помочь неподготов­ленному пользователю, созда­тели программного обеспече­ния разработали интерфейс, который не требовал ввода тех или иных команд, а позво­лял выбирать их из готового списка (меню). Самой извест­ной из подобных программ стал Norton Commander, пред­назначенный для операцион­ной системы DOS компании «Microsoft».

Качество ПК быстро повы­шалось, их возможности рос­ли. К середине 1980-х годов они обладали уже таким быс­тродействием и такими ресур­сами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие ком­пьютеры операционную систе­му с графическим интерфей­сом пользователя. Чуть поз­же появилась графическая оболочка Windows, предназна­ченная для более дешевых IBM-совместимых компьюте­ров.

При загрузке компьютера на экране монитора появлялись не слова или их аббревиату­ры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользо­ватель заставляет компьютер выполнять самые различные действия. Кроме того, графи­ческие оболочки и операцион­ные системы позволили реа­лизовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.

Теперь становится понят­ным и термин «нейро-компьютерный интерфейс»: это уп­равление компьютером с по­мощью электрических сигна­лов головного мозга.

скачать

nenuda.ru

Реферат - Моему хотенью берлинский нейро-компьютерный интерфейс

ПОМОЕМУХОТЕНЬЮ...

БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чу­деса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли ска­зочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

^ МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ

Для лентяя Емели езда на печи была обыч­ной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна воз­можности жить. Как бы заста­вить инвалидную коляску ехать, останавливаться или поворачи­вать без физического воздей­ствия и без посторонней помо­щи? Для пациентов, потерявших способность управлять дея­тельностью мышц, единствен­ный способ общения с внешним миром — это материализация их мысленных желаний.

Намерение выполнить опре­деленное действие возникает в недрах нашего мозга и превра­щается в электрический потен­циал. Его распределение в про­странстве и времени создает определенную картину, которую можно отобра­зить с помощью электроэнцефалографа1. В на­стоящее время созданы особые системы, по­лучившие название нейро-компьютерных ин­терфейсов2, которые способны различать мно­жество таких картин и превращать их в ко­манды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообще­ния и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привыч­ным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «вос­приятия», «мышления».

^ КАК ВСЕ НАЧИНАЛОСЬ

Еще в 1929 году немецкому врачу-нейрофи­зиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвер­дить гипотезу о том, что действия человека всегда связаны с повышением активности от­дельных зон коры головного мозга.

Общая модель нейро-компьютерного интер­фейса представляет собой замкнутый по­ток информации. При намерении совершить какое-либо действие у пользователя повы­шается электрическая активность соот­ветствующих зон головного мозга. Эти сигналы снимаются электроэнцефалогра­фом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее на­бор признаков разделяют по типам, и ком­пьютер вырабатывает команду, управляю­щую исполнительным устройством (ком­пьютерной программой, инвалидной коляс­кой, протезом и пр.). Пользователь в режи­ме реального времени наблюдает за реакци­ей системы на свое мысленное действие.

С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшиф­ровать электроэнцефалограмму. Но мешали технические причины: недостаточное про­странственное разрешение электроэнцефало­графов (то есть не удавалось в подробностях получить картину распределения потенциа­лов), а также отсутствие возможности хра­нить и обрабатывать в режиме  реального вре­мени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.

Последнее десятилетие прошлого века про­шло под знаком стремительного развития ин­формационных технологий, давших в распоря­жение ученых высокоскоростные ЭВМ с боль­шой памятью. Прогресс в области цифровой обработки сигналов и статистического анали­за, а также новые теоретические знания о ней­ронных сетях открыли перед научными коллек­тивами перспективу практической реализации различного рода нейро-компьютерных интер­фейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой ин­терфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полно­стью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали прово­дить в Уодсфорд-центре Нью-Йоркского уни­верситета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления испол­нительным устройством (компьютером, инва­лидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные кана­лы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиа­тура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С по­мощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им про­странственно-временные картины, и стремит­ся подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Ког­да группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь сно­ва ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем по­является в строке в верхней части экрана.

В нейро-компьютерном интерфейсе, создан­ном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной ско­ростью курсор к полю, содержащему нуж­ный символ. За несколько повторов можно выбрать символ, который затем включит­ся в текст, появляющийся в верхней части экрана.

^ БЕРЛИНСКИЙ НКИ

ЧЕЛОВЕК И КОМПЬЮТЕР

Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и осно­ванный на использовании схожных нейрофи­зиологических признаков, сегодня помогает парализованному пациенту управлять проте­зом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследования­ми и постоянным совершенствованием сис­темы, продлился более года.

Система, разработанная сотрудниками Ин­ститута компьютерных архитектур и про­граммного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от пред­шественников. Чтобы пользоваться Берлинс­ким нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, на­чиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользова­тель должен был нажимать клавиши правой или левой рукой или представлять себе такое дви­жение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для это­го в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предше­ствующий нажатию клавиши. Выполнение каж­дого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мыш­цам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для че­ловеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного по­тенциала легко обнаруживается на картинах распределения электрического поля, усреднен­ных после многократных повторений движе­ний левой и правой руки. При намерении со­вершить движение левой рукой отрицатель­ный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.

Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активнос­ти как раз и отражается в росте отрицатель­ного потенциала. После посылки импульса так­же происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.

^ На кривых 27 каналов электроэнцефало­графа (F3—01) и четырех дополнительных каналов (электромиограммы левой и пра­вой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения гла­за) представлены три примера выполнения задания здоровым пользователем. Он после­довательно нажимал клавишу правой, ле­вой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно уви­деть связь между намерением выполнить действие (в цветных рамках) и самим по­следующим действием (вершины треуголь­ников).

На картинах распределения электрических потенциалов на поверхности головы вид­но, что за несколько долей секунды до вы­полнения действия правой рукой отрица­тельный потенциал повышается в левой половине коры головного мозга и наоборот.

Берлинский НКИ, таким образом, может за­ранее распознать команду на совершение мы­шечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспе­чения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведе­ны в состояние готовности.

После того как собрано до­статочное количество при­меров, включается автома­тическая процедура обуче­ния. Она производит анализ примеров и вырабатывает модель управления систе­мой, наиболее подходящую для данного пользователя. Для этого подбираются ха­рактерные признаки, несущие информацию о различных ко­мандах управления, и рас­считывается математичес­кая функция, способная по каждому набору признаков ге­нерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользо­ватель может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что ком­пьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или пра­вой рукой производит эффект, как при истин­ном движении. Самое главное для пользова­теля — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.

Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую зада­чу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сер­вером. На втором — производятся выбор при­знаков, их классификация по типам (напри­мер, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она игра­ет роль команд, поступающих с устройств ввода, и управляет работой игровой или реа­билитационной прикладной программы. Ре­акция на сигналы пользователя отражает­ся на мониторе, то есть возникает обрат­ная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.

В связи с большими потоками информации БНКИ сконструирован с использованием не­скольких компьютеров, объединенных в ло­кальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выби­рать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действи­тельно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Бо­лее высокой надежности достигают, разделяя сложную задачу на несколько простых. Напри­мер, задача распознавания набора команд «вле­во», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «дви­жение», тогда «лево» или «право», иначе «по­кой».

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из об­ласти виртуальной реальности.

^ ОТ ТЕОРИИ К ПРАКТИКЕ

В БНКИ привлекает разнообразие приклад­ных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная дру­гим компьютером. Обратная связь в этом слу­чае очень важна: пользователь должен все время видеть реакцию системы на свои мыс­ленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Иг­ровые программы предназначены для здоро­вых пользователей, а реабилитационные по­зволяют пациенту с ограниченными двигатель­ными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии изве­стных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пи­шущую машинку» и «виртуальную руку».

На начальных этапах освоения системы ре­комендуется использовать простейшую при­кладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сиг­налов электроэнцефалографа. Вертикальная координата курсора изменяется при поступле­нии команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновля­ются с частотой 25 Гц. Таким образом, поло­жение курсора позволяет визуализировать, насколько правильно система распознает уп­равляющие команды. При мысленном желании подвинуть левую (правую) руку курсор дол­жен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машин­ке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обуче­ния системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реа­лизуются его мысленные команды.

Работая на виртуальной пишущей машин­ке, пользователь за несколько шагов выби­рает нужную букву.

В нижней части экрана есть поле обратной связи, с помощью которого пользователь-но­вичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле от­ключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоро­стью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, ко­торая предлагает наиболее вероятные продол­жения слова, то работа станет еще эффектив­нее.

Наиболее удобным и естественным для че­ловека устройством ввода информации в ком­пьютер считается мышь. Поэтому резонно воз­никает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, уп­равляют курсором в компьютерной игре «тен­нис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне под­ходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ра­кетка», управляемая «силой мысли», так, что­бы в нужный момент перехватить «мяч». Ра­зумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.

Следующей ступенью будет задача переме­щения курсора по всей плоскости экрана.

^ Приложение обратной связи БНКИ «мыс­ленный теннис».

Другим приложением БНКИ стала игра «диг­гер». Курсор представляет собой путешествен­ника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабирин­та. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В мес­тах ответвлений пользователь может дать одну из команд: «налево» или «направо».

^ Приложение обратной связи БНКИ "мысленный диггер".

Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, осна­щенная видеокамерой для определения мес­тонахождения и обнаружения препятствий, интерпретирует следующие команды: «повер­ни налево (направо) при следующей возмож­ности», «двигайся вперед (назад) при отсут­ствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для па­циентов со сложными травмами и заболева­ниями спинного мозга, правда пока в единич­ных случаях.

Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сиг­налов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, отно­сится к серии виртуальной реальности. «Вир­туальная рука», изображенная на экране, по­зволяет пациенту приобрести навык управле­ния электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плече­вом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцирован­ные движения распознать пока не удается, поскольку двигательные центры мышц пред­плечий и пальцев расположены близко друг к другу и электроэнцефалограф не может разли­чить картины распределения потенциалов, формируемых этими центрами.

^ Работая с приложением «виртуальная рука»,

пациент приобретает навыки управ­ления

электромеханическим протезом: учится поднимать

его, сгибать в локте, сжимать и разжимать пальцы.

Приложение обратной связи БНКИ «мыс­ленный тетрис».

^ А КТО ИСПРАВИТ ОШИБКУ?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что раз­витие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре непра­вильный ход, то возникает одна из таких оши­бочных ситуаций. «Недовольство» пользовате­ля принятым системой решением вызывает по­явление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситу­ацию.

^ ЧТО НАС ЖДЕТ ВПЕРЕДИ?

Чтобы НКИ стали более совершенными, раз­работчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забы­вать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особеннос­тей «поведения» соответствующих зон голов­ного мозга. Это позволит значительно расши­рить диапазон команд управления. Современ­ная нейрология располагает довольно неточ­ными «картами» головного мозга. Недостаточ­но изучены функции и назначения отдельных регионов. К наиболее хорошо изученным мож­но отнести двигательный и осязательный аре­алы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга распо­ложение нервных клеток, которые несут от­ветственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электро­ды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или ум­ственной нагрузки. Благодаря новинкам в об­ласти цифровой обработки сигналов и машин­ного обучения появятся средства точного рас­познавания и перевода биоэлектрических им­пульсов в команды. Тогда перед НКИ откроет­ся еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскорос­тных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов са­молетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое со­дружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

^ ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ

ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ

Когда появились первые электронно-вычислительные машины, перед их создателя­ми встала проблема связать различные функциональные узлы — процессор, запомина­ющие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуще­ствлялся с помощью унифици­рованных сигналов. Посколь­ку пионерами в этой области техники были англичане и аме­риканцы, то они и разрабаты­вали терминологию. Аппарат­ные и программные средства сопряжения назвали интер­фейсами (interface), что в дос­ловном переводе с английско­го означает междуличие (в данном случае даже пуристы предпочтут употреблять аме­риканизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами на­зывают электрические разъе­мы, которые служат для при­соединения клавиатуры, мыши, монитора и т.д. к сис­темному блоку ПК.

Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.

Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ об­щения человека с компьюте­ром, поэтому, чтобы не запу­таться, новый термин зазву­чал как «интерфейс пользова­теля».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. От­верстие на перфокарте означа­ло единицу в двоичной систе­ме счисления, а его отсутствие — нуль. Таким образом, на пер­фокарте оказывалось зашифро­вано некое двоичное число, ко­торое воспринималось маши­ной либо как команда, либо как информация, которую нужно было обработать.

Программистам приходи­лось быть очень вниматель­ными, поскольку такой интер­фейс пользователя не предус­матривал обратной связи и любая ошибка приводила к сбою работы машины.

Прошли годы, и инженеры при­думали способ, как выводить буквенно-числовую информа­цию на экране электронно-луче­вой трубки. Для ввода данных теперь пользовались клавиату­рой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправле­ния. Такой интерфейс назвали буквенно-цифровым. Он приме­нялся и на первых персональ­ных компьютерах.

Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только про­фессиональные программис­ты. Чтобы помочь неподготов­ленному пользователю, созда­тели программного обеспече­ния разработали интерфейс, который не требовал ввода тех или иных команд, а позво­лял выбирать их из готового списка (меню). Самой извест­ной из подобных программ стал Norton Commander, пред­назначенный для операцион­ной системы DOS компании «Microsoft».

Качество ПК быстро повы­шалось, их возможности рос­ли. К середине 1980-х годов они обладали уже таким быс­тродействием и такими ресур­сами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие ком­пьютеры операционную систе­му с графическим интерфей­сом пользователя. Чуть поз­же появилась графическая оболочка Windows, предназна­ченная для более дешевых IBM-совместимых компьюте­ров.

При загрузке компьютера на экране монитора появлялись не слова или их аббревиату­ры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользо­ватель заставляет компьютер выполнять самые различные действия. Кроме того, графи­ческие оболочки и операцион­ные системы позволили реа­лизовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.

Теперь становится понят­ным и термин «нейро-компьютерный интерфейс»: это уп­равление компьютером с по­мощью электрических сигна­лов головного мозга.

www.ronl.ru

Моему хотенью берлинский нейро-компьютерный интерфейс

Подобный материал:
  • Реальность снов, 6519.4kb.
  • Курс семестр кредиты академические часы в неделю Форма Контроля, 370.54kb.
  • Компьютерный сленг, 390.92kb.
  • Освоить методику определения нагрузочных характеристик и получить на ЭВМ графические, 176.13kb.
  • Ования трёхмерными объектами можно разделить на две категории: традиционные (командная, 73.7kb.
  • Разбиение протоколов по уровням стек tcp/ip делится на 4 уровня: канальный, межсетевой,, 48.93kb.
  • Урок 12 Урок №12 Тема: Графический интерфейс операционной системы, 59.92kb.
  • Жизни, обучившим меня волшебной науке превращения вожделения в любовь: моей матери, 2578.05kb.
  • Всероссийскийй заочный финансово-экономический институт, 312.92kb.
  • Проект учащихся моу дод «Компьютерный центр», 126.03kb.
ПОМОЕМУХОТЕНЬЮ...

БЕРЛИНСКИЙ НЕЙРО-КОМПЬЮТЕРНЫЙ ИНТЕРФЕЙС

Р. КРЕПКИЙ, П. ЛАСКОВ, Г. КУРИО, Б. БЛАНКЕРЦ, К.-Р. МЮЛЛЕР (Институт компьютерных архитектур и программного обеспечения Общества Фраунхофера, Берлин).

В известной русской народной сказке Емеля поймал щуку, но, пожалев, выпустил ее обратно в реку. В благодарность поведала ему щука волшебные слова: «По щучьему веленью, по моему хотенью...». Как только произнесет их Емеля, вокруг начинаются чу­деса: он и пальцем не шевелит, а ведра сами домой идут, топор сам дрова колет, печь Емелю к царю везет. Насколько далек вымысел от действительности и не может ли ска­зочный сюжет послужить стимулом для ученых попытаться воплотить его в жизнь?

МЫСЛЬ МОЖЕТ СТАТЬ ФИЗИЧЕСКОЙ СИЛОЙ

Для лентяя Емели езда на печи была обыч­ной прихотью, а для многих парализованных и прикованных к постели людей возможность передвигаться, найти хоть какой-то способ общаться с окружающими равносильна воз­можности жить. Как бы заста­вить инвалидную коляску ехать, останавливаться или поворачи­вать без физического воздей­ствия и без посторонней помо­щи? Для пациентов, потерявших способность управлять дея­тельностью мышц, единствен­ный способ общения с внешним миром — это материализация их мысленных желаний.

Намерение выполнить опре­деленное действие возникает в недрах нашего мозга и превра­щается в электрический потен­циал. Его распределение в про­странстве и времени создает определенную картину, которую можно отобра­зить с помощью электроэнцефалографа1. В на­стоящее время созданы особые системы, по­лучившие название нейро-компьютерных ин­терфейсов2, которые способны различать мно­жество таких картин и превращать их в ко­манды, управляющие работой компьютера или компьютеризованных электромеханических устройств (роботов).

Получив возможность мысленным усилием направлять курсор в нужную область экрана монитора, пациенты сумеют печатать сообще­ния и пользоваться Интернетом. Есть много прикладных программ для здоровых людей, и с помощью НКИ человек в дополнение к привыч­ным коммуникационным каналам (зрению, слуху, осязанию, движению) получит канал «вос­приятия», «мышления».

КАК ВСЕ НАЧИНАЛОСЬ

Еще в 1929 году немецкому врачу-нейрофи­зиологу Хансу Бергеру впервые удалось снять показания электроэнцефалографа и подтвер­дить гипотезу о том, что действия человека всегда связаны с повышением активности от­дельных зон коры головного мозга.

Общая модель нейро-компьютерного интер­фейса представляет собой замкнутый по­ток информации. При намерении совершить какое-либо действие у пользователя повы­шается электрическая активность соот­ветствующих зон головного мозга. Эти сигналы снимаются электроэнцефалогра­фом и в виде цифровых данных поступают в компьютер, где производится вычисление признаков сигнала, характерных для того или иного мысленного желания. Далее на­бор признаков разделяют по типам, и ком­пьютер вырабатывает команду, управляю­щую исполнительным устройством (ком­пьютерной программой, инвалидной коляс­кой, протезом и пр.). Пользователь в режи­ме реального времени наблюдает за реакци­ей системы на свое мысленное действие.

С тех пор многие исследователи неоднократно хотели научиться «читать мысли», пытаясь расшиф­ровать электроэнцефалограмму. Но мешали технические причины: недостаточное про­странственное разрешение электроэнцефало­графов (то есть не удавалось в подробностях получить картину распределения потенциа­лов), а также отсутствие возможности хра­нить и обрабатывать в режиме  реального вре­мени огромные массивы данных. = В современных электроэнцефалографах используют множество поверхностных электродов из специального сплава, чувствительного к предельно малым токам. Электроды вмонтированы в эластичную тряпичную шапочку и снимают напряжения, возникающие между определенной точкой поверхности головы и некоторой контрольной точкой. Затем сигнал усиливают, преобразуют в цифровой вид и обрабатывают на компьютере. Об интерфейсах рассказывается в заметке, помещенной после статьи.

Последнее десятилетие прошлого века про­шло под знаком стремительного развития ин­формационных технологий, давших в распоря­жение ученых высокоскоростные ЭВМ с боль­шой памятью. Прогресс в области цифровой обработки сигналов и статистического анали­за, а также новые теоретические знания о ней­ронных сетях открыли перед научными коллек­тивами перспективу практической реализации различного рода нейро-компьютерных интер­фейсов (НКИ).

В большинстве предлагаемых систем для управления используются электромагнитные сигналы, поступающие от мышц, двигающих глазное яблоко, и мимических мышц. Такой ин­терфейс показал высокую эффективность, но его нельзя в полной мере назвать нейро-ком-пьютерным. Более того, для пациентов, полно­стью утративших двигательные функции, его применимость сильно ограничена.

Первые эксперименты с НКИ начали прово­дить в Уодсфорд-центре Нью-Йоркского уни­верситета в Олбани. Руководитель центра Джон Волпов определил нейро-компьютерный интерфейс как систему для управления испол­нительным устройством (компьютером, инва­лидной коляской или электромеханическим протезом) посредством мысленного усилия, которое не зависит от периферийных нервов и мышц, представляющих собой обычные кана­лы передачи информации от головного мозга.

Основным приложением НКИ, созданного в Уодсфорд-центре, стала виртуальная клавиа­тура, на которой парализованные люди учатся генерировать сигналы определенной частоты в определенных зонах головного мозга. С по­мощью этих сигналов они отклоняют вверх или вниз курсор, движущийся по экрану монитора с постоянной скоростью слева направо.

Пациент в реальном времени наблюдает, как устройство анализирует создаваемые им про­странственно-временные картины, и стремит­ся подвести курсор к нужному полю в правой части экрана. В каждом из полей содержатся группы букв, цифр или знаков препинания. Ког­да группа выбрана, то есть в ней оказывается курсор, символы из нее перераспределяются по остальным полям. Далее пользователь сно­ва ведет курсор в поле, содержащее нужный символ, и за несколько повторов (от 3 до 7) выбирает нужный символ, который затем по­является в строке в верхней части экрана.

В нейро-компьютерном интерфейсе, создан­ном в Уодсфорд-центре, пациент учится направлять движущийся с постоянной ско­ростью курсор к полю, содержащему нуж­ный символ. За несколько повторов можно выбрать символ, который затем включит­ся в текст, появляющийся в верхней части экрана.

БЕРЛИНСКИЙ НКИ

ЧЕЛОВЕК И КОМПЬЮТЕР

Процесс тренировки не прост, занимает много времени, но результат стоит того.

Еще две самые известные системы НКИ разработаны в Граце (Австрия) и в Тюбингене (Германия). НКИ, созданный в Австрии и осно­ванный на использовании схожных нейрофи­зиологических признаков, сегодня помогает парализованному пациенту управлять проте­зом кисти руки. Период тренировки, которая сопровождалась дальнейшими исследования­ми и постоянным совершенствованием сис­темы, продлился более года.

Система, разработанная сотрудниками Ин­ститута компьютерных архитектур и про­граммного обеспечения Общества Фраунхофе-ра и нейрофизиологами берлинской клиники Шарите, принципиально отличается от пред­шественников. Чтобы пользоваться Берлинс­ким нейро-компьютерным интерфейсрм (БНКИ), пациенту не нужно обучаться. Здесь обучается сама система, а пользователь, на­чиная работать с ней, должен лишь показать машине, как он собирается ею управлять.

Во время тренировочных сессий пользова­тель должен был нажимать клавиши правой или левой рукой или представлять себе такое дви­жение. По результатам 4—5 сессий, каждая из которых длится около 5 минут, удается собрать до 2000 примеров, или по 1000 для каждой руки.

Затем начинается обработка ЭЭГ. Для это­го в непрерывном потоке данных выделяют небольшой отрезок, непосредственно предше­ствующий нажатию клавиши. Выполнение каж­дого задания заставляет большое количество нейронов соответствующего двигательного центра коры головного мозга инициировать определенный импульс и направить его к мыш­цам. При этом в пределах некоторой зоны на поверхности головы возникает отрицательный потенциал, который, почти неуловимо для че­ловеческого глаза, отражается в данных ЭЭГ. Однако такое повышение отрицательного по­тенциала легко обнаруживается на картинах распределения электрического поля, усреднен­ных после многократных повторений движе­ний левой и правой руки. При намерении со­вершить движение левой рукой отрицатель­ный потенциал возникает в области правого полушария, а перед движением правой рукой – области левого полушария.

Было установлено, что заметное повышение потенциала происходит за 0,5—0,4 секунды до действительного выполнения команды. Это объясняется тем, что для выработки сигнала, способного достичь мышц руки, нервные клетки соответствующего двигательного центра должны накопить определенное количество энергии, тоесть на некоторое время «успокоиться», а процесс понижения их индивидуальной активнос­ти как раз и отражается в росте отрицатель­ного потенциала. После посылки импульса так­же происходит задержка порядка 0,15 секунды за это время он достигает соответствующих мышц.

На кривых 27 каналов электроэнцефало­графа (F3—01) и четырех дополнительных каналов (электромиограммы левой и пра­вой руки EMGL и EMGR, а также элект-роокулограммы EOGh и EOGv движения гла­за) представлены три примера выполнения задания здоровым пользователем. Он после­довательно нажимал клавишу правой, ле­вой и вновь левой рукой. Активность мышц руки, выполняющей движение, заметна в каналах EMG (в черных рамках). Если не произвести соответствующую обработку сигналов, на кривых ЭЭГ невозможно уви­деть связь между намерением выполнить действие (в цветных рамках) и самим по­следующим действием (вершины треуголь­ников).

На картинах распределения электрических потенциалов на поверхности головы вид­но, что за несколько долей секунды до вы­полнения действия правой рукой отрица­тельный потенциал повышается в левой половине коры головного мозга и наоборот.

Берлинский НКИ, таким образом, может за­ранее распознать команду на совершение мы­шечного движения. Это свойство позволяет применять его в ситуациях, когда для обеспе­чения безопасности требуются превентивные меры. В частности, он окажется полезным в системах безопасности автомобилей: перед возможным столкновением еще до нажатия водителем педали тормоза подушки или ремни безопасности будут приведе­ны в состояние готовности.

После того как собрано до­статочное количество при­меров, включается автома­тическая процедура обуче­ния. Она производит анализ примеров и вырабатывает модель управления систе­мой, наиболее подходящую для данного пользователя. Для этого подбираются ха­рактерные признаки, несущие информацию о различных ко­мандах управления, и рас­считывается математичес­кая функция, способная по каждому набору признаков ге­нерировать команду управления.

Весь процесс обучения системы занимает не более двух минут, в течение которых пользо­ватель может отдохнуть и приготовиться к совершенно новому и необычному способу общения с компьютером и ощущению, что ком­пьютер «понимает» его намерения еще до того, как тот сам успевает их осмыслить. Теперь всего лишь мысль о движении левой или пра­вой рукой производит эффект, как при истин­ном движении. Самое главное для пользова­теля — не запутаться в собственных мыслях, которые пытаются обогнать одна другую, а для НКИ — успевать обрабатывать и реализовы-вать сигналы, полученные от пользователя, в реальном времени.

Общая схема обработки данных в БНКИ может быть представлена как своеобразный конвейер с несколькими «рабочими», каждый из которых выполняет специфическую зада­чу и передает информацию другому. Сбор и хранение данных ЭЭГ могут быть поручены первому компьютеру, который является сер­вером. На втором — производятся выбор при­знаков, их классификация по типам (напри­мер, «есть движение — нет движения» или «движение вправо — движение влево») и, наконец, формирование команды управления. Готовая команда посылается виртуальным сервером на третий ПК, в котором она игра­ет роль команд, поступающих с устройств ввода, и управляет работой игровой или реа­билитационной прикладной программы. Ре­акция на сигналы пользователя отражает­ся на мониторе, то есть возникает обрат­ная связь, позволяющая системе НКИ и пользователю адаптироваться друг к другу.

В связи с большими потоками информации БНКИ сконструирован с использованием не­скольких компьютеров, объединенных в ло­кальную сеть. В такой конфигурации БНКИ способен решать двоичную задачу, то есть выби­рать один вариант из двух возможных. Он, например, с точностью 75—90% за 0,2—0,1 секунды до того, как пользователь действи­тельно нажал бы соответствующую клавишу, устанавливает, левой или правой рукой тот хочет выполнить движение.

Следует заметить, что не всегда система в состоянии безошибочно идентифицировать связь между некоторым набором признаков и соответствующей командой управления. Бо­лее высокой надежности достигают, разделяя сложную задачу на несколько простых. Напри­мер, задача распознавания набора команд «вле­во», «вправо», «на месте» разбивается на две более простые: «движение», «покой» и «лево», «право». Формирование команды управления происходит по логическому правилу: если «дви­жение», тогда «лево» или «право», иначе «по­кой».

Можно управлять движением простого объекта по экрану монитора, практиковаться в несложных компьютерных играх. Пациенту доступны также некоторые программы из об­ласти виртуальной реальности.

ОТ ТЕОРИИ К ПРАКТИКЕ

В БНКИ привлекает разнообразие приклад­ных программ (приложений) обратной связи. Они содержат объекты, которыми управляют, не нажимая клавиши или передвигая мышь. Для этого служит команда, сформированная дру­гим компьютером. Обратная связь в этом слу­чае очень важна: пользователь должен все время видеть реакцию системы на свои мыс­ленные приказы.

Из приложений БНКИ можно выделить две категории: игровые и реабилитационные. Иг­ровые программы предназначены для здоро­вых пользователей, а реабилитационные по­зволяют пациенту с ограниченными двигатель­ными возможностями поддерживать связь с окружающим миром. Среди игровых программ на сегодня есть адаптированные версии изве­стных компьютерных игр, таких, как теннис, диггер или тетрис. Среди реабилитационных программ следует выделить «мысленную пи­шущую машинку» и «виртуальную руку».

На начальных этапах освоения системы ре­комендуется использовать простейшую при­кладную программу «бегущий крест». Курсор в виде небольшого креста движется по экрану в соответствии с результатами обработки сиг­налов электроэнцефалографа. Вертикальная координата курсора изменяется при поступле­нии команды «движение», а горизонтальная координата — при поступлении команды «право» или «лево». Координаты курсора обновля­ются с частотой 25 Гц. Таким образом, поло­жение курсора позволяет визуализировать, насколько правильно система распознает уп­равляющие команды. При мысленном желании подвинуть левую (правую) руку курсор дол­жен попасть в левое (правое) верхнее поле, изменяя при этом его окраску.

Такого рода двоичное управление успешно используется в виртуальной пишущей машин­ке. Пациент выбирает одну из панелей (левую или правую), в которой содержится требуемая буква, то есть как во время процедуры обуче­ния системы. После этого имеющиеся в ней знаки распределяются снова по двум панелям, и пользователь вновь делает выбор, пока не останется одна буква. «Машинка» позволяет пациенту увидеть и почувствовать, как реа­лизуются его мысленные команды.

Работая на виртуальной пишущей машин­ке, пользователь за несколько шагов выби­рает нужную букву.

В нижней части экрана есть поле обратной связи, с помощью которого пользователь-но­вичок контролирует свои действия, наблюдая за отклонением указателя влево и вправо. По достижении некоторого навыка это поле от­ключают, так как лишние объекты на экране будут скорее мешать, чем помогать.

С помощью этой прикладной программы пользователь может набирать текст со скоро­стью от 7 до 15 знаков в минуту. Если при этом дополнительно применить технологию Т9, ко­торая предлагает наиболее вероятные продол­жения слова, то работа станет еще эффектив­нее.

Наиболее удобным и естественным для че­ловека устройством ввода информации в ком­пьютер считается мышь. Поэтому резонно воз­никает вопрос о способе непрерывно двигать курсор, как происходит при перемещении мыши по коврику. Таким способом, в частности, уп­равляют курсором в компьютерной игре «тен­нис», первые версии которой появились еще во времена монохромных зеленых экранов (тогда, правда, курсор перемещали, нажимая клавиши со стрелками).

Для реализации подобной игры вполне под­ходит БНКИ. Во время игры «мяч» движется по экрану, отскакивая от боковых и верхнего краев, а по нижнему краю передвигается «ра­кетка», управляемая «силой мысли», так, что­бы в нужный момент перехватить «мяч». Ра­зумеется, в такой «мысленный теннис» могут сражаться два игрока одновременно.

Следующей ступенью будет задача переме­щения курсора по всей плоскости экрана.

Приложение обратной связи БНКИ «мыс­ленный теннис».

Другим приложением БНКИ стала игра «диг­гер». Курсор представляет собой путешествен­ника (зеленый кружок с «носом», указывающим направление движения). Он должен как можно быстрее пройти тоннели подземного лабирин­та. Диггер движется по тоннелю с постоянной скоростью, пока не «упрется» в стену. В мес­тах ответвлений пользователь может дать одну из команд: «налево» или «направо».

Приложение обратной связи БНКИ "мысленный диггер".

Сценарий, аналогичный используемому в игре «диггер», можно применить к управлению инвалидной коляской. «Умная» коляска, осна­щенная видеокамерой для определения мес­тонахождения и обнаружения препятствий, интерпретирует следующие команды: «повер­ни налево (направо) при следующей возмож­ности», «двигайся вперед (назад) при отсут­ствии помех» и т. п. Такого рода управление уже разрабатывается и применяется для па­циентов со сложными травмами и заболева­ниями спинного мозга, правда пока в единич­ных случаях.

Игра в «мысленный тетрис» требует от НКИ способности распознавать более двух групп сиг­налов (например, движение левой и правой рукой для кодирования команд движения вправо и влево, а также ногой для вращения фигурки).

Очень интересное приложение, которое можно реализовать с помощью БНКИ, отно­сится к серии виртуальной реальности. «Вир­туальная рука», изображенная на экране, по­зволяет пациенту приобрести навык управле­ния электромеханическим протезом. БНКИ распознает и формирует команды управления для таких движений, как подъем руки в плече­вом суставе, сгибание ее в локте, сжимание и разжимание кисти. Более дифференцирован­ные движения распознать пока не удается, поскольку двигательные центры мышц пред­плечий и пальцев расположены близко друг к другу и электроэнцефалограф не может разли­чить картины распределения потенциалов, формируемых этими центрами.

Работая с приложением «виртуальная рука»,

пациент приобретает навыки управ­ления

электромеханическим протезом: учится поднимать

его, сгибать в локте, сжимать и разжимать пальцы.

Приложение обратной связи БНКИ «мыс­ленный тетрис».

А КТО ИСПРАВИТ ОШИБКУ?

Человеческий мозг обладает естественными функциями, которые не нужно вырабатывать в процессе длительной тренировки: одна из них — генерация так называемых потенциалов ошибки, когда человек обнаруживает, что раз­витие событий идет не так, как он хотел бы. Если НКИ ошибается в своей попытке угадать желание пользователя и делает в игре непра­вильный ход, то возникает одна из таких оши­бочных ситуаций. «Недовольство» пользовате­ля принятым системой решением вызывает по­явление потенциала ошибки, и если система распознает этот потенциал в течение 0,4—0,5 секунды после принятия последнего решения, то заменяет его на противоположное. В итоге пользователь подсознательно замечает, что что-то произошло, но не успевает осмыслить, поскольку уже видит на экране желаемую ситу­ацию.

ЧТО НАС ЖДЕТ ВПЕРЕДИ?

Чтобы НКИ стали более совершенными, раз­работчикам нужна помощь, в первую очередь от фундаментальной науки. Но не стоит забы­вать и о потенциальных пользователях — именно они зададут в ближайшем будущем основные пути развития систем управления и коммуникации с помощью «силы мысли».

Дальнейшие разработки систем НКИ будут вестись на основе более глубокого изучения нейрофизиологических свойств и особеннос­тей «поведения» соответствующих зон голов­ного мозга. Это позволит значительно расши­рить диапазон команд управления. Современ­ная нейрология располагает довольно неточ­ными «картами» головного мозга. Недостаточ­но изучены функции и назначения отдельных регионов. К наиболее хорошо изученным мож­но отнести двигательный и осязательный аре­алы коры, и здесь мы можем с точностью до 3—7 мм указать на поверхности мозга распо­ложение нервных клеток, которые несут от­ветственность за ту или иную часть тела.

Не стоит на месте и техника. Сейчас идет разработка новых, более простых и удобных для пациентов и пользователей сенсорных технологий снятия электроэнцефалограмм и с этой целью создают бесконтактные электро­ды.

Новые компьютерные игры помогут уже в ближайшем будущем использовать НКИ для определения уровня стресса, страха или ум­ственной нагрузки. Благодаря новинкам в об­ласти цифровой обработки сигналов и машин­ного обучения появятся средства точного рас­познавания и перевода биоэлектрических им­пульсов в команды. Тогда перед НКИ откроет­ся еще более широкий спектр применений. Они станут незаменимы в области безопасности, а также в ситуациях, требующих сверхскорос­тных реакций, например для осуществления экстренного торможения. Рассматривается возможность применять системы НКИ для отслеживания состояния (степени усталости, умственного перенапряжения, сонливости) лиц, несущих повышенную нервную нагрузку, например водителей автобусов, пилотов са­молетов и космонавтов.

В интернациональном коллективе авторов собрались ученые разных специальностей: математики, программисты, биолог. Такое со­дружество оказалось очень плодотворным, и в результате получено новое средство для общения с окружающим миром.

ПОПОДРОБНОСТИ ДЛЯ ЛЮБОЗНАТЕЛЬНЫХ

ИНТЕРФЕЙС: СРЕДСТВО ОБЩЕНИЯ

Когда появились первые электронно-вычислительные машины, перед их создателя­ми встала проблема связать различные функциональные узлы — процессор, запомина­ющие устройства, устройства ввода—вывода. Для этого в конструкцию и программное обеспечение машин вводили системы сопряжения, причем обмен информацией осуще­ствлялся с помощью унифици­рованных сигналов. Посколь­ку пионерами в этой области техники были англичане и аме­риканцы, то они и разрабаты­вали терминологию. Аппарат­ные и программные средства сопряжения назвали интер­фейсами (interface), что в дос­ловном переводе с английско­го означает междуличие (в данном случае даже пуристы предпочтут употреблять аме­риканизм, а не русскоязычный аналог). Термин закрепился, и по сей день интерфейсами на­зывают электрические разъе­мы, которые служат для при­соединения клавиатуры, мыши, монитора и т.д. к сис­темному блоку ПК.

Интерфейс играет ту же роль, что переводчик в беседе людей разных национальностей.

Позже у слова «интерфейс» появился и другой смысл: им стали обозначать способ об­щения человека с компьюте­ром, поэтому, чтобы не запу­таться, новый термин зазву­чал как «интерфейс пользова­теля».Первым интерфейсом пользователя стал дырокол. Его применяли, чтобы пробивать отверстия в перфокартах. От­верстие на перфокарте означа­ло единицу в двоичной систе­ме счисления, а его отсутствие — нуль. Таким образом, на пер­фокарте оказывалось зашифро­вано некое двоичное число, ко­торое воспринималось маши­ной либо как команда, либо как информация, которую нужно было обработать.

Программистам приходи­лось быть очень вниматель­ными, поскольку такой интер­фейс пользователя не предус­матривал обратной связи и любая ошибка приводила к сбою работы машины.

Прошли годы, и инженеры при­думали способ, как выводить буквенно-числовую информа­цию на экране электронно-луче­вой трубки. Для ввода данных теперь пользовались клавиату­рой, как у пишущей машинки. Оператор мог следить, какой знак введен в компьютер, и при ошибке сразу вносил исправле­ния. Такой интерфейс назвали буквенно-цифровым. Он приме­нялся и на первых персональ­ных компьютерах.

Широкое распространение относительно дешевых ПК привело к тому, что работать на них стали не только про­фессиональные программис­ты. Чтобы помочь неподготов­ленному пользователю, созда­тели программного обеспече­ния разработали интерфейс, который не требовал ввода тех или иных команд, а позво­лял выбирать их из готового списка (меню). Самой извест­ной из подобных программ стал Norton Commander, пред­назначенный для операцион­ной системы DOS компании «Microsoft».

Качество ПК быстро повы­шалось, их возможности рос­ли. К середине 1980-х годов они обладали уже таким быс­тродействием и такими ресур­сами памяти, что компания «Macintosh» поставила на свои, достаточно дорогие ком­пьютеры операционную систе­му с графическим интерфей­сом пользователя. Чуть поз­же появилась графическая оболочка Windows, предназна­ченная для более дешевых IBM-совместимых компьюте­ров.

При загрузке компьютера на экране монитора появлялись не слова или их аббревиату­ры, а легко запоминающиеся картинки: значки или иконки. Щелкая на них мышью, пользо­ватель заставляет компьютер выполнять самые различные действия. Кроме того, графи­ческие оболочки и операцион­ные системы позволили реа­лизовать принцип, когда текст или картинка, изображенные на экране, абсолютно в том же виде воспроизводятся при печати на бумаге.

Теперь становится понят­ным и термин «нейро-компьютерный интерфейс»: это уп­равление компьютером с по­мощью электрических сигна­лов головного мозга.

geum.ru

definition of Нейрокомпьютерный интерфейс and synonyms of Нейрокомпьютерный интерфейс (Russian)

Материал из Википедии — свободной энциклопедии

Пример управления с помощью однонаправленного нейро-компьютерного интерфейса

Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс или мозговой интерфейс) — система, созданная для обмена информацией между мозгом и электронным устройством (например, компьютером). В однонаправленных интерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленные интерфейсы позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях.

Исследование нейро-компьютерного интерфейса начались в 1970-х годах в Университете Лос-Анжелеса штат Калифорния (UCLA). После многолетних экспериментов на животных в середине девяностых годов в организм человека были имплантированы первые устройства, способные передавать биологическую информацию от тела человека к компьютеру. С помощью этих устройств удалось восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки.В основе успешной работы НКИ лежит способность коры больших полушарий к адаптации (свойство пластичности), благодаря которому имплантированное устройство может служить источником биологической информации.

Попытки создания

В нейрохирургическом центре в Кливленде в 2004 году был создан первый искусственный кремниевый чип — аналог гиппокампа, который в свою очередь был разработан в университете Южной Калифорнии в 2003 году. Кремний обладает возможностью соединять неживую материю с живыми нейронами, а окруженные нейронами транзисторы получают сигналы от нервных клеток, одновременно конденсаторы отсылают к ним сигналы. Каждый транзистор на чипе улавливает малейшее, едва заметное изменение электрического заряда, которое происходит при «выстреле» нейрона в процессе передачи заряженных ионов натрия.Новая микросхема способна получать импульсы от 16 тысяч мозговых нейронов биологического происхождения и посылать обратно сигналы к нескольким сотням клеток.Так как при производстве чипа нейроны были выделены из окружающих их глиальных клеток, то пришлось добавить протеины, которые «склеивают» нейроны в мозге, также образуя дополнительные натриевые каналы. Увеличение числа натриевых каналов повышает шансы на то, что транспорт ионов преобразуется в электрические сигналы в чипе.Эта технология является первым шагом к будущему симбиозу мозга и компьютера.Необходимо и далее идти по пути усложнения подобных чипов, так как только создание подобных чипов способно будет в будущем помочь узнать всё о мозге.

НКИ и нейропротезирование

Нейропротезитрование — область неврологии, занимающаяся созданием и имплантацией искусственных устройств для восстановления нарушенных функций нервной системы или сенсорных органов (нейропротезов или нейроимплантов). Наиболее часто используется кохлеарный нейроимплантат, которым пользутся около 100 000 человек по всему миру (по данным на 2006 год). Существуют также нейропротезы для восстановления зрения, например, имплантаты сетчатки.Основное отличие НКИ от нейропротезирования заключается в особенностях их применения: нейропротезы чаще всего «подключают» нервную систему к имплантированному устройству, в то время как НКИ обычно соединяет мозг (или нервную систему) с компьютерной системой. На практике нейропротез может быть подсоединен к любой части нервной системы, например, к периферическим нервам, в то время как НКИ представляет собой более узкий класс систем, взаимодействующих с центральной нервной системой.Термины нейропротезирование и НКИ могут быть взаимозаменяемыми, поскольку оба подхода преследуют одну цель — восстановление зрения, слуха, двигательных способностей, способности общаться и других когнитивных функций. Кроме того, в обоих подходах используются аналогичные экспериментальные методы, включая хирургическое вмешательство.

Испытания НКИ на животных

Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьяны и крысы для управления НКИ при движении. Обезьяны управляли курсором на экране компьютера и давали команды на выполнения простейших действий роботам, имитирующим руку, мысленно и без каких-либо движений. Другие ислледования с участием кошек были посвящены расшифровке визуальных сигналов.

Ранние работы

Исследования, в результате которых были разработаны алгоритмы для реконструкции движений из сигналов нейронов моторной зоны коры головного мозга, которые контролируют двигательные функции, датируются 1970-ми годами. Исследовательские группы, возглавлявшиеся Шмидтом, Фетзом и Бейкером в 1970-х установили, что обезьяны могут быстро обучаться избирательно контролировать скорость реакции отдельных нейронов в первичной двигательной коре головного мозга используя замкнутое позиционирование операций, обучающий метод наказания и наград.В 1980-х Апостолос Георгопоулос из Университета Хопкинса обнаружил математическую зависимость между электрическими ответами отдельных нейронов коры головного мозга у макак резус и направлением, в котором макаки двигали свои конечности (на основе функции косинуса). Он также обнаружил, что разные группы нейронов в различных областях головного мозга совместно контролировали двигательные команды, но были способны регистрировать электрические сигналы от возбужденных нейронов только в одной области одновременно из-за технических ограничений, налагаемых его оборудованием.С середины 1990-х годов началось быстрое развитие НКИ. Нескольким группам ученых удалось зафиксировать сигналы двигательного центра мозга используя записи сигналов от групп нейронов, а также использовать эти сигналы для управления внешними устройствами. Среди них можно назвать группы, возглавлявшиеся Ричардом Андерсеном, Джоном Донахью, Филиппом Кеннеди, Мигелем Николесисом, Эндрю Шварцом.

Достижения исследовательской работы

Первым в истории НКИ был создан Филлипом Кеннеди и его коллегами с использованием электродов, имплантированных в кору головного мозга обезьян.В 1999 году исследователи под руководством Яна Дэна из Университета Калифорнии расшифровали сигналы нейронов зрительной системы кошки и использовали эти данные для воспроизведения изображений, воспринимаемых подопытными животными. В этих экспериментах были использованы электроды, вживленные в таламус (структура среднего мозга, передающая в кору сенсорные сигналы от всех органов чувств). С их помощью было исследовано 177 клеток в латеральном коленчатом теле в таламусе и расшифровываны сигналы, приходящие от сетчатки. Кошкам демонстрировали восемь коротких фильмов, в течение которых проводили запись активности нейронов. Используя математические фильтры, исследователи расшифровали сигналы для воспроизведения образов, которые видели кошки и были способны воспроизвести узнаваемые сцены и двигающиеся объекты. Схожие результаты на человеке были получены исследователями из Японии.

Для повышения эффективности управления НКИ Мигель Николесис предложил регистрировать электрическую активность одновременно с помощью нескольких электродов, выживленных в удаленные области головного мозга. За первыми исследованиями на крысах, которые в девяностых годах проводили Николелис и его коллеги, последовали аналогичные эксперименты на обезьянах. В результате был создан НКИ, с помощью которого сигналы нервных клеток обезьян были расшифрованы и использованы для управления движениями робота.Именно обезьяны оказались идеальными испытуемыми для такого рода работ, поскольку у них хорошо развиты двигательные и манипуляционные навыки, и, соответственно, высоко развиты структуры головного мозга, отвечающие за реализацию моторных функций.К 2000 году группа Николелиса создала НКИ, который воспроизводил движения передних конечностей обезьян во время манипуляций джойстиком или во время захвата пищи. Данная система работала в режиме реального времени и была использована для дистанционного управления движениями робота посредством интернет-связи. При этом обезьяна не имела возможности увидеть движения собственных конечностей и не получила какой-либо другой информации для обратной связи.

Позднее группа Николесиса использовала результаты экспериментов с макаками-резус для создания алгоритма движения робота, иммитирующего движения руки человека. Для управления движениями робота использовали информацию, полученную при записи нейронной активности обезьян после декодирования. Обезьяны были обучены указывать на объекты на экране компьютера, манипулируя джойстиком. Движения конечности обезьян-операторов были воспроизведены движениями робота.

См. также

Литература

  1. Santhanam G., Ryu S.I., Yu B.M., Afshar A. and Shenoy K.V., A high-performance brain–computer interface, Nature Letters, Vol 442 (13 July 2006), 195-198.
  2. Vidal J., Toward Direct Brain–Computer Communication, in Annual Review of Biophysics and Bioengineering, L.J. Mullins, Ed., Annual Reviews, Inc., Palo Alto, Vol. 2, 1973, pp. 157-180.
  3. Vidal J., Real-Time Detection of Brain Events in EEG, in IEEE Proceedings, May 1977, 65-5:633-641.
  4. Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A., An EEG-based brain-computer interface for cursor control. Electroencephalography & Clinical Neurophysiology. Vol 78(3), Mar 1991, 252-259.
  5. Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G., Donchin E., Quatrano L.A., Robinson C.J., and Vaughan T.M., Brain–Computer Interface Technology: A Review of the First International Meeting, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000, 164-173.
  6. Miyawaki Y., Decoding the Mind's Eye - Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron (Elsevier, Cell Press) 60 (5) (10 December 2008): 915–929,

Ссылки

dictionary.sensagent.com

Нейрокомпьютерный интерфейс - это... Что такое Нейрокомпьютерный интерфейс?

Пример управления с помощью однонаправленного нейро-компьютерного интерфейса

Нейро-компьютерный интерфейс (НКИ) (называемый также прямой нейронный интерфейс или мозговой интерфейс) — система, созданная[1] для обмена информацией между мозгом и электронным устройством (например, компьютером). В однонаправленных интерфейсах внешние устройства могут либо принимать сигналы от мозга, либо посылать ему сигналы (например, имитируя сетчатку глаза при восстановлении зрения электронным имплантатом). Двунаправленные интерфейсы позволяют мозгу и внешним устройствам обмениваться информацией в обоих направлениях. В основе нейро-компьютерного интерфейса, часто используется метод биологической обратной связи.

Замечание: более правильным среди исследователей и разработчиков (J. Wolpaw, J. Donoghue, Birbaumer, Nicolelis, А. Каплан (МГУ), А. Фролов, Г. Иваницкий (ИВНДиНФ)) считается термин «интерфейс мозг-компьютер» (Brain-Computer Interface), так как термин «нейрокомпьютерный» закреплен за большим классом технологий, основанных на специфической архитектуре вычислительных систем.

Изучение оснований, на которых базируется нейро-компьютерный интерфейс, уходит корнями в учение И. П. Павлова об условных рефлексах и регулирующей роли коры.

Это научное направление возникло в самом начале 20-го века в Институте экспериментальной медицины (Санкт-Петербург). Развивая эти идеи, П. К. Анохин с 1935 г. показал, что принципу обратной связи принадлежит решающая роль в регулировании как высших приспособительных реакций человека, так и его внутренней среды. В результате была разработана теория функциональных систем, потенциал использования которой в нейро-компьютерных интерфейсах далеко не исчерпан. Большой вклад внесли работы Н. П. Бехтеревой с 1968 по 2008 гг. по расшифровке мозговых кодов психической деятельности, продолжающиеся до настоящего времени её последователями, в том числе, с позиций нейрокибернетики и офтальмонейрокибернетики. Исследование нейро-компьютерного интерфейса начались в 1970-х годах в Университете Лос-Анжелеса штат Калифорния (UCLA). После многолетних экспериментов на животных в середине девяностых годов в организм человека были имплантированы первые устройства, способные передавать биологическую информацию от тела человека к компьютеру. С помощью этих устройств удалось восстановить поврежденные функции слуха, зрения, а также утраченные двигательные навыки. В основе успешной работы НКИ лежит способность коры больших полушарий к адаптации (свойство пластичности), благодаря которому имплантированное устройство может служить источником биологической информации.

Попытки создания

В нейрохирургическом центре в Кливленде в 2004 году был создан первый искусственный кремниевый чип — аналог гиппокампа, который в свою очередь был разработан в университете Южной Калифорнии в 2003 году. Кремний обладает возможностью соединять неживую материю с живыми нейронами, а окруженные нейронами транзисторы получают сигналы от нервных клеток, одновременно конденсаторы отсылают к ним сигналы. Каждый транзистор на чипе улавливает малейшее, едва заметное изменение электрического заряда, которое происходит при «выстреле» нейрона в процессе передачи заряженных ионов натрия.

Новая микросхема способна получать импульсы от 16 тысяч мозговых нейронов биологического происхождения и посылать обратно сигналы к нескольким сотням клеток. Так как при производстве чипа нейроны были выделены из окружающих их глиальных клеток, то пришлось добавить белки, которые «склеивают» нейроны в мозге, также образуя дополнительные натриевые каналы. Увеличение числа натриевых каналов повышает шансы на то, что транспорт ионов преобразуется в электрические сигналы в чипе.

НКИ и нейропротезирование

Нейропротезирование — область неврологии, занимающаяся созданием и имплантацией искусственных устройств для восстановления нарушенных функций нервной системы или сенсорных органов (нейропротезов или нейроимплантов). Наиболее часто используется кохлеарный нейроимплантат, которым пользуется около 100 000 человек по всему миру (по данным на 2006 год). Существуют также нейропротезы для восстановления зрения, например, имплантаты сетчатки.

Основное отличие НКИ от нейропротезирования заключается в особенностях их применения: нейропротезы чаще всего «подключают» нервную систему к имплантированному устройству, в то время как НКИ обычно соединяет мозг (или нервную систему) с компьютерной системой. На практике нейропротез может быть подсоединен к любой части нервной системы, например, к периферическим нервам, в то время как НКИ представляет собой более узкий класс систем, взаимодействующих с центральной нервной системой. Термины нейропротезирование и НКИ могут быть взаимозаменяемыми, поскольку оба подхода преследуют одну цель — восстановление зрения, слуха, двигательных способностей, способности общаться и других когнитивных функций. Кроме того, в обоих подходах используются аналогичные экспериментальные методы, включая хирургическое вмешательство.

Испытания НКИ на животных

Нескольким лабораториям удалось записать сигналы от коры головного мозга обезьяны и крысы для управления НКИ при движении. Обезьяны управляли курсором на экране компьютера и давали команды на выполнения простейших действий роботам, имитирующим руку, мысленно и без каких-либо движений. Другие исследования с участием кошек были посвящены расшифровке визуальных сигналов.

Ранние работы

Исследования, в результате которых были разработаны алгоритмы для реконструкции движений из сигналов нейронов моторной зоны коры головного мозга, которые контролируют двигательные функции, датируются 1970-ми годами. Исследовательские группы, возглавлявшиеся Шмидтом, Фетзом и Бейкером в 1970-х установили, что обезьяны могут быстро обучаться избирательно контролировать скорость реакции отдельных нейронов в первичной двигательной коре головного мозга используя замкнутое позиционирование операций, обучающий метод наказания и наград.

В 1980-х Апостолос Георгопоулос из Университета Хопкинса обнаружил математическую зависимость между электрическими ответами отдельных нейронов коры головного мозга у макак резус и направлением, в котором макаки двигали свои конечности (на основе функции косинуса). Он также обнаружил, что разные группы нейронов в различных областях головного мозга совместно контролировали двигательные команды, но были способны регистрировать электрические сигналы от возбужденных нейронов только в одной области одновременно из-за технических ограничений, налагаемых его оборудованием.

С середины 1990-х годов началось быстрое развитие НКИ. Нескольким группам ученых удалось зафиксировать сигналы двигательного центра мозга используя записи сигналов от групп нейронов, а также использовать эти сигналы для управления внешними устройствами. Среди них можно назвать группы, возглавлявшиеся Ричардом Андерсеном, Джоном Донахью, Филиппом Кеннеди, Мигелем Николелисом, Эндрю Шварцом.

Достижения исследовательской работы

Первый в истории НКИ был создан Филлипом Кеннеди и его коллегами с использованием электродов, имплантированных в кору головного мозга обезьян. В 1999 году исследователи под руководством Яна Дэна из Университета Калифорнии расшифровали сигналы нейронов зрительной системы кошки и использовали эти данные для воспроизведения изображений, воспринимаемых подопытными животными. В этих экспериментах были использованы электроды, вживленные в таламус (структура среднего мозга, передающая в кору сенсорные сигналы от всех органов чувств). С их помощью было исследовано 177 клеток в латеральном коленчатом теле в таламусе и расшифрованы сигналы, приходящие от сетчатки. Кошкам демонстрировали восемь коротких фильмов, в течение которых проводили запись активности нейронов. Используя математические фильтры, исследователи расшифровали сигналы для воспроизведения образов, которые видели кошки и были способны воспроизвести узнаваемые сцены и двигающиеся объекты. Схожие результаты на человеке были получены исследователями из Японии.

Для повышения эффективности управления НКИ Мигель Николесис предложил регистрировать электрическую активность одновременно с помощью нескольких электродов, вживленных в удаленные области головного мозга. За первыми исследованиями на крысах, которые в девяностых годах проводили Николелис и его коллеги, последовали аналогичные эксперименты на обезьянах. В результате был создан НКИ, с помощью которого сигналы нервных клеток обезьян были расшифрованы и использованы для управления движениями робота. Именно обезьяны оказались идеальными испытуемыми для такого рода работ, поскольку у них хорошо развиты двигательные и манипуляционные навыки, и, соответственно, высоко развиты структуры головного мозга, отвечающие за реализацию моторных функций. К 2000 году группа Николелиса создала НКИ, который воспроизводил движения передних конечностей обезьян во время манипуляций джойстиком или во время захвата пищи. Данная система работала в режиме реального времени и была использована для дистанционного управления движениями робота посредством интернет-связи. При этом обезьяна не имела возможности увидеть движения собственных конечностей и не получила какой-либо другой информации для обратной связи.

Позднее группа Николесиса использовала результаты экспериментов с макаками-резус для создания алгоритма движения робота, имитирующего движения руки человека. Для управления движениями робота использовали информацию, полученную при записи нейронной активности обезьян после декодирования. Обезьяны были обучены указывать на объекты на экране компьютера, манипулируя джойстиком. Движения конечности обезьян-операторов были воспроизведены движениями робота.

В России с 2009 года действует проект NeuroG, целью которого является создание универсальных алгоритмов для распознавания зрительных образов человеком. 25 апреля 2011 года в Политехническом музее Москвы проектом NeuroG была проведена первая в мире демонстрация эксперимента по распознаванию воображаемых образов.[2]

См. также

Литература

  1. Анохин П. К. Проблема центра и периферии в современной физиологии нервной системы // Проблема центра и периферии в вышей нервной деятельности. Горький, 1935, с. 9-70.
  2. Анохин П. К., Шумилина А. И., Анохина А. П. и др. Функциональная система как основа интеграции нервных процессов в эмбриогенезе. Труды V съезда физиологов СССР. 1937, 148—156.
  3. Bechtereva N.P., Gretchin V.B. Physiological foundations of mental activity. Intern.Rev.Neurobiol. Academic Press, N.Y. — London , 1968, vol.11, p.239-246.
  4. Бехтерева Н. П. Нейрофизиологические аспекты психической деятельности человека. М.: Медицина, 1971, — 120 с., Oxford Univ . Press (USA), 1978.
  5. Бехтерева Н. П. Мозговые коды психической деятельности / Бехтерева Н. П., Будзен П. В., Гоголицын Ю. Л. — Л.: Наука, 1977. — 165 с.
  6. Бехтерева Н. П., Нагорнова Ж. В. Динамика когерентности ЭЭГ при выполнении заданий на невербальную (образную) креативность // Физиология человека, 2007, т. 33, № 5, с. 5-11.
  7. Шемякина Н. В., Данько С. Г., Нагорнова Ж. В., Старченко М. Г., Бехтерева Н. П. Динамика спектров мощности и когерентности динамических компонентов ЭЭГ при решении вербальной творческой задачи преодоления стереотипа // Физиология человека, 2007, т. 33, № 5, с. 14-21.
  8. Иваницкий А. М. Сознание и мозг // В мире науки, 2005, № 11, с. 3-11.
  9. Иваницкий Г. А. Николаев А. Р., Иваницкий А. М. Использование искусственных нейросетей для распознавания типа мыслительных операций по ЭЭГ // Авиакосмическая и экологическая медицина, 1997, т. 31, с. 23-28.
  10. Иваницкий А. М., Наумов Р. А., Роик А. О. Как определить, чем занят мозг, по его электрическим потенциалам? Устойчивые паттерны ЭЭГ при выполнении когнитивных заданий // Вопросы искусственного интеллекта, 2008, № 1 с. 93-102.
  11. Савельева-Новосёлова Н.А., Савельев А.В. Принципы офтальмонейрокибернетики // В сборнике «Искусственный интеллект. Интеллектуальные системы», Донецк-Таганрог-Минск, 2009, с. 117—120.
  12. Петрунин Ю. Ю., Рязанов М. А., Савельев А. В. Философия искусственного интеллекта в концепциях нейронаук. (Научная монография), М.: МАКС Пресс, 2010, ISBN 978-5-317-03251-7.
  13. Савельев А. В. Онтологическое расширение теории функциональных систем // Журнал проблем эволюции открытых систем, Казахстан, Алматы, 2005, № 1(7), c. 86-94.
  14. Santhanam G., Ryu S.I., Yu B.M., Afshar A. and Shenoy K.V., A high-performance brain-computer interface, Nature Letters, Vol 442 (13 July 2006), 195—198.
  15. Vidal J., Toward Direct Brain-Computer Communication, in Annual Review of Biophysics and Bioengineering, L.J. Mullins, Ed., Annual Reviews, Inc., Palo Alto, Vol. 2, 1973, pp. 157-180.
  16. Vidal J., Real-Time Detection of Brain Events in EEG, in IEEE Proceedings, May 1977, 65-5:633-641.
  17. Wolpaw J.R., McFarland D.J., Neat G.W., Forneris C.A., An EEG-based brain-computer interface for cursor control. Electroencephalography & Clinical Neurophysiology. Vol 78(3), Mar 1991, 252—259.
  18. Wolpaw J.R., Birbaumer N., Heetderks W.J., McFarland D.J., Peckham P.H., Schalk G., Donchin E., Quatrano L.A., Robinson C.J., and Vaughan T.M., Brain-Computer Interface Technology: A Review of the First International Meeting, IEEE TRANSACTIONS ON REHABILITATION ENGINEERING, VOL. 8, NO. 2, JUNE 2000, 164—173.
  19. Miyawaki Y., Decoding the Mind’s Eye — Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders, Neuron (Elsevier, Cell Press) 60 (5) (10 December 2008): 915—929,

Примечания

Ссылки

dic.academic.ru


Читайте также
  • Гиперскоростная звезда – более 1.000.000 миль в час
    Гиперскоростная звезда – более 1.000.000 миль в час
  • Астрономы обнаружили самую большую спиральную галактику
    Астрономы обнаружили самую большую спиральную галактику
  • Млечный путь содержит десятки миллиардов планет, схожих с Землей
    Млечный путь содержит десятки миллиардов планет, схожих с Землей
  • Млечный путь разорвал своего спутника на четыре отдельных хвоста
    Млечный путь разорвал своего спутника на четыре отдельных хвоста
  • Найден источник водородных газов для нашей Галактики
    Найден источник водородных газов для нашей Галактики