Хокинг стивен как разговаривает: как ученый общается с миром

как ученый общается с миром

В 21 год Стивену Хокингу – тогда еще студенту Оксфордского университета – поставили диагноз боковой амиотрофический склероз (БАС). Этим недугом, который приводит к параличу всех двигательных нейронов, страдают каждые семь из ста тысяч человек на Земле.

Сейчас 75-летний (8 января – день рождения Хокинга) английский физик-теоретик и популяризатор науки может лишь слегка двигать мимические мышцы правой щеки.

Настоящее Время задалось вопросом, как автору теорий возникновения мира в результате Большого взрыва, удается путешествовать, писать свои работы, общаться с коллегами и семьей (у Хокинга – трое детей и один внук).

Итак.

Как Хоккинг «ходит»

Кресло для Хокинга сделала американская компания Permobil на базе своей модели C350 и уникальной системы сидений Corpus 3G, которая повторяет контуры тела человека, обеспечивая максимальный комфорт (сиденье регулируются по всем плоскостям).

Вес кресла (базовой модели без процессоров, монитора и дополнительных гаджетов) – 136 кг.

Максимальная скорость передвижения – 10 км в час.

Одной подзарядки хватает, чтобы «пройти» на этом кресле без остановки 35 км.​

Как Хокинг пишет свои работы, читает почту и смотрит ТВ

Главным проводником во внешний мир для Хокинга стал компьютер Lenovo ThinkPad X230t с процессором Intel Core i7 и Solid-State Drive 520 Serie. Процессор установлен в основании платформы кресла.

До 2012 года Хокинг использовал программное обеспечение – EZ Keys, которое, в том числе с помощью инфракрасного датчика, установленного на очках, улавливает малейшее движение мышц щеки Хокинга. Этого сигнала было достаточно, чтобы Хокинг минимальным движением мышц лица мог выбирать определенные символы на дисплее, установленном по левую руку. Однако позднее разработчики признали EZ Keys несколько устаревшей программой.

В июне 2012 года Хокингу представили новую систему – ASTER (Assistive Text EditoR), однако позже разработчики вынуждены были назвать свой новый проект «пыткой ASTER» – Хокинг потратил месяцы на попытку адаптироваться к ней, но ему это так и не удалось.

Лишь к 2014 году появился новый интерфейс – ACAT (Assistive Context-Aware Toolkit), который научился «предсказывать» слова Хокинга. Отныне ученому не нужно полностью печатать словосочетание «черная дыра»: если Хоккинг выбирает «черный», система автоматически предлагает ему в пару слово «дыра». (Однажды Хокинг случайно «напечатал» «х х х х», через синтезатор речи это звучало как: «секс секс секс секс»).

Сейчас специалисты задумались над тем, как использовать движения не только щеки Хокинга, но и его подбородка (так, в начале 2015 года на кресло Хокинга установили джойстик, который помогает Хокингу с помощью движения челюстей управлять не только компьютерной мышкой, но и креслом).

Через свой компьютер Хокинг может писать работы, листать меню на компьютере, контролировать почту, пользоваться веб-браузером, совершать звонки через Skype, а также открывать и закрывать двери дома и в офисе, включать-выключать свет, телевизор, музыкальные аудиосистемы.

Система также контролирует работу жизненно важных органов Хокинга. На экране высвечиваются все показатели: сердечный пульс, артериальное давление и температура тела.

Как Хокинг «говорит»

Хокинг потерял способность говорить в 1985 году, когда во время поездки в Женеву заболел воспалением легких. Его состояние было критическим. Чтобы помочь ему дышать, врачи провели трахеотомию (проделали отверстие в его шее и поместили трубку в трахею). В результате Хокинг необратимо потерял способность говорить.

Сейчас Хокинг говорит с помощью синтезатора DECtalk. Голосовую программу для Хокинга разработал инженер Массачусетского технологического института (MIT, Massachusetts Institute of Technology) Деннис Клат (Dennis Klatt), который в 80-х гг работал над телефонными автоответчиками.

Изначально Деннис Клат создал три голоса: из записей своей жены (этот голос получил название Beautiful Betty – «Красивая Бетти»), дочери (Kit the Kid – «Кит Малыш») и самого себя (Perfect Paul – «Великолепный Пол»). Последний вариант и стал официальным голосом Хокинга.

Услышать голос Хокинга можно в клипе песни Keep Talking группы Pink Floyd:

А также в одном из эпизодов сериала «Звездный путь: Следующее поколение» (Star Trek: The Next Generation), где один из героев сериала, андроид Дейта, играет в покер на голопалубе с Хокингом (его играет сам Хокинг), Исааком Ньютоном и Альбертом Эйнштейном.

«Раньше жизнь казалась мне скучной, – написал однажды Хокинг, – Но перспектива умереть рано заставила меня понять, что жизнь стоит того, чтобы жить».

***

Когда Хокингу поставили страшный диагноз, врач дали ему от силы четыре года жизни. Хокинг пережил «приговор» врача почти на полвека.

Сейчас ученые дорабатывают систему, которая бы могла работать исключительно с направлением зрачков Хокинга на случай, если откажут и мышцы лица.

Насколько наука продвинулась вперед в области «чтения мыслей» людей и смогут ли в будущем люди, закованные в своем теле, общаться с миром одной лишь силой мысли? Об этом мы спросили Александра Каплана – доктора биологических наук, психофизиолога, профессора кафедры физиологии человека и животных, заведующего лабораторией нейрофизиологии и нейроинтерфейсов на биологическом факультете МГУ им. М. В. Ломоносова.

Александр Каплан

​– Насколько можно упростить способ передачи информации от человека, не способного двигаться, говорить или писать?

– Упростить нельзя, но специально для такой цели была разработана технология интерфейса «мозг-компьютер», основанная на известном методе электроэнцефлографии, который однако используется в этом случае не для диагностики заболеваний, а для расшифровки намерения человека набрать на экране компьютера ту или иную букву.

Таким образом, буква за буквой человек может набирать тексты, не пользуясь клавиатурой, можно сказать, напрямую от мозга. На основе этой технологии в нашей лаборатории разработан «Нейрокоммуникатор», который сейчас проходит испытание в нейрологической клинике для постинсультных пациентов с тяжелыми нарушениями движений и речи.

С помощью «Нейрокоммуникатора» пациенты могут без посторонней помощи, не используя мышечные усилия, одними мысленными командами «включать-выключать» бытовые приборы; управлять приводами кровати, прикроватным манипулятором, подающим, например, стакан воды; набирать тексты на экране компьютера; работать в интернете. В настоящее время «Нейрокоммуникатор» проходит испытания в неврологической клинике и в центрах нейрореаблитации. Через 2 года предполагается наладить серийное производство, но для этого нужны индустриальные партнеры.

– Можно ли сравнить мозг человека с компьютером, у которого всего лишь нужно найти «USB-порт», через который в определенный момент можно «скачивать» необходимую информацию или, наоборот, загружать?

– Современное знание о механизмах и функциях мозга человека говорит о том, что иформационно-аналитическая деятельность мозга не имеет никаких аналогий с работой и устройством компьютеров. В частности, это связано с тем, что хранение и анализ информации в мозгу происходит в глубоко распределенных и астрономически сложных нейронных сетях. Достаточно сказать, что мозг содержит на много порядков больше операционно-аналитических единиц, чем самый сложный процессор.

Поэтому, в мозгу нет кабельных систем передачи информации, к которым, можно было бы подключиться, и даже если бы можно подключиться каким-то другим образом, то это все равно ничего бы не дало, так как коды мозговых нейронных систем неизвестны и нет никаких подходов для их расшифровки.

– Возможно ли создать экзоскелет с полным компьютерным обеспечением, чтобы человек мог в нем жить и взаимодействовать с окружащим миром без помощи постороннего?

– Да, это возможно, и прямо сейчас десятки лабораторий компаний по всему миру этим делом успешно занимаются. В частности, в России это компании – «Нейроботик», «Андроидные системы» и такие фундаментальные институты, как ИНЭУМ имени И.Н.Брука.

В настоящее время созданы действующие образцы экзоскелетов отдельных конечностей и всего тела человека. «Горячей точкой» в этом направлении является разработка систем управления экзоскелетами непосредственно от мозга, то есть на основе интерфейсов «мозг-компьютер». В частности, в нашей лаборатории совместно с ИНЭУМ им. И.С.Брука, разрабатываются нейроинтерфейсные системы для управления протезами конечностей, экзоскелетами и фантомами конечностей, а также инвалидными колясками.

– До какой степени ученые научились «читать мысли» человека?

– Согласно современным достижениям и знаниям в науке о мозге человека существуют принципиальные ограничения в разнообразии и возможностях инструментально контакта с мозгом человека. В частности, в настоящее время в мире нет ни одной научной статьи, в которой предполагается возможность инструментального «чтения мыслей».

Как Intel помогла сохранить голос Стивену Хокингу

В первый раз Стивен Хокинг увидел Гордона Мура, сооснователя компании Intel, на конференции в 1997 году. Мур заметил, что компьютер Хокинга, который тот использовал для общения, был сделан на процессоре AMD, и спросил, не хотел ли бы ученый получить «реальный компьютер» с микропроцессором Intel. С этого времени Intel оказывает Хокингу техническую поддержку, заменяя его компьютер каждые два года.

Хокинг, который болеет БАС уже несколько десятков лет, потерял возможность говорить в 1985 году, во время поездки в Церн (Женева), где он подхватил пневмонию. В больнице его подключили к аппарату искусственной вентиляции легких. Его состояние было критическим. Врачи спросили его жену Джейн, следует ли им продолжать вентиляцию или отключить его от аппарата и прекратить жизнь. Она категорически отказалась от прекращения терапии. Хокинга перевезли в Эдинбрускую больницу в Кембридже, где врачи смогли побороть инфекцию. Чтобы он мог дышать, пришлось наложить трахеостому: через специальное отверстие в шее врачи провели трубку в его легкие. В результате этой манипуляции Хокинг необратимо потерял возможность говорить.

Некоторое время Стивен Хокинг общался, используя специальные карточки, терпеливо указывая на буквы и слова, поднимая брови. Мартин Кинг, врач, который занимался тогда Хокингом, стал искать возможность более эффективной системы для общения. Он позвонил в калифорнийскую компанию Words Plus, у них была программа «Эквалайзер», позволяющая пользователю выбирать слова и команды на компьютере с помощью кликера, который управлялся рукой. Кинг связался с управляющим директором Words Plus Вальтером Волтоцем и спросил, может ли помочь их программа профессору физики из Англии с диагнозом БАС. Оказалось, что Волтоц сделал более раннюю версию «Эквалайзера», чтобы помочь своей теще, которая также страдала от БАС и потеряла возможность говорить и писать. «Я спросил, не Стивен ли это Хокинг? Но он не мог подтвердить мне имя без разрешения, — рассказывает Волтоц. — На следующий день он позвонил мне и подтвердил это. Я сказал, что сделаю все, что нужно, бесплатно».

Первый «Эквалайзер» был установлен на компьютере Apple II, и связан с синтезатором речи, сделанном компанией Speech Plus. Эта система была потом адаптирована Дэвидом Мейсоном, мужем сиделки Хокинга, который был инженером. Он сделал портативную систему, которая крепилась к ручке коляски Хокинга. С этой новой системой Хокинг мог общаться со скоростью 15 слов в минуту.

Тем не менее нейроны, которые давали возможность его пальцу шевелиться, продолжали умирать. К 2008 году рука Хокинга стала слишком слабой, чтобы управлять кликером. Его ученик и помощник, который был с ним в этот период, разработал специальное устройство «кликер для щеки». Соединенное с очками ученого, устройство улавливало с помощью низкого инфракрасного луча, когда Хокинг дергал мышцей щеки.

С того времени Хокинг добился того, что очень ловко стал писать электронные письма, активно использовать интернет, писать книги и говорить, используя всего лишь одну мышцу. Тем не менее его способность общаться продолжала снижаться. К 2011 году он мог писать только одно или два слова в минуту, поэтому он отправил письмо Муру, в котором написал: «Моя речь стала очень и очень медленной. Может ли Intel как-то помочь мне?»

Мур попросил Джастина Ратнера, главного технического директора Intel, изучить проблему. Ратнер собрал команду экспертов в области взаимодействия «человек-компьютер» из Intel Labs, которых привез в Кембридж на конференцию «Состояние Вселенной» по случаю 70-летия Стивена Хокинга 8 января 2012 года. «Я привез группу специалистов из Intel Labs, — сказал Ратнер аудитории. — Мы собираемся внимательно изучить применение имеющихся компьютерных технологий, чтобы увеличить скорость, с которой Стивен общается. Мы надеемся, что эта команда сделает прорыв и найдет технику, которая позволит ему общаться на том же уровне, который был несколько лет назад».

Хокинг был слишком болен, чтобы принять участие в праздновании своего дня рождения, поэтому он встретился с экспертами Inlet несколько недель позже в своем офисе на факультете математики и теоретической физики в университете Камбриджа. Команда состояла из пяти человек, в том числе: Хорст Хаусеккер, директор опытной технической лаборатории; Лама Нечман, директор предупреждающей компьютерной лаборатории и руководитель проекта и Пит Денман, дизайнер интефейсов. «Стивен всегда был источником вдохновения для меня, — сказал Денман, который тоже перемещается в инвалидной коляске. — После того, как я получил травму шеи и меня парализовало, моя мать дала мне почитать „Краткую историю времени“, которая только вышла тогда. Она сказала мне, что люди в инвалидных креслах могут создавать удивительные вещи. Оглядываясь назад, я понимаю, как права она была».

После того, как команда Intel представилась, Хаусеккер стал объяснять, почему они здесь и что планируют делать.

Хаусеккер продолжал говорить около 20 минут, когда внезапно заговорил Хокинг.

«Он приветствовал нас и сказал, как он счастлив, что мы здесь, — говорит Денман. — Незаметно для нас, он печатал все это время. Ему потребовалось примерно 20 минут, чтобы написать около 30 слов. Это здорово отрезвило нас. Это был шок. Мы осознали, что проблема намного больше, чем мы думали до этого».

В то время на компьютере Хокинга был установлен интерфейс — программа называлась EZ Keys, это был апгрейд предыдущего программного обеспечения, и он также был создан в Words Plus. Она поставлялась с экранной клавиатурой, написанной на базовом алгоритме распознавания слов. Курсор автоматически сканировал клавиатуру по линиям и по колонкам, и ученый должен был выбрать то, что требуется, дернув мышцей щеки, тогда курсор останавливался. EZ Keys также позволяла Хокингу управлять мышью в Windows и использовать разные приложения на компьютере. Он пользовался интернетом при помощи Firefox и писал свои лекции с помощью Notepad. У него также была веб-камера для использования «Скайпа».

Команда Intel решила кардинально поменять устаревшую систему Хокинга, для чего необходимо было внедрить новое оборудование. «Джастин думал, что мы будем использовать такие технологии, как распознавание жестов и лица, распознавание взгляда и интерфейс „мозг-компьютер“», — рассказывает Нечман. —  Первоначально мы кормили его огромным количеством идей вроде этого и пробовали много вариантов». Эти попытки чаще не удавались, чем были успешными. Технологии распознавания движения глаз не могли поймать взгляд Хокинга из-за того, что отсвечивали стекла его очков. До начала проекта с Intel Хокинг тестировал технологию с использованием электродов, которые могли бы читать его мысли и передавать это на компьютер. К сожалению, поймать ощутимый сигнал от мозга не получилось. «Мы подсвечиваем буквы на экране и выбор нужной происходит, когда сигнал поступает от мозга, говорит Вуд. — Со мной это работает отлично, но когда пытался Стивен, это не работало достаточно хорошо. Не получалось поймать достаточно сильный сигнал из-за шумов».

«Чем больше мы общались с ним и слушали его замечания, тем больше до нас доходило, о чем он действительно просит. В дополнение к увеличению скорости общения нужно было придумать новые варианты взаимодействия с компьютером», — рассказывает Нечман. После возвращения в Intel Lab и нескольких месяцев исследований Денман снял 10-минутное видео и отправил его Хокингу. В ролике был показан прототип нового юзер-интерфейса, который они собирались создать, и ему нужен был отзыв от Хокинга. «Мы сделали только некоторые изменения, мы не собирались кардинально менять его систему», — говорит Денман. Изменения включали такие опции, как «обратная кнопка», которую Хокинг мог бы использовать не только для стирания букв, но также и для навигации, чтобы двигать курсор назад; также был добавлен алгоритм, угадывающий слово, и еще алгоритм, который предлагал ему выбрать одно из возможных следующих слов прежде, чем он начнет их печатать.

Но главное изменение, по мнению Денмана, было связано с решением самой большой проблемы, которая была у Хокинга с его текущим интерфейсом — пропущенные нужные буквы.

«Стивен часто попадал не на ту клавишу, когда нажимал на соседнюю от нужной буквы, — рассказывает Денман. — Пропустив букву, он возвращался назад, опять нажимал неправильно, опять возвращался… Это было невыносимо медленно и сильно выбивало его из колеи».

Проблема усугублялась перфекционизмом Хокинга. «Это действительно очень важно для него — чтобы его мысли были сформулированы и написаны максимально точно, а также чтобы пунктуация была абсолютно правильной, — говорит Нечман. — Он научился быть достаточно терпеливым, чтобы оставаться перфекционистом. Он не тот человек, который хочет просто донести суть в сообщении. Он тот, кому важно быть лучшим».

Чтобы решить проблему с неправильно набранными буквами, команда из Intel добавила прототип, который мог бы интерпретировать намерения Хокинга, а не то, что он уже напечатал. Для этого использовался тот же алгоритм, который применяется при обработке текстов и в мобильной связи. «Это плотное взаимодействие, к нему нужно привыкнуть, — объяснялось в видео. — Когда первый iPhone вышел на рынок, люди жаловались на то, что текст предугадывается, но этот дискомфорт быстро прошел и пользователям стала нравиться эта опция. Проблема в том, что требуется время, чтобы привыкнуть, и вам придется передать управление системе. Эта опция могла бы увеличить вашу скорость и позволить вам сконцентрироваться на содержании».

В заключении в видео говорилось: «Каков уровень ваших волнений или опасений?».

Неожиданные сложности — слишком много новаций

В июне того года Хокинг приехал в Intel Labs, где Денман и его команда представили ему новую систему, которую они назвали ASTER (Assistive Text EditoR — помощник в печатании текста).

«Некоторая часть вашего текущего программного обеспечения слегка устарела, — сказал Денман. — Ну хорошо, оно сильно устарело, но вы привыкли его использовать, поэтому мы лишь изменили метод, с помощью которого работает алгоритм предсказывания следующих за напечатанным слов, и это поможет набирать правильное слово каждый раз, даже если какая-то буква набрана некорректно или пропущена».

«Это огромное улучшение по сравнению с предыдущей версией, — ответил Хокинг. — Мне очень нравится».

Они сделали новый юзер-интерфейс для компьютера Хокинга и Денман думал, что все в порядке и они на правильном пути. Но к сентябрю они получили комментарии от Хокинга: он не принял новую систему. Это было слишком сложно для него. Прототип с обратной кнопкой и алгоритм с пропущенными буквами оказались запутанными, и их нужно было пересмотреть. «Он один из самых блистательных умов современности, но нам не следовало забывать, что у него не было опыта взаимодействия с современными технологиями, — рассказывает Денман. — У него никогда не было возможности использовать iPhone. Мы хотели заставить самого знаменитого в мире 72-летнего пожилого человека научиться этому новому способу взаимодействия с технологиями».

Денман и его команда осознали, что им нужно начать думать об этой проблеме по-другому. «Мы думали, что сделали программное обеспечение в традиционном смысле, когда нужно забросить огромную сеть и стараться поймать столько много рыбы, сколько получится, — рассказывает Денман. — Мы не понимали, как сильно решение будет зависеть от Стивена. Нам пришлось буквально просветить все лазером, чтобы изучить одного человека».

В конце 2012 года команда Intel установила систему, которая записала как Хокинг взаимодействует с его компьютером. Они записали десятки часов видео, которые зафиксировали самые разные ситуации: Стивен печатает; Стивен печатает, когда он устал; Стивен использует мышь; Стивен печатает, чтобы сделать окошко нужного размера. «Я смотрел запись снова и снова, — говорит Денман. — Иногда я смотрел одно и то же по четыре раза и все еще находил что-то новое».

К сентябрю 2013 года — на этот раз с помощью Джонатана Вуда, ассистента Хокинга — они создали следующую итерацию пользовательского интерфейса компьютера Хокинга. «Я думал, у нас получилось. Я думал, мы сделали это», — говорит Денман. Однако к следующему месяцу стало очевидно, что у Хокинга есть проблемы с использованием. «Один из его ассистентов назвал это „пытка ASTER“, — пересказывает Денман. — Если бы они сказали это при Стивене, он бы усмехнулся».

Встречайте АСАТ!

Прошло очень много месяцев до того, как команда Intel наконец-то сделала версию, которая понравилась ученому. Например, сейчас Хокинг использует алгоритм предсказывания слов, созданный в лондонском стартапе SwiftKey, который позволяет ему выбирать слово после печатания буквы, в том время как предыдущая система требовала от него, чтобы он спускался в самый низ экрана и выбирал слово из списка.

«Его система предугадывания слов была очень старой, — говорит Нечман. — Новая система намного быстрее и эффективнее, но нам пришлось научить Стивена пользоваться ею. В начале он жаловался и только позже осознал: он уже знал, какое слово его предыдущая система могла бы предугадать. Раньше он сам был системой, которая предугадывает слова». Intel работал с SwiftKey, чтобы добавить огромное количество документов Хокинга в систему, так что теперь в некоторых случаях, ему не нужно долго печатать буквы до того, как система определит контекст. «Фраза „черная дыра“ не требует долгого печатания, — говорит Нечман. — Выбирая „the“ система автоматически предлагает „black“. Выбирая „black“, система предлагает „hole“».

Новая версия пользовательского интерфейса Хокинга называется ACAT (Assistive Contextually Aware Toolkit — помощник в распознавании контекста) и включает в себя контекстуальное меню, которое помогает Хокингу с разными сочетаниями слов, чтобы было удобнее говорить и находить письма; менеджер лекций, который помогает ему контролировать время, в течение которого он говорит. Интерфейс также имеет кнопку отключения звука, которая позволяет Хокингу выключать свой голос.

«Так как он работает с выключателем с помощью щеки, то во время еды или путешествий, он нечаянно может включиться, — говорит Вуд. — Но иногда ему нравится создавать случайные „разговоры“. Он все время это делает и иногда это совершенно неуместно. Помню, как однажды он случайно напечатал „х х х х“, и это, пропущенное через его синтезатор, звучало как „sex, sex, sex, sex“».

Рабочая комната Вуда находится рядом с комнатой Хокинга. Это больше лаборатория, чем учебный класс. Одна стена увешана электронным оборудованием и экспериментальными прототипами. На столе — камера, часть продолжающегося проекта с Intel. «Есть идея сделать камеру, которую мы можем закрепить на голове Стивена, чтобы она схватывала не только движение его щеки, но и другие движения лица, — говорит Вуд. — Он может двигать жевательными мышцами вверх и вниз, и двигать мышь, и даже, возможно, управлять своей коляской. Это отличная идея, но мы не уверены, что получится ее реализовать в скором времени».

Еще один экспериментальный проект, предложенный производителями коляски для Хокинга годом раньше — это джойстик, который присоединен к подбородку Хокинга и позволяет ему управлять своей коляской. «Это то, чем Стивен очень увлечен, — говорит Вуд. — Мы уже один раз попробовали соединить подбородок Стивена и джойстик. Но так как у него совсем не двигается шея, то очень трудно присоединить и отсоединить джойстик». Вуд показывает WIRED — видео с недавним тестированием этой системы. В нем можно видеть Хокинга, «рулящего» своей коляской и пересекающего пустую комнату от начала до конца. «Как вы видите, он сам управляет этим, — говорит Вуд. — Ну, как-то так…»

Вуд показывает WIRED — небольшой серый ящик, который содержит только копию синтезатора голоса Хокинга. Это CallText 5010 — модель, которую Хокинг получил в 1988 году, когда приехал в компанию Speech Plus, которая сделала этот «голос». Специальная плата внутри синтезатора содержит процессор, который переводит текст в голос, такой прибор также использовался для автоматизации телефонных голосовых ответов в 1980-е.

«Я стараюсь сделать запрограммированную версию голоса Стивена, ведь мы не должны полагаться на эту старую плату», — говорит Вуд. Чтобы сделать это, нам пришлось найти команду из Speech Plus, которая работала там в те годы. В 1990-м Speech Plus была продана компании Centigram Communications. Centigram была, в свою очередь, поглощена компанией Lernout and Hauspie Speech Products, которая позже тоже была поглощена — компанией ScanSoft в 2001 году. ScanSoft был куплен Nuance Communications, транснациональной компанией с 35 офисами и более чем 1200 сотрудниками. Вуд связался с ними. «У них была та программа с голосом Стивена 1986 года выпуска, — рассказывает Вуд. — Мы нашли ее среди резервных копий в Nuence».

Хокинг очень привязан к своему голосу: в 1988 году, когда Speech Plus предложила ему новый синтезатор, голос в нем отличался от первой версии, и он попросил их вернуть оригинал.

Его голос был создан в начале 1980-х инженером из MIT Денисом Клаттом, одним из пионеров создания алгоритмов озвучивания текстов. Он изобрел DECtalk — одно из первых устройств, которое переводило напечатанный текст в голос. Он тогда записал три голоса — свой, жены и дочери. Женский голос был назван «Прекрасная Бетти», детский — «Малыш», а мужской голос — «Великолепный Пол». «Великолепный Пол» — это голос Хокинга.

Оригинал материала — Wired.

Как Intel дала Стивену Хокингу голос

Стивен Хокинг впервые встретился с Гордоном Муром, соучредителем Intel, на конференции в 1997 году. Мур заметил, что компьютер Хокинга, который он использовал для общения, имел процессор AMD, и спросил его, предпочитает ли он вместо этого «настоящий компьютер» с микропроцессором Intel. С тех пор Intel предоставляет Хокингу персонализированные ПК и техническую поддержку, заменяя его компьютер каждые два года.

Хокинг потерял способность говорить в 19 лет85 лет, когда во время поездки в ЦЕРН в Женеве он заболел пневмонией. В больнице его подключили к аппарату искусственной вентиляции легких. Его состояние было критическим. Врачи спросили тогдашнюю жену Хокинга Джейн, следует ли им отключить систему жизнеобеспечения. Она категорически отказалась. Хокинга доставили в госпиталь Адденбрука в Кембридже, где врачам удалось сдержать инфекцию. Чтобы помочь ему дышать, они также провели трахеотомию, в ходе которой прорезали отверстие в его шее и вставили трубку в дыхательное горло. В результате Хокинг безвозвратно потерял способность говорить.

Некоторое время Хокинг общался с помощью орфографической карточки, терпеливо указывая буквы и формируя слова, поднимая брови. Мартин Кинг, физик, который работал с Хокингом над новой системой связи, связался с базирующейся в Калифорнии компанией Words Plus, чья компьютерная программа Equalizer позволяла пользователю выбирать слова и команды на компьютере с помощью ручного кликера. Кинг поговорил с генеральным директором Words Plus Уолтером Уолтошем и спросил, может ли программное обеспечение помочь профессору физики в Англии с БАС. Уолтош создал более раннюю версию Equalizer, чтобы помочь своей свекрови, которая также страдала от БАС и потеряла способность говорить и писать. «Я спросил, был ли это Стивен Хокинг, но он не мог назвать мне имя без разрешения», — говорит Уолтош. «Он позвонил мне на следующий день и подтвердил это. Я сказал, что пожертвую все, что нужно».

Эквалайзер впервые запустился на компьютере Apple II, подключенном к синтезатору речи производства компании Speech Plus. Эта система была затем адаптирована Дэвидом Мейсоном, инженером, мужем одной из медсестер Хокинга, в портативную систему, которую можно было установить на одном из подлокотников инвалидной коляски. С помощью этой новой системы Хокинг мог общаться со скоростью 15 слов в минуту.

Однако нерв, который позволял ему двигать большими пальцами, продолжал деградировать. К 2008 году рука Хокинга была слишком слаба, чтобы использовать кликер. Его аспирант в то время разработал переключающее устройство, названное «щечным переключателем». Прикрепленный к его очкам, он мог обнаружить с помощью инфракрасного луча, когда Хокинг напряг мышцу щеки. С тех пор Хокинг научился писать электронные письма, просматривать Интернет, писать книги и говорить, используя только одну мышцу. Тем не менее, его способность к общению продолжала снижаться. К 2011 году он справлялся только с одним или двумя словами в минуту, поэтому он отправил письмо Муру, в котором говорилось: «В эти дни мой речевой ввод очень, очень медленный. Может ли Intel как-нибудь помочь?»

Мур попросил Джастина Раттнера, тогдашнего технического директора Intel, разобраться в проблеме. Раттнер собрал группу экспертов по взаимодействию человека и компьютера из лабораторий Intel, которую он привез в Кембридж на конференцию, посвященную 70-летию Хокинга, «Состояние Вселенной» 8 января 2012 года. «Я привел с собой группу специалистов. от Intel Labs», — сказал Раттнер аудитории. «Мы собираемся тщательно изучить возможность применения некоторых современных вычислительных технологий для повышения скорости общения Стивена. Мы надеемся, что эта команда добьется прорыва и найдет технику, которая позволит ему общаться на уровне, который у него был несколько». много лет назад.»

Самые популярные

Стивен Хокинг в Чикаго, 1986 год.

AP

Хокинг был слишком болен, чтобы присутствовать на праздновании собственного дня рождения, поэтому несколько недель спустя он встретился с экспертами Intel в своем офисе на кафедре прикладной математики и теоретической физики Кембриджского университета. В команду из пяти человек входили Хорст Хауссекер, директор Лаборатории технологий опыта, Лама Нахман, директор Лаборатории опережающих вычислений и руководитель проекта, и Пит Денман, дизайнер взаимодействия. «Стивен всегда вдохновлял меня», — говорит Денман, который тоже передвигается в инвалидном кресле. «После того, как я сломал себе шею и меня парализовало, моя мать дала мне копию Краткая история времени , который только что вышел. Она сказала мне, что люди в инвалидных колясках все еще могут делать удивительные вещи. Оглядываясь назад, я понимаю, насколько это было пророчески».

После того, как команда Intel представилась, Хауссекер взял на себя инициативу, объяснив, почему они здесь и каковы их планы. Хауссекер продолжал говорить в течение 20 минут, когда внезапно заговорил Хокинг.

«Он поприветствовал нас и выразил свою радость по поводу того, что мы здесь,— говорит Денман.— Мы не знали, что все это время он печатал. Ему потребовалось 20 минут, чтобы написать приветствие из 30 слов. Это остановило нас всех в пути. Это было трогательно. Теперь мы поняли, что это будет гораздо более серьезная проблема, чем мы думали».0003

В то время компьютерным интерфейсом Хокинга была программа под названием EZ Keys, обновление предыдущего программного обеспечения, также разработанное Words Plus. Он предоставил ему клавиатуру на экране и базовый алгоритм предсказания слов. Курсор автоматически сканировал клавиатуру по строкам или столбцам, и он мог выбрать символ, двигая щекой, чтобы остановить курсор. EZ Keys также позволяли Хокингу управлять мышью в Windows и другими приложениями на своем компьютере. Он работал в Интернете с помощью Firefox и писал свои лекции с помощью Блокнота. У него также была веб-камера, которую он использовал со Skype.

Самый популярный

Команда Intel предусмотрела переворот в архаичной системе Хокинга, что потребует внедрения нового оборудования. «Джастин думал, что мы могли бы использовать такие технологии, как распознавание жестов лица, отслеживание взгляда и интерфейсы мозг-компьютер», — говорит Нахман. «Изначально мы скормили ему множество этих диких идей и попробовали множество готовых технологий». Эти попытки, чаще всего, терпели неудачу. Отслеживание взгляда не могло зафиксировать взгляд Хокинга из-за опущенных век. Перед проектом Intel Хокинг протестировал шапки ЭЭГ, которые могли считывать его мозговые волны и, возможно, передавать команды на его компьютер. Каким-то образом они не смогли получить достаточно сильный мозговой сигнал. «Мы высвечивали буквы на экране, и он пытался выбрать правильную букву, просто регистрируя реакцию мозга», — говорит Вуд. «У меня это работало нормально, затем Стивен попробовал это, и это не сработало. Они не смогли получить достаточно сильное отношение сигнал-шум».

«Чем больше мы наблюдали за ним и прислушивались к его опасениям, тем больше до нас дошло, что на самом деле он просил не только улучшить скорость своего общения, но и добавить новые функции, которые позволили бы ему лучше взаимодействовать со своим компьютером. «, — говорит Нахман. Вернувшись в Intel Labs и проведя несколько месяцев исследований, Денман подготовил 10-минутное видео для отправки Хокингу, в котором описал, какие новые прототипы пользовательского интерфейса они хотят внедрить, и спросил его отзывы. «Мы внесли изменения, которые, по нашему мнению, не сильно изменили бы то, как он использовал свою систему, но все же оказали бы большое влияние», — говорит Денман. Изменения включали такие дополнения, как «кнопка назад», которую Хокинг мог использовать не только для удаления символов, но и для перехода на шаг назад в своем пользовательском интерфейсе; алгоритм предсказания слова; и навигация по следующему слову, которая позволяла бы ему выбирать слова одно за другим, а не печатать их.

Основным изменением, по мнению Денмана, стал прототип, решающий самую большую проблему пользовательского интерфейса Хокинга: пропущенные нажатия клавиш. «Стивен часто нажимал не ту клавишу, нажимая букву рядом с той, которую он хотел», — говорит Денман. «Он пропускал письмо, возвращался, снова пропускал письмо, возвращался. Это было невыносимо медленно, и он расстраивался». Эта конкретная проблема усугублялась перфекционизмом Хокинга. «Для него очень важно, чтобы его мысли были точно сформулированы правильно, а пунктуация была абсолютно правильной», — говорит Нахман. «Он научился быть достаточно терпеливым, чтобы по-прежнему быть перфекционистом. Он не тот, кто просто хочет донести суть сообщения. Он тот, кто действительно хочет, чтобы все было идеально».

Чтобы устранить пропущенные нажатия клавиш, команда Intel добавила прототип, который будет интерпретировать намерения Хокинга, а не его фактический ввод, используя алгоритм, аналогичный тому, который используется в обработке текстов и мобильных телефонах. «Это сложное взаимодействие, чтобы вложить в него свою веру», — поясняется в видео. «Когда iPhone впервые появился на рынке, люди жаловались на интеллектуальный ввод текста, но вскоре недоверие сменилось восторгом. Проблема в том, что к этому нужно немного времени, чтобы привыкнуть, и вам нужно отпустить управление, чтобы система выполнила свою работу. Дополнение этой функции может увеличить вашу скорость и позволить вам сосредоточиться на содержании».

Самое популярное

Заключение видео: «Каков уровень вашего волнения или опасения?» В июне того же года Хокинг посетил Intel Labs, где Денман и его команда познакомили его с новой системой, первоначально называвшейся ASTER (от ASsistive Text EditoR). «Ваше текущее программное обеспечение немного устарело, — сказал ему Денман. «Ну, он очень устарел, но вы очень привыкли его использовать, поэтому мы изменили метод, с помощью которого работает ваше предсказание следующего слова, и теперь он может почти каждый раз подбирать правильное слово, даже если вы» письма от него».

«Это большое улучшение по сравнению с предыдущей версией», — ответил Хокинг. «Мне это и вправду нравится.»

Они реализовали новый пользовательский интерфейс на компьютере Хокинга. Денман считал, что они на правильном пути. К сентябрю они начали получать отзывы: Хокинг не адаптировался к новой системе. Это было слишком сложно. Прототипы, такие как кнопка «Назад» и кнопка «пропущенные нажатия клавиш», оказались запутанными, и их пришлось выбросить. «Он один из самых умных парней в мире, но мы не можем забывать, что он не знаком с современными технологиями», — говорит Денман. «У него никогда не было возможности пользоваться iPhone. Мы пытались научить самого известного и умного 72-летнего дедушку в мире научиться этому новому способу взаимодействия с технологиями».

Корпус компьютера и синтезатора речи, используемый Стивеном Хокингом, 1999 г.

Science Museum Photo Studio/Getty Images

Денман и остальные члены команды поняли, что им нужно начать иначе относиться к этой проблеме. «Мы думали, что разрабатываем программное обеспечение в традиционном смысле, когда вы забрасываете огромную сеть и пытаетесь поймать как можно больше рыбы», — говорит Денман. «Мы не понимали, насколько дизайн будет зависеть от Стивена. Нам пришлось направить лазер, чтобы изучить одного человека».

В конце 2012 года команда Intel установила систему, которая записывала, как Хокинг взаимодействует со своим компьютером. Они записали десятки часов видео, охватывающих целый ряд различных ситуаций: Стивен печатает, Стивен печатает, когда устал, Стивен использует мышь, Стивен пытается получить окно нужного размера. «Я просматривал отснятый материал снова и снова, — говорит Денман.

«Иногда я запускал его в четыре раза быстрее и все равно находил что-то новое.»

К сентябрю 2013 года, теперь уже с помощью Джонатана Вуда, аспиранта Хокинга, они реализовали еще одну итерацию пользовательского интерфейса на компьютере Хокинга. «Я думал, что мы это сделали, я думал, что мы закончили», — говорит Денман. Однако к следующему месяцу стало ясно, что у Хокинга снова возникли проблемы с адаптацией. «Один из его помощников назвал это пыткой ASTER, — вспоминает Денман. «Когда они это говорили, Стивен ухмылялся».

Прошло еще много месяцев, прежде чем команда Intel придумала версию, которая понравилась Хокингу. Например, Хокинг теперь использует адаптивный предсказатель слов от лондонского стартапа SwiftKey, который позволяет ему выбирать слово после ввода буквы, в то время как предыдущая система Хокинга требовала от него перехода в нижнюю часть пользовательского интерфейса и выбора слова из списка. «Его система предсказания слов была очень старой, — говорит Нахман. «Новая система намного быстрее и эффективнее, но нам пришлось обучать Стивена ее использованию. Вначале он жаловался на нее, и только позже я понял, почему: он уже знал, какие слова будут предсказывать его предыдущие системы. к предсказанию своего собственного предсказателя слов». Intel работала со SwiftKey, включив в систему многие документы Хокинга, так что в некоторых случаях ему больше не нужно вводить символ, прежде чем предиктор угадает слово на основе контекста. «Фраза «черная дыра» не требует набора текста, — говорит Нахман. «Выбор «the» автоматически предсказывает «черный». Выбор «черный» автоматически предсказывает «отверстие»».

Самый популярный

Новая версия пользовательского интерфейса Hawking (теперь называемая ACAT, в честь инструментария Hawking Assistive Contextually Aware Toolkit) включает в себя различные контекстные меню, которые предоставляют ; и новый менеджер лекций, который дает ему возможность контролировать время выступления во время переговоров. У него также есть кнопка отключения звука, любопытная функция, которая позволяет Хокингу отключать синтезатор речи. «Поскольку он управляет своим выключателем щекой, когда он ест или путешествует, он создает случайный вывод», — говорит Вуд. «Но бывают моменты, когда ему действительно нравится придумывать случайную речь. Он делает это все время, и иногда это совершенно неуместно. Я помню, как однажды он наугад набрал «х х х х», что через его синтезатор речи звучало как «секс». секс, секс, секс».

Офис Вуда находится рядом с офисом Хокинга. Это больше семинар, чем исследование. Одна стена завалена электронным оборудованием и экспериментальными прототипами. На столе установлена ​​камера, часть текущего проекта с Intel. «Идея состоит в том, чтобы направить камеру на лицо Стивена, чтобы запечатлеть не только движения его щек, но и другие движения лица», — говорит Вуд. «Он мог двигать челюстью в стороны, вверх и вниз, управлять мышью и даже потенциально управлять своей инвалидной коляской. Это крутые идеи, но они не будут реализованы в ближайшее время».

Еще один экспериментальный проект, предложенный производителями инвалидной коляски Хокинга ранее в этом году, представляет собой джойстик, который прикрепляется к подбородку Хокинга и позволяет ему самостоятельно управлять инвалидной коляской. «Это то, чем Стивен очень увлечен, — говорит Вуд. «Проблема заключалась в контакте подбородка Стивена с джойстиком. Поскольку его шея не двигается, ему трудно включать и выключать джойстик». Вуд показывает WIRED видео недавнего испытания этой системы. В нем вы можете увидеть, как Хокинг едет в своей инвалидной коляске по пустой комнате, урывками. «Как видите, ему удалось на нем покататься, — говорит Вуд. «Ну, вроде».

Вуд показал WIRED маленькую серую коробочку, в которой находилась единственная копия синтезатора речи Хокинга. Это CallText 5010, модель, подаренная Хокингу в 1988 году, когда он посетил компанию Speech Plus, производившую ее. Карта внутри синтезатора содержит процессор, который превращает текст в речь, устройство, которое также использовалось для автоматических телефонных автоответчиков в 1980-х годах.

«Я пытаюсь сделать программную версию голоса Стивена, чтобы нам не приходилось полагаться на эти старые аппаратные карты», — говорит Вуд. Для этого ему нужно было отследить первоначальную команду Speech Plus. В 1990, Speech Plus была продана Centigram Communications. Centigram была приобретена Lernout и Hauspie Speech Products, которая была приобретена ScanSoft в 2001 году. ScanSoft была куплена Nuance Communications, многонациональной компанией с 35 офисами и 1200 сотрудниками. Вуд связался с ним. «У них была программа с голосом Стивена 1986 года, — говорит Вуд. «Похоже, мы могли найти его на резервной ленте в Nuance».

Хокинг очень привязан к своему голосу: в 1988 году, когда Speech Plus дал ему новый синтезатор, голос был другим, поэтому он попросил их заменить его оригинальным. Его голос был создан в начале 80-х инженером Массачусетского технологического института Деннисом Клаттом, пионером алгоритмов преобразования текста в речь. Он изобрел DECtalk, одно из первых устройств для перевода текста в речь. Первоначально он сделал три голоса из записей своей жены, дочери и самого себя. Женский голос назывался «Прекрасная Бетти», детский «Кит Кид», а мужской голос, основанный на его собственном, «Идеальный Пол». «Идеальный Пол» — это голос Хокинга.

Эта история была впервые опубликована в выпуске WIRED UK 01.15

Голос Стивена Хокинга, сделанный человеком, который потерял свою собственную

В 1985 году Стивену Хокингу сделали спасительную трахеостомию, которая лишила его естественного голоса.

Боковой амиотрофический склероз (БАС), также известный как болезнь Лу Герига или болезнь двигательных нейронов (БДН), уже привел к тому, что его речь стала невнятной, и это повлияло на его способность двигаться.

Он общался, поднимая брови, когда кто-то указывал на нужную букву на орфографической карточке.

Ситуация изменилась, когда Уолтер и Джинджер Уолтош, основатели Words Plus, подарили коммуникационную систему под названием Equalizer. Супружеская пара изначально начала разрабатывать его для покойной матери Джинджер, Люсиль Эванс, у которой был БАС.

Компьютерная программа прокручивала общие фразы на экране, и Хокинг мог выбрать, что он хотел сообщить, одним нажатием кнопки.

Когда он отправил сообщение, оно было обработано синтезатором речи под названием Speech Plus CallText 5010. В его мужском голосе был американский акцент. Акцент Денниса Х. Клатта.

Человек, стоящий за голосом

Исследователь Массачусетского технологического института (MIT) Деннис Клатт работал над синтезом речи с 1960-х годов.

Он разработал алгоритм под названием KlattTalk или MITalk. В нем было три голоса — «Идеальный Пол», «Красивая Бетти» и «Кит Кид», — созданные с использованием часов записей самого себя, его жены и дочери. (Вы можете послушать голоса на BBC Sounds.) Впервые они были выпущены в 1984 году как часть синтезатора речи DECtalk.

«Идеальный Пол» скоро будет использоваться и в синтезаторе Speech Plus CallText 5010.

Джозеф Перкелл, коллега Денниса Клатта, рассказал Witness History: «Впервые я понял, что Стивен Хокинг собирается использовать синтезатор речи Денниса Клатта, когда услышал, как он говорит. Я подумал: «Вау, я смотрю Стивена Хокинга и слышу голос Денниса. Это было поразительно.

«В то время качество было настолько хорошим, насколько это вообще возможно. По сравнению с другими схемами, которые разрабатывались в других местах, схема [Клэтта] явно звучала лучше».

Голос, который жил на

Профессор Стивен Хокинг выступает с докладом TED, 2008

Работая над технологией, которая даст Стивену Хокингу голос, Деннис Клатт терял свой собственный. Рак щитовидной железы поразил его голосовые связки, и в последнее десятилетие своей жизни он говорил хриплым и скрипучим голосом, прежде чем полностью потерял способность говорить. Он умер в 1988 году.

Его голос жил.

Профессор Хокинг использовал Speech Plus CallText 5010 до своей смерти в 2018 году, несмотря на то, что ему предлагали «апгрейды». На самом деле, когда ему понадобился новый синтезатор — через два десятилетия после того, как Speech Plus прекратил свою деятельность, — его команда приложила все усилия, чтобы восстановить «Perfect Paul».

«Я сохранил его, потому что я не слышал голоса, который мне нравится больше, и потому что я идентифицировал себя с ним», — сказал Хокинг в 2006 году. ему от передачи самых сложных идей, читал ли он лекции в Кембриджском университете, давал телеинтервью или выступал в НАСА. И это не удерживало его от разговора.

Плюс голос Хокинга стал одним из самых известных и узнаваемых в мире. Неудивительно, что создатели фильма, работавшие над его биографическим фильмом 2014 года «Теория всего», хотели сделать все правильно.

Сценарист Энтони Маккартен сказал Variety: «Мы потратили много времени и денег, пытаясь воспроизвести голос, но так и не получили его».

К счастью, Хокинг был настолько доволен предварительным показом, что разрешил создателям фильма использовать «Идеальный Пол», который теперь является торговой маркой.

Эдди Редмэйн, сыгравший Хокинга в фильме, сказал: «С его специфическим голосом это мечта актера. Вы на шаг ближе к истине».

Синтетические голоса сегодня

Преобразование текста в речь прошло долгий путь с тех пор, как Деннис Клатт разработал «Идеальный Пол».

Клатт разработал свой алгоритм синтеза речи вручную. Основываясь на параметрах собственного голоса, он сформировал правила преобразования звуков, сгенерированных компьютером, в звуки, похожие на речь. Эта техника была новаторской в ​​то время.

Теперь у нас есть компьютерные алгоритмы, которые могут изучать сложные голосовые модели с миллионами параметров. Они также могут обрабатывать гораздо больший объем и разнообразие данных человеческой речи. В результате у нас есть синтетические голоса, которые звучат намного естественнее.

Это стало возможным благодаря совершенствованию аппаратного обеспечения, а также возможности выгружать данные и обработку в облако. Команда, работавшая над более ранними синтезаторами речи Хокинга, была ограничена вычислительной мощностью «автономных» устройств преобразования текста в речь, в частности тех, которые могли поместиться в инвалидном кресле.

Синтетическая речь может никогда не достичь полного соответствия человеческой речи, но различить их становится все труднее. В 1980-х годах преобразование текста в речь было достаточно развито, чтобы помочь одному из величайших научных умов мира передать свои идеи. Теперь он предлагает экономичный способ для всех людей выразить свое мнение.

В BeyondWords мы используем усовершенствованные голоса ИИ и обработку естественного языка (NLP) для преобразования письменного контента в аудио.

Источники

https://www.