Чтение по губам: Чтение по губам. Как научиться технике чтения по губам?

Чтение по губам. Как научиться технике чтения по губам?

Умение читать по губам многие называют искусством. На самом деле это ценный навык, который может освоить любой. Такое мастерство является скрытой способностью человека, которую при желании можно развивать и использовать.

Зачем нам изучать чтение по губам? Как называется человек, освоивший такой навык? В западной практике их называют лип-ридеры (lip-readers). В русском языке этот термин не используется.

Кому может пригодиться навык чтения с губ

Изучать чтение по губам люди начинают по разным причинам. Одних заинтересовали книги и фильмы про шпионов, где главные герои пользовались этим навыком, чтобы «подслушать» важную информацию. Другие выбрали этот способ на пути к самосовершенствованию. А третьим такое умение просто жизненно необходимо. Для глухих и слабослышащих людей чтение по губам – это единственный способ восприятия информации.

Даже если у вас нет острой необходимости владеть восприятием речи с губ, можно сказать, что в жизни такой навык может пригодиться каждому. Это даёт возможность без труда общаться в ситуациях, где нужно вести себя тихо и не переспрашивать, когда что-то недослышали в шумном месте. В целом этот навык поможет лучше понимать окружающих.

Как научиться читать по губам?

Чтение с губ – это навык, который человек может в себе развить путём обучения и тренировок. Естественно, что у кого-то предрасположенность к развитию этого навыка больше, а у кого-то меньше, но можно смело заявить, что чтение по губам может освоить каждый. В зависимости от наличия врождённой склонности к такому виду восприятия, разным людям для этого может потребоваться разное количество времени и сил.

В чём сложность обучения?

Казалось бы, что сложного в том, чтобы запомнить движения губ при произношении каждой буквы и слога? Не всё так просто. Рисунок губ разный при произношении различных букв. Но есть некоторые буквы, которые произносятся по-разному, но «выглядят» одинаково. Например, сложно различить согласные «Ф» и «В». Практически невозможно отличить, произносится «Б», «М» или «П». И, наконец, шипящие звуки: «Ш», «Ж», «Ч» — проблема для восприятия. Среди гласных существуют пары таких звуков: «О» — «Ё», «У» — «Ю», «А» — «Я». Эти буквы называют невидимыми.

Научиться воспринимать такие звуки можно, поместив их в слоги и подключив логику и догадку.

Упражнения для самообучения

Первым помощником в самостоятельном изучении техники чтения по губам является зеркало. Что нужно сделать – перед зеркалом последовательно произносить буквы, потом слоги и слова, далее словосочетания и выражения. При этом особое внимание уделяйте своему отражению. Основная ваша задача – запомнить движения губ при произношении наиболее употребляемых слогов.

Далее в обучении нам поможет телевизор. Возьмите любимый фильм, который вы пересматривали несколько раз. Желательно, чтобы вы помнили, о чём ведутся диалоги в этом фильме. Выключаем звук и смотрим, пытаясь зрительно воспринять разговор. На следующем этапе таким же образом можно смотреть новости или незнакомые фильмы и телепередачи. Станет заметно, что если вы не знаете, о чём говорят на телеэкране, воспринимать информацию по губам становится сложнее. Но главное — практика.

Вашими помощниками на пути изучения техники чтения по губам могут стать родные и близкие. Попросите их «поговорить» с вами без звука и попробуйте в бытовых условиях уловить смысл такой речи.

Устраивайте «охоту». Можно просто сидя в парке на лавочке наблюдать за отдыхающими и тренировать чтение по губам.

Проблемы, с которыми можно столкнуться

Существуют также некоторые нюансы, которые могут усложнить процесс обучения:

• Неизвестная тема разговора – это может стать проблемой на начальных этапах обучения. Она исчезает, когда появляются практические навыки восприятия речи с губ. В редких случаях, когда разговор идёт на узкоспециализированные темы, с использованием терминов, речь может не восприниматься даже профессиональными лип-ридерами.
• Нечёткая артикуляция – индивидуальная особенность каждого человека. Один может произносить слова, чётко фиксируя мимическими мышцами каждый слог, другой при разговоре меньше задействует мимику, что усложняет понимание.
• Быстрый темп речи – может усложнить восприятие, так как при скоростном разговоре изменяется артикуляция. Очень быструю речь можно понимать только после длительных практических тренировок.

Специальные курсы или компьютерная программа – что выбрать?

Существует несколько вариантов, с помощью которых осваивается техника чтения по губам. Мы уже рассмотрели, каким образом можно получить этот навык самостоятельно. Но если есть выбор: учится дома, применяя компьютерную программу, или записаться на специализированные курсы, что будет эффективней? Каким способом можно быстрее достичь поставленной цели и освоить чтение по губам?

Обучение с помощью компьютерной программы представляет собой «общение» с синтетическим лицом. Оно произносит текст, ваша задача — этот текст воспринять без звукового сопровождения. Есть разные настройки и подсказки. Те, кто пользовались этой программой, чтобы освоить чтение по губам, говорят, что понимать такого робота очень легко, у него яркая лицевая мимика и выразительная артикуляция. Но проблема в том, что, привыкнув к таким идеальным условиям, потом очень сложно перестроиться на восприятие живых людей, каждый из которых индивидуален.

То есть для осваивания теории и азов восприятия такая программа может быть полезна, но для практики чтения губ нужно выбирать и изучать человеческую речь, хотя это и сложнее.

На курсах же обучение проходит в группе. В процессе занятий возможно увидеть артикуляцию многих людей и сравнить особенности их мимики. Это сразу даёт практический опыт владения навыком. Хотя такое обучение может длиться дольше, но оно однозначно эффективней. Кроме того, уроки проводят квалифицированные сурдопедагоги, способные растолковать все непонятные и спорные моменты.

Нейросеть LipNet читает по губам с точностью 93,4% / Хабр

Командир Дэйв Боумен и второй пилот Фрэнк Пул, не доверяя компьютеру, решили отключить его от управления кораблём. Для этого они совещаются в звукоизолированной комнате, но HAL 9000 читает их разговор по губам. Кадр из фильма «Космическая одиссея 2001 года»

Чтение по губам играет важную роль в общении. Ещё эксперименты 1976 года показали, что люди «слышат» совершенно другие фонемы, если наложить неправильный звук на движение губ (см. «Hearing lips and seeing voices», Nature 264, 746-748, 23 December 1976, doi: 10.1038/264746a0).

С практической точки зрения чтение по губам — важный и полезный навык. Можно понимать собеседника не выключая музыку в наушниках, читать разговоры всех людей в поле зрения (например, всех пассажиров в зале ожидания), прослушивать людей в бинокль или подзорную трубу. Область применения навыка очень широка. Освоивший его профессионал без труда найдёт высокооплачиваемую работу. Например, в сфере безопасности или конкурентной разведке.

У автоматических систем чтения по губам тоже богатый практический потенциал. Это медицинские слуховые аппараты нового поколения с распознаванием речи, системы для беззвучных лекций в публичных местах, биометрическая идентификация, системы скрытой передачи информации для шпионажа, распознавание речи по видеоряду с камер наблюдения и т. д. В конце концов, компьютеры будущего тоже будут читать по губам, как HAL 9000.

Поэтому учёные уже много лет пытаются разработать системы автоматического чтения по губам, но без особого успеха. Даже для относительно простого английского языка, в котором количество фонем гораздо меньше, чем в русском языке, точность распознавания невысока.

Понимать речь на основании мимики человека — сложнейшая задача. Освоившие этот навык люди пытаются распознавать десятки согласных фонем, многие из которых очень похожи внешне. Неподготовленному человеку оcобенно трудно различить пять категорий визуальных фонем (то есть визем) английского языка. Другими словами, различить по губам произношение некоторых согласных звуков практически невозможно. Неудивительно, что люди очень плохо справляются с точным чтением по губам. Даже самые лучшие среди инвалидов по слуху демонстрируют точность всего лишь 17±12% из 30 односложных слов или 21±11% из многосложных слов (здесь и далее результаты для английского языка).

Автоматическое чтение по губам — одна из задач машинного зрения, которая сводится к покадровой обработке видеоряда. Задача сильно усложняется низким качеством большинства практических видеоматериалов, которые не позволяют точно считывать спатиотемпоральные, то есть пространственно-временные характеристики лица во время разговора. Лица двигаются и поворачиваются в разные стороны. Последние разработки в области машинного зрения пытаются отслеживать движение лица в кадре, чтобы решить эту проблему. Несмотря на успехи, до последнего времени они были способны распознавать только отдельные слова, но не предложения.

Значительного прорыва в данной области добились разработчики из Оксфордского университета. Обученная ими нейросеть LipNet стала первой в мире, которая успешно распознаёт по губам речь на уровне целых предложений, обрабатывая видеоряд.

Покадровые карты салиентности для английских слов «please» (вверху) и «lay» (внизу) при обработке нейросетью, которая читает по губам, выделяя наиболее привлекающие внимание (салиентные) признаки

LipNet — рекуррентная нейросеть типа LSTM (long short-term memory). Архитектура показана на иллюстрации. Нейросеть обучали с использованием метода нейросетевой темпоральной классификации (Connectionist Temporal Classification, CTC), который широко используется в современных системах распознавания речи, поскольку с ним отпадает необходимость обучения на наборе входных данных, синхронизированным с правильным результатом.

Архитектура нейросети LipNet. На входе подаётся последовательность кадров T, которые затем обрабатываются тремя слоями пространственно-временной (спатиотемпоральной) свёрточной нейросети (STCNN), каждый из которых сопровождается слоем пространственной выборки. Для извлечённых признаков повышается частота дискретизации по временной шкале (апсемплинг), а затем они обрабатываются двойной LTSM. Каждый временной шаг на выходе LTSM обрабатывается двухслойной сетью прямого распространения и последним слоем SoftMax

На особом корпусе предложений GRID нейросеть показывает точность распознавания 93,4%. Это не только превышает точность распознавания других программных разработок (которые указаны в таблице ниже), но и превосходит эффективность чтения по губам специально обученных людей.

Особый корпус GRID составлен по следующему шаблону:

command(4) + color(4) + preposition(4) + letter(25) + digit(10) + adverb(4),

где цифра соответствует количеству вариантов слов для каждой из шести словесных категорий.

Другими словами, точность 93,4% — это всё-таки результат, полученный в тепличных лабораторных условиях. Разумеется, при распознавании произвольной человеческой речи результат будет гораздо хуже. Не говоря уже об анализе данных с реальной видеосъёмки, где лицо человека не снимают крупным планом в отличном освещении и с высоким разрешением.

Работа нейросети LipNet показана на демонстрационном видео.

Научная статья подготовлена к конференции ICLR 2017 и опубликована 4 ноября 2016 года в открытом доступе.

Руководство для начинающих по чтению по губам

Чтение по губам позволяет вам «слушать» говорящего, наблюдая за лицом говорящего, чтобы понять его речевые паттерны, движения, жесты и выражения. Часто называемое «третьим ухом», чтение по губам выходит за рамки простого чтения по губам говорящего для расшифровки отдельных слов.

Обучение чтению по губам включает в себя развитие и отработку определенных навыков, которые могут сделать этот процесс намного проще и эффективнее. К ним относятся: 

• Научиться использовать сигналы, обеспечиваемые движениями рта, зубов и языка говорящего 

• Чтение и оценка информации, представленной выражением лица, языком тела и жестами в сочетании с произносимыми словами

• Использование зрения для помощи при прослушивании 

•Использование предварительных знаний для заполнения пробелов, которые могут возникнуть в понимании, поскольку невозможно прочитать каждое сказанное слово.

Интересно, что длинные слова и целые предложения легче читать, чем короткие слова.

Интересные факты о чтении по губам

•Легче читать по губам в тихой обстановке, когда вас никто не отвлекает.

•Некоторые люди бормочут или с трудом говорят, поэтому их практически невозможно прочитать. Однако большинству людей гораздо легче читать.

•Поскольку чтение по губам зависит от визуальных сигналов, чтение по губам должно иметь хорошее зрение.

•Читать по губам нужно при ярком свете, так как невозможно читать по губам в темноте.

•Чтение по губам намного проще, когда речь идет о родном языке человека. Например, говорящему по-английски будет намного легче читать по губам по-английски, чем по губам по-испански.

• Некоторые формы губ при разговоре выглядят очень похожими, например, «th» и «f», что затрудняет их расшифровку. Вот почему так важно улавливать тонкие признаки лица.

Чтение по губам может стать второй натурой для многих читателей по губам. Даже когда вы учитесь читать по губам, ваше понимание улучшается, поскольку вы лучше понимаете другие сигналы, необходимые для успеха в любом типе общения.

Преимущества чтения по губам 

•Люди часто описывают ощущение обучения чтению по губам как то, что мир снова открывается, так как они могут лучше общаться. Эта способность понимать, о чем идет речь, помогает укрепить доверие и развить социальные и коммуникативные навыки. Неспособность понять, о чем идет речь, может привести к чувству разочарования и изоляции. Общение является частью человеческого контакта и имеет важное значение для жизни.

• Члены семьи и друзья людей с нарушениями слуха должны научиться читать по губам, так как это дает им опыт, который позволяет им более чутко относиться к проблемам, с которыми сталкиваются их близкие. Это также заставляет их лучше понимать потребности своих глухих и слабослышащих родственников, чтобы они могли корректировать свои действия, чтобы помочь общению.

• Специалистам по общению также может быть полезно научиться читать по губам, потому что это может научить их инструментам, необходимым им для более эффективного общения с глухими и слабослышащими людьми как в профессиональных, так и в личных ситуациях, таких как деловые встречи, лекции, пресс-конференции или даже вечеринки. .

Зачем учиться читать по губам?

Обучение чтению по губам может означать разницу между сохранением связи с миром и медленной изоляцией от него. Результатом неспособности общаться является отказ от многих видов деятельности, которые раньше доставляли удовольствие человеку, который больше не может слышать так же хорошо, как раньше, или вообще не слышит. Разочарование, возникающее из-за непонимания или потери сути происходящего, может привести к тому, что вы постепенно уйдете из общества и станете пассивным наблюдателем жизни, а не ее активным участником. Это также может повлиять на отношения и возможности.

Научиться читать по губам — это один из способов поддерживать связь с близкими, друзьями, сообществом и миром в целом. Способность понимать, что говорят ваши близкие и друзья, может предотвратить недопонимание в этих очень важных отношениях. Это также возможность научиться справляться с социальными ситуациями и действовать в них, например, на вечеринках и мероприятиях с большим скоплением людей, поскольку вы будете лучше осведомлены об условиях, которые вам нужны, чтобы лучше понимать разговоры вокруг вас.

Чтобы научиться читать по губам, не обязательно выходить из зоны комфорта. Легко открыть дверь и быть вовлеченным в мир, попробовав онлайн-курс чтения по губам. Этот курс может помочь вам приобрести навыки, необходимые для того, чтобы стать или оставаться активным участником всего, что вы любите делать.

Примечание. Для использования этого сайта необходимо включить JavaScript.

Как читать по губам — Услуги Hearing Link

10 полезных техник чтения по губам

Обучение чтению по губам никогда не заканчивается. Есть разные формации, которые нужно выучить, разные диалекты, и каждое лицо отличается от других, по-своему обращаясь со словами.

Однако, чем больше вы узнаете, тем больше будет расти ваша уверенность в себе, повышая и укрепляя ваши коммуникативные способности.

Не удивляйтесь, если почувствуете усталость. Чтение по губам требует глубокой концентрации, и вам нужно будет делать частые перерывы, особенно поначалу. Когда у вас появится возможность, закройте глаза и расслабьтесь на несколько минут.

Проверьте эти 10 советов и приемов чтения по губам:

1. Знать контекст

Всякий раз, когда мы читаем по губам, знание контекста дает нам гораздо больше шансов на точное чтение по губам. Может быть неловко проверять обсуждаемую тему, особенно в середине разговора, но не бойтесь спрашивать, какова текущая тема (вежливое «Мы говорим о X?» человеку рядом с вами может сделать обманывать). Знание темы разговора также облегчает чтение по губам омофенов (слов, которые выглядят похожими).

Контекст помогает нам читать по губам, потому что мы можем предвидеть и интерпретировать легче и точнее.

2. Используйте чтение по губам, чтобы уточнить то, что вы слышите

Большинство из нас что-то слышит, пусть и очень мало (для тех из нас, кто плохо слышит, чтение по губам «без голоса» происходит только на наших занятиях по чтению по губам). Нам нужно использовать наши навыки чтения по губам, чтобы понять смысл того, что мы слышим.

3. Посмотрите на модели движений губ и формы

Нужно заметить всю последовательность того, как произносится звук, чтобы прочитать его по губам.

Если использовать книгу для тренировки чтения по губам, мы увидим визуальную звуковую форму в конце движения. Но нам нужно следовать шаблону, чтобы увидеть , как сделана форма (поскольку несколько форм выглядят похожими к концу движения/паттерна губ).

Поначалу попытка прочесть эти узоры по губам кажется невыполнимой миссией, но практика позволяет добиться совершенства, и мы можем достичь в этом совершенства.

По мере того, как мы становимся более опытными, мы можем замечать незначительные различия между рисунками губ, а также сможем наблюдать движения, совершаемые в области шеи/горла.

4. Предположите, какие слова последуют за

Когда мы говорим, мы знаем, какое слово последует за другим. Это помогает нам предвидеть, например, После «я» обычно следует глагол – я, я пошел, у меня есть и т. д.

Если мы по губам прочитаем «Я счастлив», мы автоматически добавим «есть», чтобы это имело смысл.

Точно так же мы знаем, что может следовать за этими фразами:

• Это …
• Это было…
• Отсюда следовало, что …
• Можем ли мы…
• Когда сделал …
• Это было прекрасно – день/платье/ужин/концерт/вечеринка и т. д.
• Дайте это мне/нам/им/детям/ему/ей/группе/классу/маме и т. д.

Мы пользуемся языком уже много лет и инстинктивно знаем, какие слова и фразы могут следовать.

5. Используйте нестандартное мышление, чтобы сделать обоснованное предположение

Я уезжаю… в отпуск/на работу/поездом и т. д.

У вас назначен прием к… врачу/парикмахеру/стоматологу/консультанту/обеду и т. д.

Хочешь… чашку чая/печеньку/пойти с нами/подождать здесь и т.д.

Мы можем использовать доказательства из ситуации, в которой мы находимся, чтобы помочь нам читать по губам. Мы… с другом/в зале ожидания/на светском мероприятии/на встрече? Наш опыт может помочь!

6. Замените по смыслу!

Мы знаем, что некоторые слова выглядят очень похоже, поэтому, если мы сможем быстро заменить похожее на вид слово, мы сможем понять смысл предложения.

Например, разговаривая с другом в очереди на автобус, мы можем прочитать по губам: «Ты видел новую отбивную?» Это не имеет смысла! Мы знаем, что слова «магазин» и «отбивная» выглядят одинаково, поэтому, если мы быстро заменим слово «отбивная» на «магазин», это будет выглядеть так: «Вы видели новый магазин?» Так лучше, в этом есть смысл.

По мере того, как мы будем лучше читать по губам, мы будем делать это чаще.

7. Практикуйтесь в распознавании хорошо известных слов и фраз

Попадание в разные ситуации может вызвать стресс, например. врачи, покупки, прием в больнице, визит к другу, интервью.

Мы можем снять часть стресса, попрактиковавшись в таких ситуациях с другом. Есть ключевые фразы и вопросы, которые можно задать в таких ситуациях, и, научившись распознавать их, мы можем помочь себе.

8. Использовать знание ритма речи

Это может показаться странным, но когда мы говорим, мы используем ритм, ударение и интонацию, чтобы помочь нам передать наше сообщение. Даже если мы этого не слышим, мы можем увидеть разницу в том, как произносятся слова, и использовать это, чтобы еще больше помочь нам в чтении по губам.

Приветствия и фразы, используемые для встреч, действительно хорошо читать по губам, потому что почти инстинктивно мы можем распознавать слова и ритм.

Представьте, что вы видите друга, который говорит: «Привет, как дела?». Вы узнаете это почти сразу, потому что это так знакомо.

Мы должны использовать такие фразы, чтобы укрепить нашу уверенность в качестве читателей по губам и расширить наш опыт.

Это может быть применимо ко многим ситуациям, например, в магазине, когда помощник приходит нам на помощь. Они могут спросить: «Я могу вам помочь?» или «Какой размер вы ищете?» Благодаря тому, что мы знакомы с этими ситуациями и знаем их, мы можем очень хорошо распознавать вопросы.

9. Используйте невербальное общение

Люди часто передают информацию о себе (что они чувствуют, о чем говорят) с помощью языка тела и жестов. Поначалу это кажется невозможным — все, на чем мы можем сосредоточиться, — это рот, но со временем мы разовьем свои навыки и будем искать все эти подсказки.

• Растяжка может указывать на скуку, усталость и даже на боль.
• Жесты рук помогают продемонстрировать, что человек чувствует (показывая пальцем, чтобы подчеркнуть точку зрения, или излагая закон, когда злится).
• Выражение лица говорит о многом (счастливое, грустное, сытое по горло, скучающее, рассерженное, взволнованное, озадаченное, любопытное и т. д.), и аналогичным образом опущенные или поднятые плечи дают дополнительную информацию о настроении человека.

Если вы хотите узнать больше о языке тела, вы можете прочитать множество отличных и интересных книг.

• Просмотр англичан от Kate Fox
• Наблюдение за людьми: руководство Десмонда Морриса по языку тела от Десмонда Морриса                      
• Язык тела на рабочем месте: Аллан Пиз и Барбара Пиз       
• Полная книга по языку тела: как читать отношение других по их жестам, Аллан Пиз

10. Заручитесь помощью друга!

Все мы сталкивались с тем, что говорили о чем-то, например. погода или катание на лыжах, и пока мы все еще говорим о лыжных трассах, все остальные отправились в сторону льда в своем джине с тоником.

В такие моменты очень полезно иметь приятеля, который может мягко указать нам направление разговора.

Читать по губам на оживленных светских мероприятиях может быть намного сложнее, чем читать по губам одного человека в тихой комнате. Обычно больше фонового шума, может быть фоновая музыка, а непосредственная близость разговоров других людей означает, что мы можем получать смешанные сообщения в том смысле, что мы читаем по губам один разговор и слышим фрагменты другого.