Перевод искусственный: Искусственный перевод / Аналитика

Искусственный интеллект научился переводить на иностранные языки без помощи человека

Фото: iStock

Ученый из испанского Университета Страны Басков (UPV) и программист из Facebook в двух разных исследованиях доказали, что нейросети способны самостоятельно обучаться переводу на иностранные языки, пишет журнал Science. Теперь, если компьютеру дать много книг на китайском и арабском языках, которые не будут дублироваться, то алгоритм сможет сам научиться переводу.

В двух работах использовался метод машиного обучения без учителя, в котором алгоритмам предлагалось создать двуязычные словари без помощи человека. Это решение основано на том, что языки сильно похожи по тому, как слова группируются друг с другом. Так, слова, обозначающие «стол» и «стул» во всех языках часто используются вместе. Поэтому, если компьютер распределяет эти совместные появления слов в форме большого дорожного атласа со словами вместо городов, то «карты» для разных языков будут напоминать друг друга, однако в них будут разные «названия». Затем машина определит, как лучше всего наложить один «атлас» с другим, и создаст двуязычный словарь.

Алгоритмы, предложенные в исследованиях, также могут переводить тексты на уровне предложений. Для этого используются методы обратного перевода и шумоподавления. В рамках обратного перевода предложение грубо переводится с одного языка на другой, а затем — на язык оригинала. Если итоговое предложение не идентично оригинальному, то нейросети настраивают перевод таким образом, чтобы в следующий раз перевод был точнее. Метод шумоподавления добавляет в предложение «шум» (изменяет порядок слов или удаляет некоторые из них) и пытается перевести предложение на язык оригинала. Вместе эти методы обучают нейросети структуре языка.

Однако предложенные методы несколько различаются. Так, система из UPV, предложенная программистом Микелем Артексте, чаще пользуется методом обратного перевода во время обучения. А вторая система, которую описал программист из Facebook Гийом Лампль, добавляет еще один шаг к переводу. Обе системы, перед переводом предложения кодируют его в более абстрактное представление, а лишь затем переводят. Однако система, предложенная в Facebook проверяет, чтобы «промежуточный язык» стал полностью абстрактным. По словам авторов двух исследований, объединив усилия, они смогут улучшить результаты своих работ.

В переводе текста с английского на французский, который был составлен из набора в почти 30 млн предложений, оба алгоритма набрали по 15 баллов во время автоматической оценки качества машинного перевода (BLEU) при переводе в обоих направлениях. У Google Translate 40 баллов за тест, но технология переводчика обучается под контролем. Специалисты по переводу набирают в таком тесте более 50 баллов. Авторы утверждают, что результаты систем можно улучшить, добавив при обучении несколько тысяч параллельных предложений.

Большинство систем на основе машинного обучения тренируются под наблюдением человека: компьютер делает предположение, узнает правильный ответ, а затем корректирует процесс. Эта система хорошо работает, когда компьютер нужно обучить переводу между, например, французским и английским языками, поскольку на них языках написано множество документов. Однако такая модель работает хуже для менее популярных языков, а также для пар, в которых мало одинаковых текстов.

Подписывайтесь на наш канал в Telegram!

Краткое руководство по переводу с использованием искусственного интеллекта

Искусственный интеллект (ИИ) обеспечил некоторые из наиболее значительных достижений в области технологий перевода за последнее десятилетие. Благодаря прорывам в технологиях машинного обучения, таких как нейронные сети, обработка естественного языка и глубокое обучение, ИИ-переводчик может многое порадовать.

Однако вокруг этой технологии ходит много слухов и спекуляций.

В этом кратком руководстве мы рассмотрим основы перевода с использованием искусственного интеллекта, развеем несколько распространенных мифов, а также объясним, как лингвисты используют эту технологию для более быстрого получения результатов без потери качества перевода.

Что такое перевод ИИ и как он работает?

ИИ-перевод — это самый передовой подход к машинному переводу, использующий ряд технологий машинного обучения для более глубокого понимания языка. Искусственный интеллект значительно продвинулся за последние пару десятилетий, в основном благодаря достижениям в двух ключевых областях: вычислительной мощности компьютера и технологии машинного обучения.

Машинное обучение использует интеллектуальные алгоритмы для анализа огромных объемов данных и выявления закономерностей, что позволяет «обучаться» и воспроизводить автоматизированные задачи, включая перевод.

В рамках машинного обучения развитие технологии, называемой нейронными сетями, и методологий, называемых глубоким обучением, привело к созданию самой передовой на сегодняшний день итерации перевода ИИ: нейронного машинного перевода (NMT).

Для более подробного ознакомления с нейронным машинным переводом ознакомьтесь со следующей статьей в нашем блоге: Что такое нейронный машинный перевод?

В этой статье мы цитируем следующее определение с DeepAI.org:

«Нейронный машинный перевод — это подход к машинному переводу, который применяет большую искусственную нейронную сеть для прогнозирования вероятности последовательности слов, часто в форме целых предложений. Системы [нейронного машинного перевода] быстро выходят на передний план машинного перевода, недавно вытеснив традиционные формы систем перевода».

Нейронный машинный перевод — это технология, на которой в настоящее время работают самые передовые в отрасли инструменты перевода с искусственным интеллектом, включая Google Translate, Microsoft Translator, Unbabel и наши собственные решения для машинного перевода.

По сути, нейронная сеть — это особый тип алгоритма машинного обучения, который воспроизводит нейронное поведение человеческого мозга. В частности, он имитирует человеческое обучение, повторяя одну и ту же задачу и изучая последовательности событий, которые наиболее эффективно достигают желаемого результата.

В больших масштабах эти алгоритмы обучаются переводу между языками, учатся на собственных ошибках (и успехах) и продолжают совершенствоваться, анализируя огромные объемы данных. Google Translate, например, анализирует миллиарды переводов на тысячи языков, чтобы улучшить качество своего вывода.

Насколько хорош последний перевод искусственного интеллекта?

Технологии, лежащие в основе современных систем перевода с искусственным интеллектом, впечатляют, но задача, которую они решают, огромна. Та же технология предназначена для выявления заболеваний еще до того, как появятся симптомы; управлять беспилотными транспортными средствами и «видеть» содержимое изображений.

Тем временем результаты лучших доступных инструментов перевода ИИ остаются относительно неутешительными. Это не делает технологию менее впечатляющей; это просто подтверждает реальность того, как много делает человеческий мозг, когда он слушает или читает и понимает язык со всем контекстом и нюансами, которые мы используем ежедневно.

Еще до того, как мы подумаем о переводе, перспектива алгоритмов, соответствующих способности людей выполнять и понимать один язык, все еще остается научной фантастикой.

Как предприятия используют ИИ-перевод?

Чтобы лучше понять роль ИИ-перевода в языковой индустрии, полезно посмотреть, как компании в настоящее время используют эту технологию. Вот несколько полезных примеров:

Машинный перевод плюс постредактирование (MTPE):

Профессиональные переводчики просматривают и редактируют контент, созданный с помощью ИИ-перевода, чтобы довести его до требуемого качества.

Мгновенный перевод:

Для сценариев, в которых нет времени на полный процесс перевода, и ИИ предпочтительнее, чем отсутствие решения вообще.

Анализ:

Международным компаниям может потребоваться доступ к информации на иностранных языках, а технология ИИ может обеспечить мгновенный перевод (проверьте точность, прежде чем делать какие-либо выводы или принимать решения).

Внутреннее использование:

Для контента, который не просматривается публично, например исследований, цитат, статистики, новостей и т. д. для внутреннего использования.

Стратегическое планирование:

Мгновенные переводы могут помочь командам разрабатывать стратегические планы и быстрее реагировать на возможности — опять же, точность перевода требует проверки, прежде чем предпринимать какие-либо действия.

Чат-боты:

Многоязычные компании используют технологию искусственного интеллекта для обеспечения автоматизированного (хотя и менее совершенного и более механического) взаимодействия с пользователями.

Пользовательский контент:

Такие компании, как Twitter и Airbnb, используют эту технологию для автоматического перевода пользовательского контента, такого как обзоры, сообщения и посты.

Служба поддержки:

Международные компании могут мгновенно реагировать на проблемы клиентов до тех пор, пока сотрудники службы поддержки не будут готовы вмешаться.

По сути, перевод с использованием искусственного интеллекта вступает в действие, когда времени мало и вам нужен мгновенный ответ, то есть когда скорость важнее точности.

Одним из лучших примеров может быть многоязычный чат-бот, встроенный в веб-сайт, обеспечивающий мгновенные ответы на вопросы пользователей. Производительность бота имеет ограничения, и переводы не всегда могут быть точными на 100%, но, по сути, он выполняет роль, которую не могут выполнять люди.

То же самое верно и для профессиональных переводчиков, которые используют решения ИИ для создания мгновенных черновиков, которые они могут просматривать, редактировать и улучшать для достижения требуемого качества. Если инструмент перевода с искусственным интеллектом может достичь даже 20-процентной точности на протяжении всего проекта, это по-прежнему означает значительную экономию времени и средств, что имеет большое значение для клиентов и компаний, использующих эти решения.

Чтобы узнать больше о том, как перевод с использованием искусственного интеллекта может помочь вам сэкономить время и деньги на переводческих проектах независимо от их масштаба, свяжитесь с нами — заполните форму на нашей контактной странице.

Перевод сложнее для бизнеса, и искусственный интеллект может помочь

Искусственный интеллект

Сергей Тарасов — stock.adobe.com

Искусственный интеллект (ИИ) для перевода — это то, что Google и другие компании предоставили частным лицам. Доступ к нему можно получить с вашего телефона. Тем не менее, перевод по-прежнему является гораздо большей и сложной проблемой, чем многие думают. У делового сообщества есть много сложных и уникальных потребностей, которые усложняют задачу точного и надежного перевода, и ИИ демонстрирует все более широкие возможности.

Одним из ключей к деловому переводу является тот простой факт, что в каждой сфере бизнеса есть свои термины, фразы и даже идиомы. Обычная система перевода в облаке, широко обученная с помощью краудсорсинга или других общедоступных методов, не будет обладать точностью, необходимой для делового перевода. Кроме того, само облако по-прежнему является проблемой. Многие цели бизнеса связаны с защитой интеллектуальной собственности (ИС). Для этого они хотят, чтобы их информация оставалась локально, за их брандмауэрами.

Теперь добавим сложность требований к конфиденциальности, таких как GDPR Европейского Союза и CCPA Калифорнии. Все чаще правительства устанавливают правила в отношении того, где должны храниться данные граждан и чем можно делиться. Местоположение и анонимность информации также усложняют понимание компанией многоязычного бизнеса.

Тогда есть сотрудничество. Почти каждый в бизнесе использует электронные средства связи, будь то электронная почта и обмен текстовыми сообщениями или более формальные системы чата. Дополнение этих приложений точным и мгновенным переводом может улучшить внутреннюю коммуникацию глобальной компании и способствовать успеху.

«В то время как электронное открытие было очевидной точкой входа в бизнес-перевод с помощью ИИ», — начал JP Barazza, директор по информационным технологиям, SYSTRAN. «Представьте глобальные группы разработчиков в таких отраслях, как высокие технологии и биотехнологии. Они могут стать более эффективными с помощью строгого перевода». Поддержка клиентов — еще одна горизонталь, где перевод может быть очень полезен.

БОЛЬШЕ ДЛЯ ВАС

Искусственный интеллект — только часть решения

Как и в облачных моделях, система SYSTRAN использует обучение без учителя. Тем не менее, он использует гораздо более тщательный набор данных для обучения систем для каждой отрасли. Нейронная сеть является лишь компонентом логики системы. Из-за специфической терминологии во многих языках процедурная логика используется в предварительной и последующей обработке по сети, чтобы помочь с четкими правилами и терминологией бизнес-секторов. В конце концов, ими легче управлять для четко определенных лингвистических соглашений, в то время как нейронная сеть может справиться с гибкостью общего языка.

Одним из примеров необходимости правил является использование имен в американском английском и французском французском языках (да, мне пришлось это сделать…). В США мы регулярно используем имя лидера, например «президент Байден». Во Франции в новостях обычно не используются имена, а упоминаются титулы, например «Президент Соединенных Штатов». Подумайте о двухстороннем переводе. «Хотя это просто перевести с английского, опустив название и расширив заголовок», — сказал Жан Сенелларт, генеральный директор. «Если мы добавим имя при переходе с французского на английский, что произойдет при смене президента? Система будет продолжать добавлять имя предыдущего президента до тех пор, пока не будет достаточно данных для переобучения системы. Мы приняли решение сохранить французский справочный стиль при переводе на английский язык, чтобы оставаться точными». Использование явных правил — чистый способ решения этой проблемы.

Такое сочетание нейронной сети и процедурных правил также обеспечивает гибкость компании. Базовую систему можно обучать, используя разные плагины для разных компаний. Это обеспечивает как более простой цикл разработки, так и более чистый способ предоставления обновлений. Конкретные корпоративные и отраслевые правила могут быть добавлены без переобучения системы глубокого обучения.

Деловой перевод отличается

Для бизнеса необходима повышенная точность. «Потребители готовы допускать ошибки, если общий смысл передается посредством перевода», — сказал г-н Барацца. «Бизнесу нужна точность. Это касается не только соблюдения нормативных требований и контрактов. Недостаток точности может замедлить разработку продукта, снизить безопасность и вызвать недовольство клиентов».

Из-за этой потребности в точности и из-за состояния отрасли есть еще один компонент решения. Мы еще не достигли того момента, когда автоматизированным системам можно полностью доверять. Люди должны просматривать переводы.

Внутри системы на данный момент перевод сложный и ориентирован на достаточно небольшую группу языков, поэтому они используют попарные механизмы. Например, один движок переводит с английского на французский, а другой — с французского на английский. Обучение систем использует странную форму обратного распространения. В одном движке обратное распространение означает исправление результатов и подачу их обратно в качестве входных данных. В переводе это означает перевод результатов обратно через второй механизм, а затем исправление. Это сложнее (по крайней мере, для меня), но я понимаю основы очень интересного цикла, в котором оба двигателя помогают друг другу тренироваться.

Так сейчас делаются переводы, но грядут изменения. Этот стиль означает множество отдельных движков, и чем больше количество языков, тем больше перестановок означает значительное увеличение количества движков. Одно из решений состояло в том, чтобы использовать английский язык в качестве промежуточного языка, переводя все через него, чтобы ограничить различные движки. Это добавляет неэффективности и неточностей. Facebook недавно анонсировал единую модель, которая может переводить во всех направлениях для нескольких языков. В то время как отдельные люди чувствуют себя более комфортно с ошибками, так что это отличное место для проверки такой модели, в конечном итоге технология улучшится, и корпоративный перевод выиграет.