Идиот или гений? Как работает и на что способен искусственный интеллект

Иными словами, появление глубокого обучения улучшило машинный перевод. Но можем ли мы интерпретировать эти результаты таким образом, чтобы оправдать заявление, что машинный перевод теперь близок к “человеческому уровню”? На мой взгляд, это утверждение необоснованно по нескольким причинам. Прежде всего, вычисление средних оценок может вводить в заблуждение. Представьте ситуацию, в которой большинство переведенных предложений получило оценку “великолепно”, в то время как многим была присвоена оценка “ужасно”. Их средней оценкой станет “довольно хорошо”. Однако вы, вероятно, предпочтете более надежную систему перевода, которая всегда “довольно хороша” и никогда не бывает “ужасна”.

Кроме того, утверждения, что эти переводческие системы близки к “человеческому уровню” или “равноценны человеку”, всецело основаны на оценке переводов отдельных, изолированных предложений, а не более длинных фрагментов текста. В более длинных фрагментах текста предложения могут в значительной степени зависеть друг от друга, но их взаимосвязи можно упустить, если переводить их по отдельности. Я не видела ни одного формального исследования по оценке машинного перевода длинных фрагментов текста, однако, ориентируясь на собственный опыт, могу сказать, что качество перевода, скажем, “Google Переводчика” существенно снижается при переводе целых абзацев, а не отдельных предложений.

Наконец, во всех оценках использовались предложения, взятые из новостей и со страниц “Википедии”, которые обычно написаны таким образом, чтобы избежать двусмысленности и не допустить использования идиом, в то время как идиоматический язык может вызывать у систем машинного перевода серьезные затруднения.

Трудности перевода

Помните историю о ресторане, которую я рассказала в начале предыдущей главы? Я написала ее не для того, чтобы тестировать переводческие системы, но она хорошо иллюстрирует трудности, которые вызывает у систем машинного перевода разговорный, идиоматический и потенциально неоднозначный язык.

С помощью “Google Переводчика” я перевела историю о ресторане с английского на французский, итальянский и китайский языки. Получившиеся переводы (без оригинала) я отправила двуязычным друзьям, владеющим английским языком и языками перевода, и попросила их перевести перевод Google обратно на английский, чтобы понять, что именно человек, говорящий на языке перевода, может узнать из текста, переведенного на этот язык. Результатами моего эксперимента вы можете насладиться ниже. (Выполненные “Google Переводчиком” переводы, с которыми работали мои друзья, приводятся в примечаниях в конце книги.)

Оригинал:

A man went into a restaurant and ordered a hamburger, cooked rare. When it arrived, it was burned to a crisp. The waitress stopped by the man’s table. “Is the burger okay?” she asked. “Oh, it’s just great”, the man said, pushing back his chair and storming out of the restaurant without paying. The waitress yelled after him, “Hey, what about the bill?” She shrugged her shoulders, muttering under her breath, “Why is he so bent out of shape?”

Мужчина вошел в ресторан и заказал гамбургер “с кровью”. Когда ему принесли заказ, гамбургер оказался пережарен до хруста. К столику гостя подошла официантка. “Вам нравится бургер?” – спросила она. “О, он просто великолепен”, – ответил мужчина, отодвинул стул и гневно зашагал прочь, не оплатив счет. Официантка крикнула ему вслед: “Эй, а кто платить будет?” Она пожала плечами и буркнула себе под нос: “И что он так раскипятился?”

Обратный перевод с Google-французского, выполненный человеком: