«Яндекс» создал искусственный интеллект для перевода текстов
Как указывает блог компании Яндекс, теперь вместе со статистическим переводчиком работает технология перевода на основе нейронной сети. В итоге перевод выполняют обе модели, после чего алгоритм на основе метода машинного обучения CatBoost сравнивает результаты и предлагает лучший.
Изначально Яндекс.Переводчик использовал статистическую систему. При переводе она разделяет предложения на кусочки и для каждого подбирает все возможные переводы с указанием их вероятности. Из переведённых фрагментов составляются разные варианты нового предложения. Пользователю предлагается тот вариант, который содержит переводы с высокими вероятностями и в котором фрагменты хорошо сочетаются друг с другом.
Нейросеть же работает не со словами и фразами, а с более крупными единицами - предложениями. «Такой подход позволяет учесть смысловые связи внутри предложения - иными словами, понять его контекст. Слова и фразы не существуют в вакууме - они сочетаются с другими словами и фразами, образуя новые смыслы. Нейросеть улавливает смыслы даже в случае, если слова, которые их передают, находятся в разных частях предложения», - поясняют в компании.
Вот как перевела нейронная сеть:
А вот так решил статистический подход:
Сейчас две системы будут компенсируют недостатки друг друга. Пока что гибридная система используется для переводов с английского на русский. Но вскоре новая технология будет доступна и для прочих языков.