神经机器模型能翻译200种语言

时间:2024-06-06 14:53:36 推荐 604

科技日报记者 张梦然

《自然》5日发表的一篇论文报道了一个Meta人工智能(AI)模型的底层技术。该模型能翻译200种不同语言,增加了机器翻译的语言数量。

神经机器翻译模型利用人工神经网络翻译各种语言。这些模型通常需要大量可在线获取的数据加以训练,但并非所有语言数据基本上公开、低成本或是普遍可及的,这类语言被称为低资源语言。一味的增加模型翻译语言数量,可能会妨碍模型的翻译质量。

此次,Meta的法国研究团队和“不落下任何语言”(NLLB)团队开辟了一种跨语言技术,能让神经机器翻译模型学习怎么利用翻译高资源语言的预存能力,实现对低资源语言的翻译。研究团队开辟了一个在线多语言翻译工具,名为“NLLB-200”。该工具能容纳200种语言,其低资源语言数量是高资源语言数量的3倍,翻译表现则比当今已有系统高44%。

由于团队在许多低资源语言上只能获取1000—2000例样本,为了扩大“NLLB-200”的训练数据量,他们用一个语言识别系统发现了这些特定语言的更多实例。团队还从互联网存档中挖掘双语文本数据,帮助提升其翻译质量。

研究团队指出,那个工具能够帮助很少被翻译的那些语言的使用者,让他们也能用上互联网和其他技术。此外教育是一个特别重要的应用,因为那个模型能够帮助低资源语言使用者获取更多图书和研究文章。但团队也表示,目前误译的事情仍有可能浮现。

来源:中国科技网