ACL 2019 论文:谷歌提出增强神经网络机器翻译鲁

  有关科技文化的新闻即使近年来应用 Transformer 模子举行神经机械翻译(NMT)博得了重大得胜,然而 NMT!

  即使近年来应用 Transformer 模子举行神经机械翻译(NMT)博得了重大得胜,然而 NMT 模子对输入的轻细滋扰依旧很敏锐,从而导致各类分歧的过错。谷歌琢磨院的一篇 ACL 2019 论文提出了一种手腕,运用天生的顽抗性样原来升高机械翻译模子的鲁棒性,防范输入中存正在的微细扰动度对其酿成影响。结果解释,该手腕升高了 NMT 模子正在圭臬基准上的功能。正在本文中,作家 Yong Cheng、 Lu Jiang 和 Wolfgang Macherey 对其正在 ACL 2019 上宣告的《具有双顽抗性输入的鲁棒神经机械翻译》论文举行了先容。

  近年来,应用 Transformer 模子举行神经机械翻译(NMT)博得了重大的得胜。基于深度神经搜集的 NMT 模子平日正在格外大的并行语料库(输入/输出文本对)上以一律数据驱动的体例举行端到端磨练,7月1日的军事新闻而不必要强制运用显式的言语正派。

  NMT 模子即使博得了重大的得胜,但它对输入中存正在的轻细滋扰依旧很敏锐,这就会导致它展示各类分歧的过错,如翻译不够、翻译过分或翻译过错。比方,给定一个德语句子,最优秀的 NMT 模子 Transformer 会天生无误的翻译。

  然而,当咱们对输入语句举行微小的更改时,例如将 geladenen 换成同义词 vorgeladenen,翻译就会变得格外分歧(正在这个例子中翻译结果是过错的)!

  因为 NMT 模子缺乏鲁棒性,导致其正在很众不行经受其不鲁棒性的贸易编制难以得以现实利用。是以,研习鲁棒翻译模子不只是很有代价的,也是很众场景利用所恳求的。然而,固然神经搜集的鲁棒性正在盘算机视觉规模仍旧获得了普通的琢磨,然而相干文献中对研习鲁棒 NMT 模子的琢磨却很少。

  正在《具有双顽抗性输入的鲁棒神经机械翻译》一文中,咱们提出了一种手腕,即运用天生的顽抗性样原来升高机械翻译模子的鲁棒性,以防范输入中存正在的微细扰动度对其酿成影响。咱们研习了一个鲁棒 NMT 模子,以直策应用模子常识和扭曲模子预测的妄图来战胜顽抗性样本。结果解释,手机看开奖-288直播该手腕升高了 NMT 模子正在圭臬基准上的功能。

  一个理念的 NMT 模子将会对存正在轻细分歧的独立输入天生似乎的翻译结果。咱们手腕的思念是运用顽抗性输入来滋扰翻译模子,以期升高模子的鲁棒性。它运用一种称为顽抗天生(AdvGen)的算法来实行上述手腕,该算法天生可托的顽抗样原来打扰模子,然后将它们反应到模子中举行防御磨练。固然该手腕的灵感来自于天生顽抗搜集(GANs)的思念,但它并不依赖于鉴识器搜集,而是纯洁地将顽抗性样本利用于磨练中,有用地实行了磨练集的众样化及扩展。

  第一步是运用 AdvGen 滋扰模子。咱们最初运用 Transformer 依据源输入句、方针输入句和方针输出句盘算翻译吃亏。然后 AdvGen 随机拔取源句子中的少少单词,假设它们是匀称漫衍的。每个单词都有一个似乎单词的联系列外,比方单词 「candidates 」可用以替代 「substitution」运用,AdvGen 从膺拔取最能够正在 Transformer 输出中激发过错的单词。然后,这个天生顽抗性语句被反应给 Transformer,Transformer进而对其启动防御阶段。

  最初,将 Transformer 模子利用于输入句(左下),并与方针输出句(右上)和方针输入句(右中;从占位符「 」开头)相连合,从而盘算翻译吃亏。AdvGen 函数将源句子、单词拔取漫衍、单词「 candidates 」和翻译吃亏举动输入,构制一个顽抗性源样本。

  正在防御阶段时候,顽抗性语句会被反应到 Transformer 模子中。Transformer 再次盘算翻译吃亏,但这回运用的是顽抗性源输入。应用上述手腕,AdvGen 运用方针输入句、单词替代 「 candidates 」、当心力矩阵盘算的单词拔取漫衍和翻译吃亏构修了一个顽抗性方针样本。

  正在防御阶段,顽抗性源样本举动 Transformer 模子的输入,用来盘算翻译吃亏。然后,AdvGen 运用与前面相像的手腕从方针输入天生一个顽抗性方针样本?

  结果,将顽抗性语句被反应到 Transformer 中,并应用顽抗性源样本、顽抗性方针输入样本和方针语句盘算鲁棒性吃亏。假如扰动导致了明显的吃亏,则将吃亏最小化,如此当模子遭遇好似的扰动时,就不会犯同样的过错。另一方面,假如扰动导致的吃亏较小,则什么也不会产生,这解释模子仍旧或许治理这种扰动。

  通过将该手腕利用于圭臬的汉英和英德翻译基准中,外领略咱们的手腕是有用的。与角逐性 Transformer 模子比拟,咱们旁观到 BLEU 值划分明显升高 2。8(汉英翻译)和 1。6(英德翻译),获取了新的最佳功能。

  然后,咱们正在一个噪声数据集上评估咱们的模子,该数据集运用好似于 AdvGen 形容的历程天生。咱们运用一个整洁的输入数据集,比朴直在圭臬翻译基准上运用的数据集,并随机拔取用于似乎单词替代的单词。咱们浮现,比拟其他迩来的模子,咱们的模子显示出更好的鲁棒性。

  与 Miyao 等人(论文链接:)和 Cheng(论文链接:)等人正在人工噪声输入的 Transformer 模子比拟。

  结果解释,咱们的手腕或许战胜输入语句中的小扰动,升高泛化功能。它的功能要比同类的翻译模子更优,并正在圭臬基准上实行了最优秀的翻译功能。咱们愿望咱们的翻译模子可能举动一个鲁棒构修模块来更始很众下逛劳动,稀奇是那些对存正在瑕疵的翻译输入具有敏锐性或难以容忍的劳动。

上一篇:没有了
下一篇:机器翻译VS人工翻译 翻译的未来在哪里?

网友回应

欢迎扫描关注我们的微信公众平台!

欢迎扫描关注我们的微信公众平台!