如何突破Decoder性能瓶頸？英偉達(dá)專家揭秘

自從 “Attention is All You Need” 在2017年提出以來(lái)，Transformer已成為 NLP 領(lǐng)域中非常熱門(mén)的深度學(xué)習(xí)網(wǎng)絡(luò)架構(gòu)。但是在推理部署階段，其計(jì)算性能往往難以滿足在線業(yè)務(wù)對(duì)于低延遲和高吞吐的要求。

在英偉達(dá)開(kāi)源的FasterTransformer 1.0版本中，針對(duì)BERT中的 Transformer Encoder進(jìn)行了優(yōu)化和加速，經(jīng)過(guò)高度優(yōu)化之后，降低了用戶使用transformer編碼的時(shí)延。

在解決了Encoder性能問(wèn)題之后，英偉達(dá)將重點(diǎn)放到了同樣重要的Transformer Decoder推理上。

因此，英偉達(dá)推出了FasterTransformer 2.0版本，提供針對(duì)解碼器進(jìn)行高度優(yōu)化的transformer layer。同時(shí)，還提供了優(yōu)化過(guò)后的整個(gè)翻譯流程，滿足想要在翻譯場(chǎng)景中大幅降低時(shí)延的用戶們。