5 月 30 日动静：近日 Meta 团队开发了一款名为 Megabyte 的 AI 模子以抗衡 Transformer，据称 Megabyte 解决了 Transformer 模子所面对的问题，而且于速率上晋升了 40%。

今朝 Transformer 于天然言语处置惩罚等范畴很是风行，但因为其序列数据的处置惩罚体式格局是慢慢举行的，没法并行化处置惩罚，是以练习速率较慢; 难以处置惩罚长序列，由于其于反向流传历程中，梯度很轻易消散或者爆炸;此外，因为需要于每一一步保留汗青信息，内存耗损较年夜。

而 Megabyte 模子将输入以及输出序列划分为 patch，而不是单个的 token。这类架构使患上对于年夜大都使命而言字节级另外猜测相对于轻易，例如按照前几个字符猜测完成的单词等。这象征着于年夜型收集中可以精简字符以晋升效率，而且内部猜测可使用更小的模子举行。Megabyte 模子的这类要领解决了现今 AI 模子所面对的练习速率、靠得住性及硬件占用比应战。

此外，于计较效率方面，比拟在等年夜的 Transformer 以及 Linear Transformer，Megabyte 模子于固定模子巨细以及序列长度规模内使用更少的 token。是以相对于在 Transformer，Megabyte 模子可以于不异的计较成本下练习内容更富厚、体积更年夜、机能更好的模子。

上一篇:华体会官方博客平台 WordPress 诞生 20 周年
下一篇:华体会官方《夺宝奇兵 5》定档 6 月 30 日中国内地上映