ag百家乐积分 ViT作家飞机上也要读的修订版Transformer论文，花2个小时详备批注解读共享出来
ViT中枢作家Lucas Beyer，长文分析了一篇修订Transformer架构的论文ag百家乐积分，引起推选围不雅。
他前不久从谷歌跳槽到OpenAI，此次是在飞机上阅读论文并写下了分析。
这篇论文被他简写为DiffTranformer，不外不是Sora底层架构的阿谁Diffusion Transformer，而是不久前来自微软的Differencial Transformer。
论文中先容，举座想路通常差分放大电路或降噪耳机，用两个信号的差值来滤除共模噪声，接续Transformer模子信噪比低的问题。
这篇论文发布时引起大皆暖和，但也濒临一些质疑，在弹幕版alphaXiv上作家与读者进行了好多商讨。
Beyer起首也对这篇著作抓保留派头，认为“难说念MHA中的两个刺办法头不可学习到这些吗？”。
但历程近期和同业的一些互动，认为不应该苟且下定论，再行看了一遍论文后，他转换了看法
我的领先印象被团队的实践透顶突破了，他们的实践相等公和善严慎。
此外还有一个彩蛋：
大佬无为会用坐飞机的时间来打4把Dota 2游戏快速形态。
现时写这个帖子也不可当论文评审责任写进简历，是纯纯的孝顺个东说念主时间了，以后也不会常写。
总之先给大佬点赞。
大佬解读热门论文
Beyer评价这篇论文的中枢革命相等simple和nice，不错用一句话空洞。
将两个刺办法头配对，然后推论(softmax(Q1K1) - λ*softmax(Q2K2)) V，其中λ是一个可学习的标量。
他认为这项考虑的动机相等充分：跟着凹凸文变长，（微小的）对不有关token的刺办法之和可能训诲对少数有关token的刺办法，从而归并它们。
这一洞见标明，跟着输入长度的加多，经典Transformer可能越来越难以捕捉到要津信息。DIFF Transformer试图接续这一问题。
但他仍不笃信对于锻真金不怕火充分的模子来说这是个多大的问题，但愿在DIFF Transformer论文中有一些对于attention散布/熵的图表，以实质阐明这个插图的合感性。
接下来，他指出了几个容易被疏远的细节：
与Figure1不同，DiffAttn实质上并莫得对差值再行归一化。那么它究竟若何放大”有关”的分数呢？
Beyer建论说文中能提供更多实质锻真金不怕火的DIFF Transformer的分析图表。
λ的计较极端复杂，波及两个可学习的指数函数之差，加上一些基线λ_init，在早期的层是0.1，后头又是0.8。
Beyer认为λ不一定需若是恰恰，并建议提供更多对可学习λ参数的分析。
每个刺办法头的输出皆历程了层归一化并乘以(1-λ_init)，AG旗舰厅百家乐然后再concat并乘以WO，这里也需要更多图表来阐明。
接下来看论文中大皆的实践。考虑者基本上分叉明晰StableLM-3B-4E1T，称之为Diff-3B，看成基线模子进行比拟。
可惜的是，基线模子只在其中3个数据集上论说了效果，其中2个Diff-3B的发扬皆极端好。
Beyer怀疑这个StableLM-3B是否真是是一个强基线。
在参数目和token数的缩放弧线上，DIFF Transformer乍一看很有长进。但仔细不雅察后，Beyer建议了两点质疑：
缩放弧线较着分为两组，在它们之间画一条线有点牵强。梭巡附录可知，考虑者为较大的两个模子裁减了学习率。这是否意味着他们遭受了不踏实性问题？
每次实践只用了10B个token锻真金不怕火，这个数目相等小。Beyer瓦解其中的计较资源限度，但仍然感到有点不安。
这些实践标明，在疏导大小的情况下，DIFF Transformer性能会更好一些，况兼锻真金不怕火时间疏导。
然则，它的的推理速率也会慢一些(慢5-10%)。
Beyer建议最佳能看到以计较量或实质时间为横轴的缩放弧线。
在长文本评测和对输入样本规则的鲁棒性方面，DIFF Transformer发扬出了较着的上风。
极端是在凹凸文体习的鲁棒性实践中，DIFF Transformer在不同的样本成列规则下，性能方差远小于经典Transformer。
这标明它更阻遏易被输入的狭窄变化干预，而经典Transformer容易受到样本规则的影响，在最佳和最坏情况下发扬收支很大。
总的来说，Beyer对这篇论文的看法有所改不雅：
考虑者的实践相等全面和严慎，真实展现了DIFF Transformer比单纯的”两个刺办法头相减”更多的后劲。
这项责任展现了一些有长进的火花。它在其他东说念主的锻真金不怕火任务中能否很好地复现、或带来匡助，还有待进一步不雅察。
Lucas Beyer是谁
12月初，Lucas Beyer与Xiaohua Zhai、Alexander Kolesnikov集体从谷歌被挖到OpenAI。
他们曾共同建议Vision Transformer，始创了Transformer在CV边界期骗的先河。
据他个东说念主官网中先容，他在比利时长大，曾设想制作电子游戏以及从事AI考虑。
他在德国亚琛工业大学学习机械工程，并在那儿取得了机器东说念主感知和计较机视觉博士学位，2018年加入谷歌。
除了此次长文分析DIFF Transformer以外，他还时常对新考虑发表一些短的批驳，比如最近火爆的DeepSeek v3，他也建议我方的建议。
总之是一位相等值得暖和的学者ag百家乐积分。