體育資訊3月17日訊 16日月之暗面Kimi發(fā)布技術(shù)報(bào)告，對大模型十年沒有變化的核心結(jié)構(gòu)殘差連接行重新設(shè)計(jì)，使每一層能夠選擇性地關(guān)注此前各層輸出，而非統(tǒng)一求和，48B模型訓(xùn)練效率提升1.25倍，被行業(yè)解讀為提前預(yù)告了下一代模型的關(guān)鍵模塊。
月之暗面三位聯(lián)合創(chuàng)始人楊植麟、吳育昕、周昕宇帶領(lǐng)數(shù)十名研究員完成了這項(xiàng)研究。
論文發(fā)布后，馬斯克評價(jià)Kimi的研究令人印象深刻，前OpenAI研究科學(xué)家Andrej Karpathy表示該研究真正踐行了“Attention is All You Need”的理念，推理之父、前OpenAI研究副總裁Jerry Tworek認(rèn)為，深度學(xué)習(xí)2.0來了。（澎湃新聞）
