擺脫Transformer依賴?這家AI初創公司推出國內首個非Attention機制大模型

.. 文 | 蘇建勛

Transformer是當下爆火的GPT、LLAMA、PaLM等大模型普遍採用的基礎架構,憑藉強大的自然語言理解能力,Transformer在問世的短短几年內便取代了傳統的RNN網絡結構,成為自然語言處理領域的主流模型架構。

如今,一家創業公司試圖動搖Transformer的「江山」。1月24日,上海岩芯數智人工智能科技有限公司(下稱「岩芯數智」),正式發佈了國內首個非Attention機制的通用自然語言大模型——Yan模型。

作為行業內少有的非Transformer大模型,Yan模型用全新自研的「Yan架構」代替Transformer架構,用百億級參數達成千億參數大模型的性能效果——記憶能力提升3倍、速度提升7倍的同時,實現推理吞吐量的5倍提升。 

至於為何另闢蹊徑,尋求非Transformer的大模型路徑,岩芯數智CEO劉凡平指出,以大規模著稱的Transformer,在實際應用中的高算力和高成本,讓不少中小型企業望而卻步。其內部架構的複雜性,讓決策過程難以解釋;長序列處理困難和無法控制的幻覺問題也限制了大模型在某些關鍵領域和特殊場景的廣泛應用。隨着雲計算和邊緣計算的普及,行業對於高效能、低能耗AI大模型的需求正不斷增長。

圖片來自岩芯數智官方

劉凡平提到:「在全球範圍內,一直以來都有不少優秀的研究者試圖從根本上解決對 Transformer架構的過度依賴,尋求更優的辦法替代 Transformer。就連Transformer 的論文作者之一Llion Jones也在探索『Transformer 之後的可能』,試圖用一種基於進化原理的自然啟發智能方法,從不同角度創造對AI框架的再定義。」

新技術在誕生時往往會遭遇質疑,尤其是AI領域,Transformer架構作為被主流廠商所接受的方向,想要去顛覆甚至超越,勢必會遭遇更多爭議,對此,劉凡平也做好了準備。

「被質疑很正常,只要你說創新,如果別人不深刻理解,就會有質疑。因為他覺得他沒有聽懂,所以有質疑的權利。我很尊重大家的權利,但是我不能因為他們有質疑,我們就放棄我們自己想做的事情。」劉凡平對36氪等媒體表示。

那麼,岩芯數智自主研發出的「Yan架構」,表現如何?

如果說基於Transformer架構的大模型是「耗油且高昂」的燃油車,那麼基於Yan架構的大模型,更像是更加經濟、更加節能的新能源汽車。它去除了Transformer中高成本的注意力機制,代之以計算量更小、難度更低的線性計算,大大提高了建模效率和訓練速度,效率翻倍的同時實現了成本的驟降。

「兩個方面看,一方面縮短客戶的溝通時間、減少客戶的理解成本,一般需求階段夠會在1-2個月,通過Yan架構,1個月以內已經可以出為客戶私有化模型,溝通成本會降低,所見即所得的溝通,會比空談好很多;另一方面,項目成本會降低,例如300萬合同的項目可以降低到260萬左右,但是利潤不一定是下降了。」在談及新技術框架的落地周期和成本時,劉凡平在接受媒體採訪時談到。

發佈會上,研究團隊展示了Yan模型和同等參數規模Transformer模型的大量實測對比,經實驗數據表明,Yan架構可以實現比Transformer架構更高的訓練效率、更強的記憶能力、更低的幻覺表達。

在同等資源條件下,Yan架構的模型,訓練效率和推理吞吐量分別是Transformer架構的7倍及5倍,並使記憶能力得到3倍提升。Yan架構的設計,使得Yan模型在推理時的空間複雜度為常量,因此針對Transformer面臨的長序列難題,Yan模型同樣表現優異。

對比數據表明,在單張4090 24G顯卡上,當模型輸出token的長度超出2600時,Transformer的模型會出現顯存不足,而Yan模型的顯存使用始終穩定在14G左右,理論上能夠實現無限長度的推理。

另外,研究團隊首創了一種合理的關聯特徵函數和記憶算子,結合線性計算的方式,降低模型內部結構的複雜度。全新架構下的Yan模型,將打開以往自然語言處理的「不可解釋黑盒」,充分發掘決策過程的透明度和可解釋性,從而助力大模型在醫療、金融、法律等高風險領域的廣泛運用。

會上,岩芯數智CEO劉凡平表示:「我們期望Yan架構可作為人工智能領域的基礎設施,並以此建立AI領域的開發者生態,最終讓任何人在任何設備上都能使用通用大模型,獲取更加經濟、便捷、安全的AI服務。」

 

 


想在手機閱讀更多HP Palm / WebOS資訊?下載【香港矽谷】Android應用
分享到Facebook
技術平台: Nasthon Systems