全球首款类脑脉冲大模型“瞬悉 1.0”问世，实现全流程国产化

【导语】9月8日消息，中国科学院自动化研究所李国齐、徐波团队联合沐曦MetaX，成功打造全球首款全流程国产化类脑脉冲大模型“瞬悉1.0”，在国产千卡GPU算力平台实现超长序列推理效率数量级提升，并开源相关模型、技术报告及测试网址，为我国类脑计算与大模型(xíng)融(róng)合(hé)创(chuàng)新(xīn)开(kāi)辟(pì)新(xīn)路径。

　　9 月(yuè) 8 日(rì)消(xiāo)息(xi)，据(jù)中(zhōng)国(guó)科(kē)学(xué)院(yuàn)自(zì)动(dòng)化(huà)研(yán)究(jiū)所(suǒ)官(guān)方(fāng)微(wēi)信(xìn)公(gōng)众(zhòng)号(hào)消(xiāo)息(xi)，近(jìn)日(rì)，中(zhōng)国(guó)科(kē)学(xué)院(yuàn)自(zì)动(dòng)化(huà)研(yán)究(jiū)所(suǒ)李(li)国(guó)齐(qí)、徐(xú)波(bō)团(tuán)队(duì)在(zài)发(fā)表(biǎo)原(yuán)创(chuàng)内(nèi)生(shēng)复(fù)杂(zá)性(xìng)理(lǐ)论(lùn)系(xì)列(liè)论(lùn)文的(de)工(gōng)作(zuò)基(jī)础(chǔ)上(shàng)，与(yǔ)沐(mù)曦(xī) MetaX 合(hé)作(zuò)，打(dǎ)造(zào)了(le)类(lèi)脑(nǎo)脉(mài)冲(chōng)大(dà)模(mó)型(xíng)“瞬(shùn)悉(xī) 1.0”（SpikingBrain-1.0），在(zài)国(guó)产(chǎn)千(qiān)卡(kǎ) GPU 算(suàn)力(lì)平(píng)台(tái)上(shàng)完成全流程训练和推理，实现了大模型在超长序列推理上数量级的效率和速度提升，展示了构建国产自主可控的新型非 Transformer 大模型架构生态的可行性。研究团队开源了 SpikingBrain-1.0-7B 模型并开放 SpikingBrain-1.0-76B 测试网址，同步公开了经工业界大规模验证的类脑脉冲大模型 SpikingBrain-1.0 中英文技术报告。这(zhè)是(shì)全球(qiú)首(shǒu)款(kuǎn)类(lèi)脑(nǎo)脉(mài)冲(chōng)大(dà)模(mó)型(xíng)，实(shí)现(xiàn)了(le)全流(liú)程(chéng)国(guó)产(chǎn)化(huà)，标(biāo)志(zhì)着(zhe)我(wǒ)国(guó)在(zài)类(lèi)脑(nǎo)计(jì)算(suàn)与(yǔ)大(dà)模(mó)型(xíng)融(róng)合(hé)创(chuàng)新(xīn)方(fāng)面(miàn)取(qǔ)得(de)重(zhòng)要(yào)突(tū)破(pò)。

从(cóng)官方介绍获悉，研发团队借鉴大脑神经元内部复杂工作机制提出“基于内生复杂性”的大模型构架方式，打造类脑脉冲大模型“瞬悉 1.0”（ SpikingBrain-1.0），在理论上建立了脉冲神经元内生动力学与线性注意力模型之间的联系，揭示了现有线性注意力机制是树突计算的特殊简化形式，从而清晰地展示了(le)一(yī)条(tiáo)不(bù)断(duàn)提(tí)升(shēng)模(mó)型(xíng)复(fù)杂(zá)度(dù)和(hé)性(xìng)能(néng)的(de)新(xīn)型(xíng)可(kě)行(xíng)路径。研(yán)发(fā)团(tuán)队(duì)进(jìn)而(ér)构(gòu)建(jiàn)并(bìng)开(kāi)源(yuán)了(le)基(jī)于(yú)脉(mài)冲神经元、具有线性（SpikingBrain-1.0-7B）及混合线性复杂度（SpikingBrain-1.0-76B，激活参数量 12B）的新型类脑基础模型，开发了面向国产 GPU（沐曦 MetaX 曦云 C550）集群高效训练和推理框架、Triton 算子库、模型并行策略以及集群通信原语。

　　李国齐表示，这项成果不仅是我国在类脑脉冲大模型架构和国产算力全流程建设上的重大突破，更为法律、医疗、科学模拟等超长序列应用场景提供了更高效的建模工具，也将启迪下一代神经形态计算理论和芯片设计。