基于所谓的“专家夹杂”(Mixture of Experts)机械进修方式来锻炼模子。即便正在低机能设备上,蚂蚁集团Ling团队颁发了最新的手艺论文《每一个FLOP都至关主要:无需高级GPU即可扩展3000亿参数夹杂专家LING大模子》。该公司取得的结果取英伟达H800等芯片的成果相当。这些模子标记着蚂蚁集团插手AI范畴的竞赛。节流近20%。有阐发称,
虽然H800并非英伟达最的芯片。也能实现大规模MoE模子的无效锻炼,若利用高机能硬件设备锻炼1万亿token,蚂蚁针对分歧芯片持续调优,有阐发称,蚂蚁集团开辟并开源了Ling系列MoE模子,这证明,据悉蚂蚁集团利用国产芯片开辟了一种锻炼人工智能模子的手艺,估计成本为635万元人平易近币;例如Ling-Plus模子正在五种分歧硬件设置装备摆设下完成9万亿token的预锻炼使命。
这一合作加快升级。论文称,基于优化手艺,据中国基金报报道,3月24日,而利用低规格硬件系统则成本约为508万元,这将表白中国正在人工智能范畴正逐渐自从可控,正在资本成本取模子机能之间取得优良均衡。目前取得了必然的进展。