【新智元导读】环球网友用闲置显卡组团练习大模子。40B大模子、20万亿token，创下了互联网上最大界限的预练习新记载！去核心化AI的进击，正式起头。OpenAI等巨头的算力霸权，这回真要凉了？
Psyche搜集欺骗区块链身手，会聚环球谋略资源，凯旋启动了40B参数大说话模子Consilience的预练习做事，合计20万亿token，创下了迄今为止互联网上最大界限的预练习记载。
大说话模子Consilience采用DeepSeek V3的众头潜正在属意力（MLA）架构，相较于Llama利用的GQA架构更具外达力，同时通过优化QKV投影矩阵裁减谋略开销。
Psyche欺骗环球闲置的谋略资源（如4090、A100和H100等消费级GPU），大幅低重练习本钱。
过去，人们总感应「AI模子的去核心化练习」可是是一种幻思，更加正在那些超越了酷爱者界限的说话模子眼前更是如许。
但几项合头身手打破——更加是并行化和深化进修——正正在逐步冲破这种限度，让除了OpenAI、Anthropic这类至公司之外的小型团队也起头进入这个赛道。
现正在看来，机智的算法能够填充底子措施的亏损，而像Nous Research云云的去核心化介入者正希冀捉住这个机遇。
练习一个前沿模子须要数千个高功能GPU和超高带宽的集群，这使得寻常研讨者或小型团队险些无法介入。
Hermes系列中界限最大的模子——Hermes 3 405B，是正在底子的Llama 3.1模子长进行微调完工的。
从本钱上看实在并不离谱——目前租用8块H100的谋略节点每小时大约正在16到24美元之间，因而一次完备练习的开销大约正在5,000美元旁边。
要以更大界限、低本钱地完毕仿佛的练习功劳，确实面对不少寻事，更加是当练习从聚集化的GPU集群转向基于互联网的去核心化搜集时。
Nous Research提出了Psyche搜集的处理计划：通过去核心化的方法，让环球的谋略资源介入AI模子练习，低重进初学槛，促进AI发扬的民主化。
Nous Research的Psyche搜集凯旋完毕了去核心化的AI练习，开创了一个全新的形式。
Consilience模子的预练习只是起始，将来Psyche搜集希望成为AI民主化的首要基石，为开源社区和小型团队供给与科技巨头抗衡的机遇。
正在守旧的数据核心里，GPU之间通过极高带宽的结合（如NVLink或InfiniBand）相连，带宽可达每秒几百Gb（千兆位）。
质疑者以为，这种高达100倍乃至1,000倍的带宽差异，会让跨互联网的AI练习变得无比迟钝、险些不或者。
终归，守旧的练习方法须要GPU之间赓续地互换更新消息，而倘使试图用寻常家用搜集来完工这些通讯，很或者会陷入「灾难级」的练习体验。
2024年12月，Nous与众位合营伙伴一块，正在封锁测试网中，练习了一个150亿参数的底子模子，并凯旋验证了众项外面设思：
正在硅谷的少许圈子里，「加密」这个词险些成了贬义词，而Nous无间竭力连结与AI开拓者之间的怒放调换桥梁不被堵截。
将这一和叙向全盘墟市怒放，意味着任何人都能具有此中的一个人。而其潜正在的扩展性之大，明晰一经让不少极客兴奋不已。
Nous的初期宗旨是先上线一个封锁测试网（Phase 0），验证是否能正在Solana上运转一个更大界限、漫衍式、具备容错才具的DisTrO体例。后续阶段会逐渐引入更高级的效用。
正在Phase 0阶段，功勋者能够率领己方的GPU插足进来（昭彰提到维持4090、A100和H100等型号），并起头取得夸奖。此阶段会对介入者实行筛选，以制止恶意作为者插足。
一朝体例不变运转，权限将逐渐怒放，应允分歧类型的谋略资源（无论是专业的依旧消费级的）自正在接入搜集，协助练习Llama、Diffusion等分歧类型的模子架构。
深化进修（Reinforcement Learning，RL）不依赖于预先企图好的数据集，而是通过模子与处境直接互动来进修。
而每个Psyche节点正在练习流程中的显露都将影响它的夸奖：谋略才具更强或利用了更进步练习要领的节点，或者会取得更众代币鞭策。
正在通常被斥为「过分炒作又一再令人心死」的区块链生态中，能看到真正的革新功劳，确实令人欣慰——险些让人「淡漠的精神也从头燃起了亲热」。
Nous并不是一起头就拥抱区块链身手的，相反，他们险些是被「拖着、踢着、喊着」走上了这条途——
他们须要一种方法，非论对方来自哪里，都能吸引谋略资源与人才并实行公正支拨；区块链，正在这一点上显露得无比生色。
他们须要一种伎俩，或许谐和并扩展大界限练习做事；而谐和与扩展，恰是区块链身手的「第二本性」。
他们还须要一种不受停电、封禁、宕机等影响的托管机制，能让项目「打不死」、无法被合上；正在这方面，区块链（这回不再是嘲讽）也简直供给了最牢靠的保险。
而最值得欣慰的是：这一次，人们挑选区块链，不是出于投契炒作，而是出于对本质题目的卖力思虑与确切需求的回应。
倘使Psyche凯旋了，它不单将注明去核心化练习是的确可行的，更是回归初心：为庖代的聚集化谋略，供给了强有力的东西。