阿里巴巴在深夜做了很多事情，费用下降了90％！
作者：365bet体育日期：2025/09/13 浏览：
![]()
Zhidongxi May -set | Cheng Qian编辑| Xinyuan Zhidongxi今早于今天早上12月12日报道，阿里巴巴·汤伊（Alibaba Tongyi）实验室正式发布了下一代QWEN3-NEXT Architecture，并根据此建筑培训了基于QWEN3-NEXT-80B-A3B的模型。该模型具有800亿个参数，仅激活了30亿个参数。基本模型是在15T令牌上进行的，QWEN3前实践数据子集，仅需要QWEN3-32B GPU计算资源的9.3％。对于超过32K的上下文，吞吐量耐力可以达到QWEN3-32B的10倍以上。同时，基于基本模型，阿里巴巴开设了QWEN3-NEXT-80B-A3B的教学模型（教学）和思维（思维）。该模型支持代币上下文的本地262,144长度，并可以扩展到1010,000个令牌。尽管有这些，但QWEN3-NEXT-80B-A3B教学仅支持指令模式（非思考），并且在输出中没有形成块。 Qwen3-next-80b-a3B-A3B-A3B-A3B-A3B-A3B-A3B迁移模式支持。要强制模型思考，将自动包括默认聊天模板。教学模型的性能与较大的QWEN3-235B-A22B结构-2507相媲美，具有较大的参数大小，并且思维模型优于封闭源模型Gemini-2.5-Flash-Flash-thinging。 ▲与阿里巴巴在4月底的Qwen3 Moe模型相比，教学基准测试模型▲在4月底的QWEN3 MOE模型中，一种混合注意机制，一种高度的MOE结构，一系列稳定且友好的培训优化，一系列的培训和多点式 - 塞子（MTP）机制（MTP）机制（MTP）机制（MTP）机制等。开发人员还可以通过QWEN聊天体验QWEN3-NEXT，以获取免费的或Alibaba Cloud Bailian和Nvidia API的目录。该开发事件在QWEN评论部分称赞了新的多型比例机制（MTP），称这是最令人印象深刻的部分。阿里巴巴云贝利安：HTtps：//bilian.console.aliyun.com/？tab =型号＃/model-market/lite/qwen3？modelgroup = qwen31。教学模型接近235b旗舰模型，识别模型超过了Gemini-7.5qwen3-Next模型，可支持262,144令牌上下文的长度，并可以将其扩展到1010,000个令牌。总的来说，就性能而言，教学模型与阿里巴巴参数量表235b的旗舰模型接近，而心理模型的效果比Gemini-7.5.5-Flash-Manipishari更好。它的基本模型是仅使用1/10的非安装激活参数的QWEN3-NEXT-80B-A3B基础。在大多数基准测试中，性能类似于QWEN3-32B基础。但是，总培训成本不到QWEN3-32B基础的10％，对超过32K的情况的吞吐量的警惕性超过QWEN3-32B的10倍以上。多亏了混合模型的新体系结构，就识别效率而言，与Qwen3-32b相比，QWEN3-NEXT，QWEN3-NEXT-80B-A3B具有7倍FO的吞吐量在预填充阶段的4K令牌的上下文长度上。当上下文的长度超过32K时，吞吐量增加了10倍以上。在解码阶段，该模型在4K上下文中的吞吐量几乎改善了4倍，并且在长期情况下的32K以上方案中保持了超过10倍的吞吐量优势。具体而言，其教学模型的性能要比SA QWEN3-30B-A3B结构2507和QWEN3-32B-NON-NON-INCHINGing更好，并且取得的结果与具有较大参数大小的QWEN3-235B-A22B-INTCLUCT-2507模型非常相似。仅在Aime25中，大型模型的全面评论基准以及高难题的数学推理基准，教学模型的性能略低于QWEN3-235B-A22B-INTUCT-25507，并且在节目，复杂的问题和长时间和长时间谈话中的表现更好。 QWEN3-NEXT-80B-A3B结构的作用要比具有相同数量的层和更多关注的QWEN3-30B-A3B结构2507更好，甚至超过了QWEN3-235B-A22B结构25507，具有256K范围的层。 Mind Model的效果比QWEN3-30B-A3B思维-2507和QWEN3-32B思维效果更好，这对于预训练来说更昂贵，超过了封闭源模型Gemini-2.5-flash-thinking，并且接近最新的Alibaba旗舰模型。 2。混合注意力，萌，企业优化和多头痛预言支持。博客上的研究人员指出，QWEN3-NEXT旨在为未来的趋势，即继续在上下文和总参数上扩展大型模型。 Qwen3-Next使用QWEN3 36T预训练的语料库的同样样品子集，包括15T令牌。 GPU的培训消耗量不到QWEN3-30A-3B的80％；与QWEN3-32B相比，仅需要9.3％的GPU计算源即可实现更好的模型性能。与4月底推出的QWEN3 MOE模型相比，该模型的结构增加了各种新技术并制作主要的福生库，包括混合注意力的机制，高度的MOE结构，一系列稳定且友好的训练优化以及提高概念效率的多背部（MTP）机制。混合注意机制：将标准注意力替换为封闭式三角洲和门控注意的组合，以实现有效的上下文建模，长度的上下文长度。研究人员发现，封闭式Deltanet具有研究滑动窗口（滑动窗口注意）和MAMBA2的更强背景能力。在3：1的混合比率中，有75％的层使用封码的三角网，而25％的层保持标准注意力，层始终可以超过单个体系结构并实现双重性能和效率优化。同时，在保存的标准潘辛（PansinNTION问题，将单个头痛的大小从128扩大到256，仅在头部头痛的25％面前增加了位置尺寸的旋转位置。高稀疏性混合专家（MOE）：在MOE层中实现过多的低比率激活，这在维持模型的容量的同时大大降低了每个令牌的拖曳。研究人员的实验表明，在使用全球平衡负载时，毫无疑问的总专家参数会导致训练专家维修时的训练损失稳定下降。否。研究人员发现，门控输出机制可以消除池和最大激活，并确保每个组合的稳定数量模型的nent。多合子预测（MTP）：提高预训练模型的性能并加速识别。 Qwen3-Next专门优化了MTP多步推理的性能。通过持续的多步训练的实践，在实际情况下解码解码的虚构速率进一步改善。结论：使用3B的相位剂的参数用于标记旗舰模型！阿里巴巴在降低成本和使用建筑模型加速模型的突破性的重点是，同时实现了较大的参数容量，低激活高于上面的较低激活，长上下文处理和并行速度。此外，伴随着注意力机制，MOE设计和其他方面的许多架构变化，阿里巴巴·塔里（Alibaba Talyi）这次实现了3B参数模型仅被激活，并且能够执行更大的模型。允许性能在性能和效率之间找到更好的平衡。和。研究人员在博客中提到，将来他们将继续优化Arkitthis Acre并开发Qwen3.5。同时，阿里巴巴·塔利（Alibaba Talyi）最近在各个领域推出了多个模型，例如具有超过1万亿个参数，文学和教育图的Qwen3-Max-preview，以及Qwen-Image-Edit的编辑模型，QWEN3-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR-ASR等。回到Sohu看看更多
相关文章
客户经理