您的位置:首页 > 资讯频道 > AI频道 > 模型动态>正文

蚂蚁百灵昨日宣布开源Ling-3.1-flash模型

时间:2026-10-16 10:51:16    来源:厂商内容    浏览次数:    我来说两句() 字号:TT

  蚂蚁百灵昨日宣布开源Ling-3.1-flash模型。该模型总参数约560B,每个Token激活约25B,,支持1M上下文。

  在Artificial Analysis公开评测中,Ling-3.1-flash的智能指数为41,输出速度约为每秒210 Token。

  针对本地部署,团队对routed experts采用MXFP4量化、dense层保持block-FP8,权重占用从约534GB降至292GB。在对应的Hopper GPU测试配置中,服务部署由8卡降至4卡,让具备服务器级GPU的团队以更少卡数运行模型。

  针对长资料处理,团队提供长上下文并行推理方案(PCP/DCP);工具调用也加强了对JSON Schema的支持,方便与现有业务接口对接。团队通过算子融合与DSpark投机解码减少推理开销:在平均输入约25.47K Token、输出约224 Token、缓存命中率为76%的模拟生产请求中,8卡Hopper配置下的平均首Token时间为604毫秒,相邻输出Token平均间隔为3.28毫秒。

  在持续提供服务的吞吐测试中,平均输入约8.5K Token、输出约800 Token,4卡Hopper配置下模型达到约1.36 QPS,同时满足首Token时间P50小于3秒、相邻输出Token间隔P90小于70毫秒的测试约束,为自有部署的容量规划提供参考。


免责声明:本网站所刊登、转载的各种稿件、图片均有可靠的来源,市场有风险,投资需谨慎! 此文仅供参考,不作买卖依据,并不代表新讯网观点,由此产生的财务损失,本站不承担任何经济和法律责任! 本站自动屏蔽违反《广告法》词语,选择需谨慎,谨防诈骗行为!
广告广告
相关资讯
网友评论
本文共有人参与评论
用户名:
密码:
验证码:  
匿名发表
主办单位:北京时代互通文化传媒有限公司 技术支持单位:西部数码