字节跳动豆包大模型团队推出UltraMem稀疏模型架构

2025-02-12 12:35

近日,字节跳动豆包大模型Foundation团队发布了一种名为UltraMem的稀疏模型架构。这种架构能够有效地解决推理过程中的访存问题,同时保持模型的效果不变。与传统的MoE架构相比,UltraMem在推理速度上提升了2到6倍,且推理成本最高可降低83%。
浏览 10
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报