当前位置:中国企业报道>> 聚焦>> 共同关注>>正文内容

昆仑万维开源2千亿稀疏大模型Skywork-MoE

2024年06月03日 来源:证券日报

6月3日,昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE。Skywork-MoE基于之前昆仑万维开源的Skywork-13B模型中间checkpoint扩展而来,是首个完整将MoE Upcycling技术应用并落地的开源千亿MoE大模型,也是首个支持用单台4090服务器推理的开源千亿MoE大模型。

昆仑万维方面表示,希望此次开源的Skywork-MoE模型、技术报告和相关的实验结果可以给开源社区贡献更多的MoE训练经验和Know-how,包括模型结构、超参选择、训练技巧、训练推理加速等方面,探索用更低的训练推理成本训练更大更强的模型,在通往AGI的道路上贡献一点力量。

责任编辑:郑伊丹
相关推荐
图达通第二季度激光雷达产品总出货量约27.11万台 同比增长约385%

7月7日,图达通发布未经审核的2026年第二季度激光雷达出货量公告。在2026年第二季度,图达通激光雷达产品总出货量约27.11万台,同比增长约385%,环比增长约49%;其中,猎鹰系列约7.78万台,同...[详细]

歌力思:618期间旗下多个品牌居天猫国际知名女装热销榜单前列

对此,歌力思回复称,公司非常重视线上渠道的销售表现,持续挖掘多平台的增长机会,推动公司业绩实现稳步发展。今年618期间,公司旗下品牌self-portrait、Laurel、IRO在天猫国际知名女装热销...[详细]

国产品牌突围 线香搅动嗅觉经济

扎堆背后是线香可复购、可依赖、可溢价的特性。消费频率不由库存决定,而由情绪和场景驱动,高频复购使其天然成为高附加值产品。不同于传统香依仗原料成本定价,线香的体验价值放大了溢价空...[详细]

返回顶部