当前位置:首页 > DeepSeek技术交流 > 正文内容

DeepSeek开源DeepGEMM是什么?DeepGEMM有哪些原理功能?

2周前 (02-26)DeepSeek技术交流50

DeepSeek开源DeepGEMM是什么?DeepGEMM有哪些原理功能?

新浪科技讯 2月26日上午消息,DeepSeek开源周(OpenSourceWeek)第三日,在宣布开源MLA解码核FlashMLA以及DeepEP两款代码库后,DeepSeek今日再次宣布开放了DeepGEMM代码库。

据DeepSeek方面介绍,DeepGEMM是专为简洁高效的FP8通用矩阵乘法(GEMMs)而设计,它同时支持普通的和专家混合(MoE)分组的GEMM运算。该库使用CUDA编写,在安装过程中无需编译,通过在运行时使用轻量级即时编译模块来编译所有内核。

目前,DeepGEMM仅支持英伟达Hopper架构运算,为解决FP8张量核心累加不精确的问题,它采用了CUDA核心的两级累加(提升)方法。该代码库设计非常简洁,只有一个核心内核函数,代码量约为300行。


“DeepSeek开源DeepGEMM是什么?DeepGEMM有哪些原理功能?” 的相关文章

DeepSeek 又上新!DeepGEMM 发布,有哪些突破点值得一看?

DeepSeek 又上新!DeepGEMM 发布,有哪些突破点值得一看?

一开始,我还以为 DeepSeek 会走传统路线,比如大厂常见的蒸馏技术,搞个小参数的 Flash 模型。毕竟这种方法能有效降低计算需求,但缺点也很明显,就是小模型再怎么优化,和大模型比起来,性能还是...

DeepGEMM的特点包括哪些?

DeepGEMM的特点包括哪些?

‌DeepGEMM‌是一个专为简洁高效的FP8通用矩阵乘法(GEMM)设计的库,由DeepSeek宣布开源。DeepGEMM支持普通和混合专家(MoE)分组的GEMM运算,采用CUDA编写,在安装过程...

DeepGEMM是什么?定义与功能-技术特点-应用场景-开源与社区

DeepGEMM是什么?定义与功能-技术特点-应用场景-开源与社区

DeepGEMM是一个专为简洁高效的FP8通用矩阵乘法(GEMM)设计的库。以下是对DeepGEMM的详细介绍:一、定义与功能DeepGEMM具有细粒度缩放功能,如DeepSeek-V3中所提出。它支...