你的位置:赌钱赚钱软件(中国)官方下载 > 新闻 > 赌钱赚钱app为了追求更高的算子交融效果-赌钱赚钱软件(中国)官方下载
发布日期:2024-11-22 07:18 点击次数:85
快科技 11 月 12 日音书,摩尔线程秘书,讲求开源高性能线性代数模板库 MUTLASS,以便成立者粗鲁更高效地针对摩尔线程 GPU MUSA Core、Tensor Core 等单位进行编程,加快基于国产 GPU 的算子成立以及算法篡改。
在此之前,摩尔线程仍是接踵开源 OpenCV-MUSA 诡计机视觉库、MooER 音频相识大模子、vLLM-MUSA 大说话模子高速推理框架。
▼ MUTLASS 开源地址:
https://github.com/MooreThreads/mutlass
在数值诡计和深度学习限制,矩阵乘法(GEMM)偏激变种,比如 FlashAttention、Convolution,是构建复杂表层期骗的基石。
不够,为了追求更高的算子交融效果,或者更篡改的算法,成立者们时时需要杰出模范化诡计接口的适度,如模范 BLAS 接口以及芯片厂商的诡计库接口,以结束高性能的定制化算子。
MUTLASS(MUSA Templates for Linear Algebra Subroutines)恰是为得志这一需求而遐想。
手脚摩尔线程专为自研 MUSA 架构优化的高性能诡计库,MUTLASS 是基于开源模板库 CUTLASS 进行的 MUSA 适配和定制化成立、优化。
针对矩阵乘法及关系变种,MUTLASS 提供了一系列高性能的 C++ 模板组件,并罗致了与 muDNN 库相通的分层阐发及数据搬运计谋,以确保性能的充分阐扬。
在本次开源的版块中,摩尔线程适配了 CuTe 后端库,为其加多了第三代 MUSA 架构的 MMA 诡计原语,解救 TF32/FP16/BF16/INT8 等多种数据精度,并以此为基础,初步结束了矩阵乘法、默许实例库、性能测试器及关系用具包的解救。
借助 MUTLASS,成立者们既不错机动复用不同层级的模板组件,也不错按需修改各式模板组件的结束细节,以较低的成立本钱结束定制化的高性能算子,从而在摩尔线程全功能 GPU 上充分开释性能,并尝试更多的算法篡改。
摩尔线程将握续优化 MUTLASS 的性能,并束缚引入新的功能。
赌钱赚钱app
Powered by 赌钱赚钱软件(中国)官方下载 @2013-2022 RSS地图 HTML地图