文章 (13)
-
8张3090，1天压缩万亿参数大模型！3.2TB骤降至160GB，压缩率高达20倍
2023-10-31
新智元报道 编辑：好困【新智元导读】最近，来自ISTA的研究人员提出了一种全新的模型量化方法QMoE，可以将1.6万亿个参数的SwitchTransformer压缩到160GB以下（每个参数0.8位），且精度损失很小。随着GPT-4的
-
新智元
- 10729
-
-
34B参数量超越GPT-4！「数学通用大模型」MAmmoTH开源：平均准确率最高提升29%
2023-09-19
新智元报道 编辑：LRS【新智元导读】数学通才「猛犸」模型给开源语言模型带来了「推理春天」，面对GPT-4都有一战之力！数学推理问题是语言模型绕不过的痛点，在各种黑科技的加持下，开源模型的推理性能依然不够看。最近，滑铁卢大学、俄亥俄州
-
新智元
- 11720
-
