快速导航×

我们知道，将激活、权重和梯度量化为4-bit对于加速神经网络训练非常有价值。但现有的4-bit训练方法需要自定义数字格式，而当代硬件不支持这些格式。在本文中，清华朱军等人提出了一种使用INT4算法实现所有矩阵乘法的Tra...