LIVE INDEX / 最新文章
给语言模型的词表"瘦身":一个不改变输出结果的量化技巧

给语言模型的词表"瘦身":一个不改变输出结果的量化技巧

Q&A Q1:softmax重参数化是什么? A:这是一种针对语言模型输出头的后训练量化方法,通过给输出头权重的每一行减去词表行均值乘以一个可调系数,找到一个数学上完全等价、但更适合量化压缩的权重表达方式,从而在不改...