量子化– tag –

PrismMLが公開したTernary Bonsai 2 27Bは、270億パラメータのモデルを重み1つあたり1.76ビットまで圧縮し、5.9GBに収めました。総合スコアは元の98.2%ですが、落ち方は一様ではありません。量子化・蒸留・プルーニングの違いと、試す前に見るべき3つの数字を整理しました。