Papamasher

Qwen3.6 27Bは量子化によりどのくらい品質劣化するのか？(Quesmaより) 37時間・約390万tokenを費やし、 複数の量子化モデルを性能を比較したらしい。 ■元モデルとの出力差 Q8はBF16とほぼ同じ。 Q4までは差が小さく、Q3以下からズレが急に大きくなった。 ■SVG画像生成 ペリカンや歯車のSVGを生成して比較。 BF16〜Q4は、どれが高精度モデルか判別できないほど差が小さかった。 Q3は量子化方式によって差があり、Q2では明確に品質が落ちた。 ■数学問題 Q4以上はBF16とほぼ同等。 Q3は方式による差が大きく、 ・Q3_K_M：73.3% ・Q3_K_S：54.2% 同じ3bitでも、量子化方式によって性能が大きく変わる。 ■生成速度 Apple Siliconでは、量子化しても生成速度はあまり変わらなかった。 主なメリットは、モデルのサイズとメモリ使用量を減らせること。 ■まとめ Qwen 3.6 27Bは Q4_K_MかUD-Q4_K_XLまでなら 品質劣化が少ないかもしれない。 →16GB VRAM民　 Q4サイズなかなかきついよ😓 #VRAM飢饉救済教