We are working on a new look for Empero!
You can check out a rough draft at: empero.org/alpha/
Feel free to give some feedback :)
由於有些地方讓我挺在意的
就稍微挖了一下
這個 Qwen3.8-27B Ridge 量化版
最近X社群有很多人都在討論 Qwen3.8-27B 各種量化版本,剛好就發現了這個 @EmperoAI 推出的 Ridge 版。
仔細看它不是普通的低 bit 量化
它似乎是專門針對這款模型架構打造的
「Gated-DeltaNet 感知混合量化」
先稍微講一下底層模型
大家都知道到的
Qwen3.8-27B 是阿里巴巴 @QwenDevs 2026 年 8 月中旬發布的 dense 模型
約 27B 參數(含視覺編碼器約 28B)
它採用混合架構:
64 層當中
每 4 層中有 3 層是 Gated-DeltaNet(線性注意力)4層中僅 1 層是完整注意力
這個設計讓它能以較低成本支援原生 262K 上下文,同時在編碼、代理任務、推理和多模態上都表現很強。
Ridge 做了什麼特別的事?
若我理解的沒錯的話
一般量化,像 Unsloth Q6_K 或 Bartowski 的版本,多半是整體平均壓低 bits。
Ridge 則是「手術式」分配精度:
它把最關鍵的 Gated-DeltaNet 狀態張量(ssm_alpha、ssm_beta 等)
保持在 Q8_0 高精
mixers 用 Q4_K
完整注意力層用 Q5_K
中間層 FFN 則大幅壓到 IQ2_M 來省空間
外層和輸出頭則用較高一點的精度
平均只有 3.69 bpw
檔案大小約 11.73 GiB
卻把相對 BF16 的 perplexity 上升控制在大約 9.3%
分享者稱讚它在財務相關工作上的能力。
那又為何這對財務計算特別有感?
財務計算是典型的高精確度、多步驟數值推理任務。
量化噪聲很容易在累積計算中放大,導致數字偏差。
Ridge 因為特別保護了負責狀態追蹤的路徑,所以在直接輸出精確財務結果時,表現往往比平均位元更高的 Q6 版本還穩定。
有人實測過,其他 Q6 量化需要叫 Python 工具才能算對的題目,Ridge 可以直接給出正確答案。
這樣的優勢也非常實際:
僅需 12–16GB 顯存就能跑文字模式
保留完整 MTP 推測解碼和視覺能力(需另外載入 BF16 mmproj)
GGUF格式在 llama.cpp、Ollama、LM Studio 都能直接用
品質在很多任務上接近更高位元的量化,卻小很多,節省了非常多記憶體
當然它還是量化版本,不是 lossless。
超長上下文時 KV cache 可能仍會是瓶頸,極端精確場景建議交叉驗證。
所以說 Ridge 量化模型證明了「平均 bits 不是一切,關鍵路徑的精度分配才是」。
它用更小的體積,在需要數值穩定的任務上交出超出預期的表現。
感謝 EmperoAI 細緻的工作
有興趣的人可以直接去 Hugging Face 搜 empero-ai/Qwen3.8-27B-Ridge-GGUF 下載試試。
Qwen3.8 27B Ridge is the only 27B that is able to provide me accurate financial calcs where Unsloth Q6_K or Bartowski's Q6_K_L wouldn't - unless I request them to Python the solutions.
This is impressive considering it's a 3.7bpw and quality seem much on par as Q6. Edge cases yet to be found, still.
Banging job from @EmperoAI. Have to try the Qwen3.8 smol releases for my smaller compute. Nice one.
huggingface.co/empero-ai/Qwe…
Empero retweeted
Qwen3.8 27B Ridge is the only 27B that is able to provide me accurate financial calcs where Unsloth Q6_K or Bartowski's Q6_K_L wouldn't - unless I request them to Python the solutions.
This is impressive considering it's a 3.7bpw and quality seem much on par as Q6. Edge cases yet to be found, still.
Banging job from @EmperoAI. Have to try the Qwen3.8 smol releases for my smaller compute. Nice one.
huggingface.co/empero-ai/Qwe…
Empero retweeted
The goal was never to remove humans from the picture. It was to get them out of spreadsheets and onto climbing walls
Empero retweeted
Running Qwythos 9B on a single RTX 3060: 500K context at ~52 tok/s. (config below)
a Qwen3.5-9B finetune with 1M YaRN baked in -> weights are only 5.4GB, so the entire fight is KV cache. q4_0 on both K and V halves it -> same card went from 290K to 500K on the KV quant alone.
100% on the GPU, zero CPU offload, pinned at ~96% of the 12GB.
llama-swap config:
llama-server -m Qwythos-9B-Claude-Mythos-5-1M-Q4_K_M.gguf -ngl 99 -c 500000 -fa on --jinja -np 1 --cache-type-k q4_0 --cache-type-v q4_0 -b 1024 -ub 512 --temp 0.6 --top-p 0.95 --top-k 20 --repeat-penalty 1.05 --reasoning on
Empero retweeted
This model takes both images and text as input. It is a quantized GGUF version of Qwythos 9B, a reasoning model with a massive 1M context window. Perfect for long documents and visual analysis.
Empero retweeted
Imagine a model that can reason through 1 million tokens of context, understand images and text, and even call functions. Meet Qwythos 9B, a Qwen3.5 based GGUF that's both uncensored and quantized for efficiency. It's a game changer for long form analysis and multimodal tasks.
Empero retweeted
BOOM!
Meet the open source Cambrian Explosion of repulsion of Anthropic!
Meet Qwythos 9B, a Qwen3.5 based GGUF that's both uncensored and quantized for efficiency.
I am running it now and it is brilliant!
A model that can reason through 1 million tokens of context, understand images and text, and even call functions.
Come and take it!
huggingface.co/empero-ai/Qwy…
Empero retweeted
速報です。
Qwythos-9B-Claude-Mythos-5-1M Q4_K_M、
llama.cppで旅行プラン作成タスクを実行できました。
環境:
GTX 1660 Ti 6GB
llama.cpp
Q4_K_M
reasoning off
日本語の旅行プランは普通に返ってきました。
生成速度は 7.4 tok/s。
実行中のVRAMは nvidia-smi で 4475MiB / 6144MiB。
4GB GPU実機での確認ではありませんが、VRAM 4GB台で動く話はかなり現実味ありそうです。
詳細なレビューと、別モデルとの比較はまた記事にします。
#ローカルLLM #llamacpp
new model: empero-ai/Qwen3.5-9B-Claude-Code
Our Opus 4.6 distill trained on 28 #dataclaw datasets for usage as a coding agent! Claude Code on your GPU!
#claude #gguf
huggingface.co/empero-ai/Qwe…






















