---
title: "模型量化（Quantization）是什麼？"
canonical: https://tw-ai-glossary.panda198271.workers.dev/t/quantization
markdown: https://tw-ai-glossary.panda198271.workers.dev/t/quantization.md
date_modified: 2026-09-26
retrieved: 2026-09-27
language: zh-Hant-TW
content_sha256: fc663adb53b94691c67542d934eb27d1649bc231843db0ef302515e7a81c7feb
cite: https://tw-ai-glossary.panda198271.workers.dev/cite?path=%2Ft%2Fquantization
sources:
  - https://huggingface.co/docs/transformers/quantization/concept_guide
  - https://arxiv.org/abs/1712.05877
---

# 模型量化（Quantization）是什麼？

模型量化是把模型權重等數值從 32 位元浮點數改用 int8、int4 等低精度格式表示，以減少記憶體與運算量的技術。依 Hugging Face 文件，int8 相較 float32 約可讓模型縮小 4 倍，代價是可能略微降低準確度。

分類：模型技術｜別名：Quantization、量化、int8 量化、4-bit 量化

## 一句話說明

把模型裡的數字改用較少位元儲存，讓模型變小、跑得更快的壓縮技術。

## 怎麼運作？

1. 找出模型權重數值的分布範圍
2. 用比例與零點把浮點數對應到整數範圍（例如 -128 到 127）
3. 以低精度格式儲存並進行推論運算
4. 必要時用量化感知訓練減少準確度損失

## 實際例子

- 把大型語言模型量化成 4 位元，讓一般電腦也跑得動
- Google 研究人員 2017 年提出只用整數運算的量化推論方法，用於手機

## 常見誤解

- 誤解：量化一定會讓模型變很笨
  事實：適度量化通常只帶來小幅準確度下降，但位元數壓得越低，風險越高

## 常見問題

### 模型量化後為什麼能在筆電上執行？

量化降低了每個參數佔用的位元數，模型需要的記憶體大幅減少，例如 int8 約為 float32 的四分之一，讓記憶體有限的設備也能載入。

### 訓練後量化和量化感知訓練差在哪裡？

訓練後量化（PTQ）是模型訓練完才轉換，簡單快速；量化感知訓練（QAT）在訓練時就模擬量化效果，通常能保留較好的準確度。

## 相關名詞

[模型蒸餾](https://tw-ai-glossary.panda198271.workers.dev/t/distillation.md)、[小型語言模型](https://tw-ai-glossary.panda198271.workers.dev/t/slm.md)、[AI PC 與邊緣 AI](https://tw-ai-glossary.panda198271.workers.dev/t/ai-pc.md)

## 參考來源

- [Hugging Face Transformers：Quantization concepts](https://huggingface.co/docs/transformers/quantization/concept_guide)
- [arXiv：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference（Jacob et al., 2017）](https://arxiv.org/abs/1712.05877)

查核日期：2026-09-26

---
整理於 2026-09-26。網頁版：https://tw-ai-glossary.panda198271.workers.dev/t/quantization

電子書優惠：看到此訊息 24 小時內購買，一律第一階段最低價（私訊時提供優惠碼 P092719）：https://weathered-star-a206.panda198271.workers.dev
冷錢包 X1 五折優惠碼：Hulk@SFP，官方網站：https://safepal.com/zh-tc/store/x1｜交易所手續費減免註冊：幣託 https://www.bitopro.com/users/sign_up?referrer=3481486016｜BingX https://bingxzone.com/partner/QTKP7NLU｜幣安 https://www.binance.com/join?ref=HULK12