詞元（Token）是什麼？
Token（詞元）是語言模型切分與處理文字的基本單位，可以是單一字元、詞的一部分、整個詞或標點。OpenAI 的經驗法則是英文約 4 個字元或四分之三個英文單字算 1 個 token。API 計費與上下文視窗長度通常都以 token 計算。
基礎概念TokenTokens詞元字元單位標記權杖（AI）
一句話說明
語言模型處理文字的最小單位，可能是一個字、一個詞的一部分或標點符號。
詞元怎麼運作？
- 模型用「分詞器」把輸入文字切成一個個 token。
- 每個 token 對應到一個編號，再轉成模型能計算的數字。
- 模型每次預測下一個 token，逐一接起來形成回答。
- 輸入與輸出的 token 數量，決定用量計算與是否超過上下文上限。
實際例子
- 英文單字 “unbelievable” 可能被切成數個 token。
- 中文一句話的 token 數，常和字數不同，依模型的分詞方式而定。
- 圖片、聲音也會換算成 token，例如 Gemini 文件說明音訊每秒約 32 個 token。
常見誤解
誤解：1 個 token 就等於 1 個中文字。
事實：不同語言與模型的切法不同，中文字數與 token 數沒有固定比例，要用官方工具實際計算。
事實：不同語言與模型的切法不同，中文字數與 token 數沒有固定比例，要用官方工具實際計算。
誤解：AI 領域的 Token 和加密貨幣的代幣是同一個東西。
事實：兩者只是英文同字；AI 的 token 是文字處理單位，和區塊鏈代幣無關。
事實：兩者只是英文同字；AI 的 token 是文字處理單位，和區塊鏈代幣無關。
常見問題
為什麼使用 AI 服務時要計算 token？
因為模型的運算量和 token 數量直接相關，多數 AI API 以輸入與輸出 token 數計費，而且每個模型能一次處理的 token 數（上下文視窗）有上限。
要怎麼知道一段中文會用掉多少 token？
最準確的方法是用各家官方提供的 token 計算工具或 API 實際計算，因為不同模型的分詞器不同。英文的「約 4 個字元一個 token」經驗法則不適用於中文。
延伸閱讀
相關名詞
參考來源
- OpenAI Help Center：What are tokens and how to count them?
- Google AI for Developers：Understand and count tokens（Gemini API）
查核日期：2026-09-26。API：/api/term?id=token