看盤軟體


「漢字提示詞所耗費的Token比英文多1到3倍」?

 

DeepSeek:

*這個說法並不完全準確,它取決於你使用的是哪個廠商的模型。

*對部分海外模型(如 Claude、GPT 系列),中文確實更「貴」,但倍數通常在 1.1 倍到 1.64 倍左右,很難達到 3 倍;而對許多國產模型(如 DeepSeek、Qwen),中文反而可能比英文更省 Token。

 

*不同模型的實際差異
1. Claude 系列(中文更貴):在 Claude Opus 4.7 之前的版本中,同等內容的中文 Token 消耗量是英文的 1.11 倍到 1.64 倍。最極端的商業新聞類文本,中文多消耗約 64%。

2. GPT-4o(中文略貴):中文與英文的 Token 消耗比值多數落在 1.0 倍到 1.35 倍之間,差距比 Claude 小一些。

3. 國產模型(中文可能更便宜):在 Qwen 3.6 和 DeepSeek-V3 上,情況反過來了。中文的 Token 消耗比值大面積低於 1,DeepSeek 最低可做到 0.65 倍,即同一段話中文版反而比英文版便宜約三分之一。

 

*為什麼會有這種差異?

這主要取決於模型的 Tokenizer(分詞器) 是如何訓練的。如果訓練語料中英文佔絕對主導,分詞器就會針對英文優化,給英文單詞分配更高效的詞表,導致非拉丁語系(如中文)被切分成更多碎片,從而消耗更多 Token。反之,如果模型在訓練時充分照顧了中文,中文的 Token 效率就會提升。

所以,那個「多 1 到 3 倍」的說法,可能混雜了早期某些特定模型(或極短文本、特定符號場景)的體感,或者是對非拉丁語系整體(含俄語、阿拉伯語等)的粗略概括,並非漢字在主流大模型上的普遍精確數值。

 


發表意見


Name


廣告