Token 是什么

Token 是 GPT 处理文本的基本单位。简而言之，Token 可以是一个字、一个词或特定语言中的一个字符。它们负责将输入的文本数据转换为 GPT 可以处理的数据格式。

通常1000个Token约等于750个英文单词或者400～500个汉字。

注意：GPT4 模型对 token 的消耗是 3.5-Turbo 的 30 倍左右

每个 GPT 模型都有一个预设的最大 Tokens 数量。例如，GPT-3 允许处理的最大 Tokens 数量约为 4096。GPT4则允许处理3万多个Token。需要注意的是，这个数量包括输入和输出的所有 Tokens。