summaryrefslogtreecommitdiff
path: root/content
diff options
context:
space:
mode:
authoreltrac <hi@eltr.ac>2026-09-07 08:57:38 +0800
committereltrac <hi@eltr.ac>2026-09-07 08:57:38 +0800
commitcb8a535c0609cdb4ab4228209c2dc474c87917a7 (patch)
tree89e88a410891afc7d497f50e525e875060aac6a5 /content
parent778f879b8f364de4dca41225849d6492a3684be0 (diff)
[draft] new
Diffstat (limited to 'content')
-rw-r--r--content/article/token-translation.md33
1 files changed, 33 insertions, 0 deletions
diff --git a/content/article/token-translation.md b/content/article/token-translation.md
new file mode 100644
index 00000000..b64b45f5
--- /dev/null
+++ b/content/article/token-translation.md
@@ -0,0 +1,33 @@
++++
+title = 'Token 应译作「符」'
+subtitle = ''
+slug = ''
+tags = []
+categories = ''
+date = 2026-09-07T08:25:45+08:00
+draft = true
+toc = true
++++
+
+整场「要不要把 Token 翻译成词元?」的争论令我感到诡异,诡异的点在于所有参与者都只看到了 Token 作为大语言模型计价单位的意思,而 Token 一词存在于英语语言中已经有很久了。若把 Token 先前的释义也译作「词元」,场面会非常可笑:
+
+- 这套桌游里的某个词元不见了!
+- 请求体里必须携带词元才能通过验证。
+- 在构造抽象语法树之前,要先把字符串词元化。(这倒还算接近的)
+- 把你安全词元插入电脑的 USB-C 接口。
+- 为保证数据安全,可以把敏感信息词元化。
+- 用你的词元兑换优惠或者奖品。
+<!--more-->
+
+正如人们滥用「人工智能」一词指代「大语言模型」,因为他们只知道热度最高的技术,便让 “AI” 这个上世纪就出现的概念被人工智能的一个小分支占据一样,人们滥用 Token 一词,以至于他们不关心其他的意思。
+
+不过,也需要批评前人,Token 一词的翻译本身就很混乱。
+
+桌游里的 Token 是「指示物」的意思,还有人根据情况译作「代币」「标记」。除了 Token,用来表示人物、角色的指示物还被称作 *Meeple*(My People),音译作「米宝」。能有米宝来指代所有的指示物吗?当然不行!米宝的本意是人物,是 Token 里相当小的一类。同理,能用「词元」对应 Token 吗?不能!词元只指代相当小的范畴,你当然不能说桌游里的指示物是词元。
+
+不仅桌游里的代币是 Token,游戏厅里的游戏机和赌场里的老虎机使用的代币,也叫作 Token coin,不过如今更多地被 *ticket*(票券)取代了。
+
+在计算机中,Token 有两类。一类是用来表示「执行某种操作的权限」的对象,另一类是自然语言处理(NLP)中划分的词法记号(Lexical token)或别的语言单元——在将第二类的时候,我会讲到「词元」这个翻译不仅犯了范畴问题,本身的表意也不准确。
+
+第一类 Token 通常叫作「令牌」,
+