AI不认识文字，它只认识数字。为了让AI处理语言，第一步必须把每个字或词转换成一串数字，这串数字叫嵌入向量。
最简单的转换方式是one-hot编码：给每个词分配一个唯一的编号，比如“猫”是第100号，就用一个第100位为1、其他位为0的向量表示。但这种方法的致命问题是：它无法表达词与词之间的关系。“猫”和“狗”的向量距离跟“猫”和“汽车”的距离是一样的，但显然猫和狗更接近。
现代大模型使用了一种更聪明的方法：把每个词映射到几百维甚至几千维的向量空间里，让语义相近的词在空间里也彼此靠近。比如“猫”的向量是[0.2, 0.8, -0.3, 0.1, ...]，“狗”的向量是[0.15, 0.75, -0.25, 0.12, ...]，两者之间的距离很小。而“汽车”的向量可能是[-0.5, 0.2, 0.9, -0.4, ...]，距离猫就很远。
这些向量不是手动设置的，而是模型在训练过程中自己学出来的。训练初期，所有词的向量都是随机的。随着模型不断阅读文本，它会发现“猫”和“狗”经常出现在相似的上下文里（比如“我养了一只__”后面经常跟猫或狗），于是模型慢慢把这两个词的向量向彼此拉近。训练结束后，整个向量空间就像一张语义地图，每个词都有自己精确的坐标。AI正是通过计算这些向量之间的距离，来理解词与词之间的语义关系。