🌱Kejia's Digital Garden

Positional Encodings

7 min read

🎯 核心概念（一句话总结）

位置编码是给Transformer中每个词发的”身份证”，让模型知道”我爱你”和”你爱我”不是同一个意思。

🤔 问题背景：Transformer的”失忆症”

🎭 生活场景：语序的重要性

想象一下这个对话：

  • 正确：“我昨天吃了北京烤鸭” ✅
  • 错误：“烤鸭北京吃了昨天我” ❌

问题：Transformer的自注意力机制会同时”看见”所有词，如果不告诉它顺序，它会认为这两个句子意思一样！

🔍 技术困境

Transformer的自注意力：
所有词同时处理 → 失去时间顺序 → "我爱你" = "你爱我"

🎯 位置编码的”身份证系统”

🆔 身份证设计原理

每个词获得一个独特的”身份证号码”：

句子："我爱北京烤鸭"
身份证分配：
- 我：位置0 + 身份信息 [sin(0), cos(0), sin(0/10000), cos(0/10000), ...]
- 爱：位置1 + 身份信息 [sin(1), cos(1), sin(1/10000), cos(1/10000), ...]
- 北京：位置2 + 身份信息 [sin(2), cos(2), sin(2/10000), cos(2/10000), ...]
- 烤鸭：位置3 + 身份信息 [sin(3), cos(3), sin(3/10000), cos(3/10000), ...]

🌊 正弦函数的魔法

为什么选择正弦波？

  • 周期性：像波浪一样，既能区分位置又能保持连续性
  • 相对距离：能计算任意两个词之间的距离
  • 维度丰富：每个位置有多个”特征维度”
graph TD
    subgraph "正弦位置编码"
        A[位置0] --> B[sin0, cos0]
        C[位置1] --> D[sin1, cos1]
        E[位置2] --> F[sin2, cos2]
        G[位置3] --> H[sin3, cos3]
        
        B --> I[向量相加]
        D --> I
        F --> I
        H --> I
        
        I --> J[带位置信息的词向量]
    end
    
    style A fill:#a2d2ff
    style C fill:#bde0fe
    style E fill:#caffbf
    style G fill:#ffd6a5

🎯 三种实现方式对比

方法原理优点缺点适用场景
正弦编码数学函数计算无需训练，泛化好固定模式通用模型
学习编码神经网络学习适应特定任务需要训练数据特定领域
相对位置计算相对距离更好泛化计算复杂长文本

🎯 实战验证：语序敏感性测试

🧪 实验设计

测试句子1："猫追老鼠"
测试句子2："老鼠追猫"

预期结果：
- 有位置编码：两个句子意义不同
- 无位置编码：两个句子意义相同（错误！）

📊 可视化理解

graph LR
    subgraph "有位置编码"
        A[猫_位置0] --> B[追_位置1] --> C[老鼠_位置2]
        D[老鼠_位置0] --> E[追_位置1] --> F[猫_位置2]
        style A fill:#ffcccc
        style D fill:#ccffcc
    end
    
    subgraph "无位置编码"
        G[猫] --> H[追] --> I[老鼠]
        J[老鼠] --> H --> G
        style G fill:#ffffcc
        style J fill:#ffffcc
    end

🎯 生活类比：座位表系统

🎭 场景类比

想象一个班级：

  • 传统方法：按顺序点名（1号张三，2号李四…）
  • 位置编码：给每个学生发座位号，但座位号包含班级信息

关键洞察：

  • 座位号不仅是顺序，还编码了”前后左右”的关系
  • 任意两个学生都能计算他们之间的”距离”

🔗 知识网络连接

🔍 前置原子概念

🎯 延伸原子概念

💡 记忆口诀

“位置编码三要素”：

  • 身份证：每个词有唯一标识
  • 距离感：能计算词间距离
  • 连续性：保持序列平滑变化

🎯 30秒速记卡片

🎴 原子概念：位置编码
├─ 作用：给词发身份证
├─ 方法：正弦函数生成
├─ 效果：区分"我爱你"≠"你爱我"
└─ 优势：无需训练，通用性强

🧪 验证理解（3个小测试）

  1. 判断题：没有位置编码，Transformer会认为”我爱你”和”你爱我”意思一样 ✅正确

  2. 选择题：位置编码主要解决什么问题？ A) 词汇量不足 B) 语序理解 C) 计算速度 ✅B

  3. 应用题：用生活例子解释为什么需要位置编码 ✅答案示例：就像电话号码，同样的数字不同顺序就是不同号码

🔍 深度思考

本质洞察：位置编码是Transformer的”时空转换器”——将时间序列问题转化为空间表示问题，让并行计算成为可能。

返回知识原子库：AI概念地图

Graph View

Backlinks