自然语言处理中的"词"：从分词到语义理解的深度解析

一、分词技术：从规则到统计的演进

分词作为中文NLP的基础环节，其准确性直接影响后续任务效果。传统基于词典的规则分词（如正向最大匹配、逆向最大匹配）依赖人工构建的词典，面对未登录词（OOV）和歧义切分时表现脆弱。例如”结合成分子”可切分为”结合/成分/子”或”结合/成/分子”，规则方法难以抉择。

统计分词通过概率模型解决该问题，隐马尔可夫模型（HMM）和条件随机场（CRF）是典型代表。HMM假设词序列符合马尔可夫过程，通过观测序列（字符）推断隐藏状态（词），其核心公式为：

# HMM分词示例（简化版）
import numpy as np
# 状态转移矩阵（B:词首, M:词中, E:词尾, S:单字词）
trans_prob = np.array([
    [0.3, 0.6, 0.1, 0.0],  # B->B/M/E/S
    [0.0, 0.7, 0.2, 0.1],  # M->B/M/E/S
    [0.0, 0.0, 0.8, 0.2],  # E->B/M/E/S
    [0.5, 0.3, 0.1, 0.1]   # S->B/M/E/S
])
# 发射概率矩阵（字符在各状态下的概率）
emit_prob = {
    '结': {'B':0.2, 'M':0.1, 'E':0.0, 'S':0.7},
    '合': {'B':0.1, 'M':0.3, 'E':0.5, 'S':0.1}
}

CRF则通过全局归一化考虑上下文特征，在标注一致性上表现更优。现代分词系统（如Jieba、LTP）多采用CRF+词典的混合策略，结合统计模型与领域知识。

二、词向量：从离散到连续的语义革命

传统词表示方法（如One-Hot）存在高维稀疏、无法捕捉语义关联的问题。Word2Vec通过神经网络将词映射为低维稠密向量，其核心思想是”具有相似上下文的词语义相近”。CBOW模型通过上下文预测中心词，Skip-Gram则反向操作，两者均通过负采样优化训练效率。

# Word2Vec训练示例（使用Gensim）
from gensim.models import Word2Vec
sentences = [["自然", "语言", "处理"], ["词", "向量", "表示"]]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)
print(model.wv.most_similar("词", topn=3))  # 输出语义相近词

GloVe通过全局词共现矩阵分解，同时捕捉局部与全局语义。BERT等预训练模型则引入上下文相关的动态词向量，同一词在不同语境下具有不同表示，例如”苹果”在”水果”和”科技公司”场景下的向量差异显著。

三、上下文建模：从词到语境的跨越

静态词向量无法解决一词多义问题，动态词向量成为研究热点。ELMo通过双向LSTM生成上下文相关表示，其公式为：
[ \mathbf{h}t = \text{BiLSTM}([\mathbf{x}_t; \mathbf{h}{t-1}], [\mathbf{x}t; \mathbf{h}{t+1}]) ]
其中(\mathbf{x}_t)为静态词向量，(\mathbf{h}_t)融合前后文信息。

Transformer架构通过自注意力机制实现更高效的上下文建模。以BERT为例，其输入为词序列与位置编码的和，通过多层注意力头捕捉不同粒度的语义关联：

# BERT注意力可视化示例（简化版）
import torch
# 假设输入为"自然 语言 处理"的词嵌入
embeddings = torch.randn(3, 768)  # 3词, 768维
position_enc = torch.tensor([[0,0,0], [1,1,1], [2,2,2]])  # 简化位置编码
input_vec = embeddings + position_enc
# 计算注意力分数（QK^T/sqrt(d_k)）
query = input_vec @ torch.randn(768, 64)  # 64维注意力头
key = input_vec @ torch.randn(768, 64)
attn_scores = (query @ key.T) / 8  # sqrt(64)=8
attn_weights = torch.softmax(attn_scores, dim=1)

四、工程实践中的关键挑战

1. 未登录词处理：领域术语、新词（如”元宇宙”）需通过子词单元（BPE、WordPiece）或混合模型解决。例如BERT的分词器会将”元宇宙”拆分为”元”、”##宇宙”。

2. 领域适配：通用词向量在医疗、法律等垂直领域表现下降，需通过继续训练（Continue Training）或领域数据微调优化。实践建议：

   • 收集10万级领域语料
   • 在通用模型基础上进行1-3个epoch的微调
   • 学习率设置为通用模型的1/10

3. 多语言支持：跨语言词向量（如MUSE）通过对齐不同语言的语义空间实现迁移学习。例如将中文”银行”与英文”bank”映射到相近向量空间。

五、未来趋势与开发者建议

1. 少样本学习：通过元学习（Meta-Learning）提升模型对罕见词的适应能力，例如使用MAML算法在少量样本上快速调整词向量。

2. 词与图的融合：将词嵌入与知识图谱结合，构建语义-结构联合表示。例如在医疗领域，将”糖尿病”词向量与疾病-症状图谱关联。

3. 轻量化部署：针对边缘设备，可采用知识蒸馏将BERT压缩为TinyBERT，或使用量化技术将FP32词向量转为INT8，模型体积可缩小75%而精度损失小于3%。

实践建议：

• 初始阶段优先使用预训练模型（如HuggingFace的Transformers库）
• 业务场景明确后，针对性优化分词策略（如添加领域词典）
• 监控线上模型的OOV率，当超过5%时需触发模型更新流程

从分词到上下文建模，”词”作为NLP的基本单元，其处理技术直接决定了系统的上限。开发者需结合业务场景，在精度、效率与可维护性间取得平衡，方能构建真正智能的语言处理系统。