北大语言学NLP课程：机器学习与自然语言处理的深度融合

一、课程背景与定位

北大语言学自然语言处理系列课程，是国内顶尖高校在NLP领域的系统化教学成果。第二讲“机器学习与自然语言处理”作为核心模块，旨在帮助开发者理解机器学习在NLP中的关键作用，掌握从文本分类、情感分析到序列标注等任务的实现方法。课程不仅适合计算机专业学生，也对语言学、人工智能等交叉领域研究者具有重要参考价值。

1.1 课程目标与特色

课程以“理论+实践”为导向，强调机器学习模型在NLP任务中的落地能力。通过33页的详细讲解，覆盖了从传统机器学习算法（如SVM、决策树）到深度学习模型（如RNN、Transformer）的全流程，同时结合语言学理论，分析自然语言数据的独特性与处理难点。例如，课程指出，自然语言数据的稀疏性、上下文依赖性以及语义模糊性，是传统机器学习方法难以直接应用的主要原因，而深度学习通过端到端建模，有效缓解了这些问题。

1.2 适用人群与学习路径

课程设计兼顾不同层次的学习者。对于初学者，建议从第1-10页的基础概念入手，理解NLP任务分类（如分类、生成、序列标注）与机器学习模型的对应关系；对于进阶开发者，第11-25页的深度学习模型实现与优化部分更具价值；最后8页则聚焦前沿方向（如预训练语言模型、少样本学习），适合研究者拓展视野。

二、核心内容解析：机器学习在NLP中的应用

课程以“任务驱动”为线索，系统梳理了机器学习在NLP中的典型应用场景，并结合代码示例与理论分析，帮助开发者快速上手。

2.1 文本分类：从传统算法到深度学习

文本分类是NLP的基础任务，课程首先介绍了基于传统机器学习的方法（如SVM、朴素贝叶斯），强调特征工程的重要性。例如，通过TF-IDF、词袋模型将文本转换为数值特征，再输入分类器。然而，传统方法依赖人工特征设计，且难以捕捉长距离依赖关系。

随后，课程转向深度学习解决方案，以卷积神经网络（CNN）和循环神经网络（RNN）为例，展示如何通过端到端学习自动提取特征。例如，使用PyTorch实现一个简单的CNN文本分类器：

import torch
import torch.nn as nn
class TextCNN(nn.Module):
    def __init__(self, vocab_size, embed_dim, num_classes):
        super(TextCNN, self).__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.conv1 = nn.Conv2d(1, 16, kernel_size=(3, embed_dim))
        self.fc = nn.Linear(16 * (seq_length - 2), num_classes)  # 假设seq_length已知
    def forward(self, x):
        x = self.embedding(x)  # [batch_size, seq_length, embed_dim]
        x = x.unsqueeze(1)     # [batch_size, 1, seq_length, embed_dim]
        x = torch.relu(self.conv1(x))
        x = x.squeeze(3)       # [batch_size, 16, seq_length-2]
        x = x.permute(0, 2, 1) # [batch_size, seq_length-2, 16]
        x = x.reshape(x.size(0), -1)
        return self.fc(x)

课程指出，CNN通过局部感受野捕捉n-gram特征，适合短文本分类；而RNN（如LSTM）通过循环结构处理序列依赖，更适合长文本。但两者均存在梯度消失问题，为此引入了注意力机制与Transformer架构。

2.2 序列标注：从HMM到CRF与BERT

序列标注（如命名实体识别、词性标注）是NLP的核心任务之一。课程首先回顾了隐马尔可夫模型（HMM）和条件随机场（CRF），强调其基于统计的建模方式。例如，CRF通过定义全局归一化概率，解决了HMM的局部归一化缺陷，但传统方法仍依赖手工特征。

深度学习时代，BiLSTM-CRF成为主流解决方案。课程以PyTorch为例，展示了如何结合BiLSTM提取上下文特征，再通过CRF层解码最优标签序列：

class BiLSTM_CRF(nn.Module):
    def __init__(self, vocab_size, tag_to_ix, embedding_dim, hidden_dim):
        super(BiLSTM_CRF, self).__init__()
        self.embedding_dim = embedding_dim
        self.hidden_dim = hidden_dim
        self.vocab_size = vocab_size
        self.tag_to_ix = tag_to_ix
        self.tagset_size = len(tag_to_ix)
        self.word_embeds = nn.Embedding(vocab_size, embedding_dim)
        self.lstm = nn.LSTM(embedding_dim, hidden_dim // 2,
                            num_layers=1, bidirectional=True)
        self.hidden2tag = nn.Linear(hidden_dim, self.tagset_size)
        self.crf = CRF(self.tagset_size)  # 假设CRF类已实现
    def forward(self, sentence):
        embeds = self.word_embeds(sentence)
        lstm_out, _ = self.lstm(embeds.view(len(sentence), 1, -1))
        lstm_out = lstm_out.view(len(sentence), self.hidden_dim)
        emissions = self.hidden2tag(lstm_out)
        return self.crf.decode(emissions)

课程进一步指出，预训练语言模型（如BERT）通过大规模无监督学习，提供了更丰富的上下文表示，显著提升了序列标注任务的性能。例如，在BERT输出上直接接一个线性分类层，即可完成命名实体识别。

2.3 生成任务：从N-gram到Transformer

生成任务（如机器翻译、文本摘要）是NLP的难点。课程首先分析了N-gram模型的局限性（如数据稀疏、长距离依赖），随后引入了神经机器翻译（NMT）的编码器-解码器框架。以RNN为例，编码器将源语言句子编码为固定向量，解码器逐词生成目标语言。

但RNN的序列依赖导致并行性差，为此课程重点讲解了Transformer架构。通过自注意力机制，Transformer能够并行计算序列中任意位置的关系，显著提升了生成效率与质量。课程以PyTorch实现Transformer的简化版为例，展示了多头注意力与残差连接的核心逻辑：

class MultiHeadAttention(nn.Module):
    def __init__(self, embed_dim, num_heads):
        super(MultiHeadAttention, self).__init__()
        self.embed_dim = embed_dim
        self.num_heads = num_heads
        self.head_dim = embed_dim // num_heads
        assert self.head_dim * num_heads == embed_dim
        self.q_linear = nn.Linear(embed_dim, embed_dim)
        self.k_linear = nn.Linear(embed_dim, embed_dim)
        self.v_linear = nn.Linear(embed_dim, embed_dim)
        self.out_linear = nn.Linear(embed_dim, embed_dim)
    def forward(self, query, key, value):
        batch_size = query.size(0)
        Q = self.q_linear(query).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)
        K = self.k_linear(key).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)
        V = self.v_linear(value).view(batch_size, -1, self.num_heads, self.head_dim).transpose(1, 2)
        scores = torch.matmul(Q, K.transpose(-2, -1)) / torch.sqrt(torch.tensor(self.head_dim))
        attn_weights = torch.softmax(scores, dim=-1)
        context = torch.matmul(attn_weights, V)
        context = context.transpose(1, 2).contiguous().view(batch_size, -1, self.embed_dim)
        return self.out_linear(context)

课程强调，Transformer的自注意力机制能够捕捉句子内部的语法与语义关系，而预训练模型（如GPT、BART）通过大规模语料学习通用语言模式，进一步推动了生成任务的发展。

三、实践建议与学习资源

课程不仅提供理论讲解，还给出了可操作的实践建议。例如，在数据预处理阶段，建议使用分词工具（如jieba、NLTK）结合词表构建；在模型训练阶段，推荐使用小批量梯度下降与学习率调度；在评估阶段，强调准确率、F1值等指标的选择依据。

此外，课程推荐了多个开源工具与数据集，如Hugging Face的Transformers库、GLUE基准测试集等，帮助开发者快速验证想法。对于研究者，课程建议关注ACL、EMNLP等顶级会议的最新成果，保持对前沿技术的敏感度。

四、总结与展望

北大语言学自然语言处理系列课程第二讲“机器学习与自然语言处理”，通过33页的详细讲解，系统梳理了机器学习在NLP中的核心方法与应用场景。课程既注重理论深度，又强调实践可操作性，为开发者提供了从入门到进阶的完整路径。

未来，随着预训练语言模型、少样本学习等技术的不断发展，NLP将进一步突破场景限制，实现更广泛的应用。开发者需持续学习，结合语言学理论与工程实践，才能在快速变化的领域中保持竞争力。