哈工大2022秋NLP期末试题深度解析与备考指南

一、试题整体结构与命题特征分析

哈工大2022年秋季NLP期末考试延续了”基础理论+前沿技术+工程实践”的三维考核体系。试卷总分100分，包含选择题（20分）、简答题（30分）、计算题（25分）和综合应用题（25分）四大模块。值得注意的是，本年度试题显著强化了对预训练语言模型（PLM）和跨模态学习的考察，反映出NLP领域从规则驱动向数据驱动的范式转变。

命题趋势分析：

1. 理论深度加强：词法分析题从传统的正则表达式转向神经网络分词模型对比
2. 实践导向明显：序列标注任务要求实现完整的CRF模型训练流程
3. 前沿技术渗透：20%的题目涉及BERT、GPT等预训练模型的应用场景

二、核心考点与典型试题解析

1. 语言模型基础（15分）

典型试题：给定语料库”自然语言处理很有趣”，要求：
(1) 计算3-gram语言模型下”语言处理很”的概率
(2) 比较n-gram与神经语言模型在数据稀疏问题上的解决方案

解析要点：

• 统计语言模型需注意零概率问题的平滑处理（如加一平滑）
• 神经语言模型应重点阐述词嵌入的分布式表示和上下文关联机制
• 对比分析要突出参数规模与泛化能力的权衡关系

备考建议：

# 示例：N-gram概率计算实现
def ngram_prob(corpus, n, target):
    ngrams = [corpus[i:i+n] for i in range(len(corpus)-n+1)]
    count = sum(1 for gram in ngrams if gram[:-1] == target[:-1])
    total = sum(1 for gram in ngrams if gram[:-1] == target[:-1])
    return count / total if total > 0 else 0  # 需结合平滑算法改进

2. 序列标注与结构预测（25分）

典型试题：实现基于BiLSTM-CRF的中文分词系统，要求：
(1) 绘制模型架构图
(2) 编写CRF损失函数的核心代码
(3) 分析标签偏置问题的解决方案

解析要点：

• 模型架构需清晰展示双向LSTM的特征提取机制
• CRF损失函数应包含发射分数和转移分数的联合计算
• 标签偏置问题需结合Viterbi解码算法的动态规划特性说明

关键代码实现：

import torch
import torch.nn as nn
class CRFLayer(nn.Module):
    def __init__(self, tag_size):
        super().__init__()
        self.transitions = nn.Parameter(torch.randn(tag_size, tag_size))
    def forward(self, emissions, tags):
        # emissions: [seq_len, batch_size, tag_size]
        # tags: [seq_len, batch_size]
        seq_len, batch_size = tags.shape
        score = torch.zeros(batch_size)
        # 初始转移分数
        score += self.transitions[tags[0], :].diag()
        for t in range(1, seq_len):
            score += self.transitions[tags[t], tags[t-1]]
        # 添加发射分数
        for t in range(seq_len):
            score += emissions[t].gather(1, tags[t].unsqueeze(1)).squeeze()
        return score

3. 注意力机制与Transformer（20分）

典型试题：从数学角度推导自注意力机制的完整计算过程，并分析多头注意力的优势。

解析要点：

• 需完整展示QKV矩阵的线性变换、缩放点积和softmax归一化
• 多头注意力应说明参数不共享带来的特征多样性
• 计算复杂度分析要结合序列长度和头数的渐进关系

公式推导示例：
$<br>\text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V<br>$
其中$d_k$为键向量的维度，缩放因子防止点积结果过大导致softmax梯度消失。

三、备考策略与能力提升建议

1. 理论体系构建

• 建立知识图谱：从词法分析→句法分析→语义表示→语用理解的层级框架
• 重点突破：预训练模型（BERT/GPT）、图神经网络（GNN）、强化学习在NLP的应用
• 论文精读：建议每周精读1篇ACL/NAACL顶会论文，重点关注Motivation和Experiment部分

2. 实践能力培养

• 框架选择：优先掌握PyTorch/TensorFlow中的NLP专用模块（如HuggingFace Transformers）

• 典型任务实现：

  from transformers import AutoTokenizer, AutoModel
  tokenizer = AutoTokenizer.from_pretrained("bert-base-chinese")
  model = AutoModel.from_pretrained("bert-base-chinese")
  inputs = tokenizer("自然语言处理很有趣", return_tensors="pt")
  outputs = model(**inputs)

• 调试技巧：使用TensorBoard可视化注意力权重分布，辅助模型诊断

3. 前沿技术跟踪

• 建立技术雷达：关注arXiv每日更新的NLP预印本
• 参加学术活动：NLPCC、CCIR等国内会议的workshop通常包含实战教程
• 实践平台：Kaggle的NLP竞赛（如近期的Contrastive Learning赛道）

四、考试应对技巧

1. 时间分配策略：

   • 选择题（15分钟）：快速排除明显错误选项
   • 计算题（40分钟）：先写公式框架再代入数值
   • 编程题（60分钟）：采用模块化实现，预留调试时间

2. 答题规范要点：

   • 公式推导需注明假设条件
   • 代码题要包含必要的注释
   • 综合题建议采用”总-分-总”结构

3. 心理调适建议：

   • 遇到难题时采用”三步法”：理解题意→分解子问题→逆向验证
   • 保持每分钟1-2行的书写速度
   • 考前进行全真模拟（使用往年试题限时训练）

本试题解析表明，哈工大NLP课程考核已形成”理论扎实、技术前沿、实践导向”的鲜明特色。备考过程中，建议采用”知识树+代码库+论文集”的三维学习方法，既要深入理解NLP的数学基础，又要掌握工业级实现技巧。对于计划从事NLP研发的读者，建议从本课程的知识体系出发，逐步向多模态学习、可信AI等方向拓展，构建完整的AI技术栈。