中科院自然语言处理期末复习指南：押题与真题解析

引言

中科院自然语言处理（NLP）课程作为计算机科学与人工智能领域的核心课程，其期末考试不仅考察学生对基础理论的掌握，更注重实践应用能力。本文将从考前押题方向与考后题目回忆两个维度，为考生提供系统性复习指南，帮助大家高效备考。

一、考前押题：核心考点与题型预测

1. 基础理论部分

• 语言模型与统计方法
  重点考察N-gram模型、隐马尔可夫模型（HMM）的推导与应用。例如，计算句子概率的公式（P(w1,w2,…,wn)=∏P(wi|wi-1)），以及维特比算法在词性标注中的实现。
• 神经网络基础
  需掌握前馈神经网络（FNN）、循环神经网络（RNN）的结构与训练过程，尤其是反向传播算法的梯度计算。代码示例：

  # 简单RNN单元的前向传播
  def rnn_cell(x, h_prev, W_xh, W_hh, b):
      h_t = tanh(np.dot(W_xh, x) + np.dot(W_hh, h_prev) + b)
      return h_t

2. 核心算法部分

• 词向量与预训练模型
  Word2Vec的Skip-gram与CBOW模型对比，以及GloVe的全局矩阵分解方法。可能涉及负采样（Negative Sampling）的优化策略。
• 注意力机制与Transformer
  自注意力（Self-Attention）的计算公式（QK^T/√d_k），多头注意力的并行化实现，以及位置编码（Positional Encoding）的数学表达。

3. 应用实践部分

• 机器翻译与序列生成
  Beam Search算法的解码过程，需理解如何平衡搜索宽度与计算效率。例如，宽度为3的Beam Search在每一步保留概率最高的3个候选序列。
• 文本分类与信息抽取
  卷积神经网络（CNN）在文本分类中的应用，如使用不同大小的卷积核捕捉局部特征；命名实体识别（NER）中BiLSTM-CRF模型的联合训练方法。

4. 前沿技术部分

• 预训练语言模型（PLM）
  BERT的Masked Language Model（MLM）与Next Sentence Prediction（NSP）任务设计，以及GPT的自回归生成模式。
• 多模态NLP
  图像-文本跨模态检索的联合嵌入空间构建，如CLIP模型的对比学习目标函数。

二、考后题目回忆：真题解析与答题技巧

1. 理论题示例

• 题目：推导HMM的维特比算法中，递归计算δt(i)的公式，并说明其物理意义。
  解析：δ_t(i)=max{1≤j≤N}[δ{t-1}(j)a{ji}]bi(o_t)，其中a{ji}为状态转移概率，b_i(o_t)为观测概率。物理意义为t时刻处于状态i的最优路径概率。

2. 编程题示例

• 题目：实现基于PyTorch的Transformer编码器层，包括多头注意力与前馈网络。
  关键代码：

  class TransformerEncoderLayer(nn.Module):
      def __init__(self, d_model, nhead, dim_feedforward):
          super().__init__()
          self.self_attn = nn.MultiheadAttention(d_model, nhead)
          self.linear1 = nn.Linear(d_model, dim_feedforward)
          self.activation = nn.ReLU()
          self.linear2 = nn.Linear(dim_feedforward, d_model)
      def forward(self, src, src_mask=None):
          src2, attn_weights = self.self_attn(src, src, src, attn_mask=src_mask)
          src = src + self.linear2(self.activation(self.linear1(src2)))
          return src

3. 开放题示例

• 题目：分析BERT模型在长文本建模中的局限性，并提出改进方案。
  参考回答：BERT的最大序列长度限制（如512）导致长文本信息截断，可引入稀疏注意力（如Longformer）或分块处理（Chunking）策略。

三、复习策略与应试技巧

1. 分阶段复习

• 基础巩固（1周）：梳理课程PPT与教材，重点标注公式推导过程。
• 专题突破（2周）：按算法类型（如序列模型、图神经网络）分类练习，结合LeetCode-NLP专题题库。
• 模拟考试（1周）：限时完成历年真题，分析错题类型（如概念混淆、代码实现错误）。

2. 资源推荐

• 教材：《Speech and Language Processing》（Jurafsky & Martin）第三版。
• 论文：Transformer原始论文《Attention Is All You Need》、BERT论文《BERT: Pre-training of Deep Bidirectional Transformers》。
• 工具：Hugging Face Transformers库、PyTorch官方教程。

3. 考场注意事项

• 时间分配：理论题每题不超过15分钟，编程题预留40分钟调试。
• 答题规范：公式推导需标注步骤编号，代码题注明输入输出示例。
• 心态调整：遇到难题时先跳过，确保会做题目不失分。

结语

中科院NLP期末考试是对学生综合能力的一次全面检验。通过系统性复习（基础理论→核心算法→应用实践）与针对性训练（押题方向→真题解析），考生可显著提升备考效率。最终成绩的取得，既依赖于对知识点的深度理解，也离不开考场上的应变能力。预祝各位同学取得优异成绩！