西交自然语言处理四次作业全解析：代码与报告详解

摘要

本文系统梳理了西安交通大学自然语言处理（NLP）课程四次作业的核心内容，涵盖文本预处理、特征工程、模型构建与评估等关键环节。通过详细解析作业代码实现与报告撰写要点，结合PyTorch、NLTK等工具的应用实例，为NLP学习者提供从基础到进阶的完整实践路径。文章特别强调实验设计规范性、结果分析深度以及代码可复现性，助力读者提升工程实践能力与学术研究水平。

一、作业体系概述

西安交通大学NLP课程作业设计遵循”基础-进阶-综合”的递进式结构，四次作业分别聚焦：

1. 文本预处理与特征提取：掌握分词、词干提取、词向量表示等基础技术
2. 传统机器学习模型：实现朴素贝叶斯、SVM等分类算法
3. 神经网络模型：构建RNN、CNN等深度学习模型
4. 综合项目实践：完成端到端的文本分类/生成任务

每个作业包含代码实现（Python）与实验报告两部分，要求代码通过单元测试，报告需包含方法描述、实验设置、结果分析与改进方向。

二、核心作业内容解析

1. 第一次作业：文本预处理与特征工程

技术要点：

• 使用NLTK/Jieba实现中英文分词
• 构建停用词表与词干提取器
• 实现TF-IDF、Word2Vec特征表示

代码示例：

# 中文分词与词频统计
import jieba
from collections import Counter
text = "自然语言处理是人工智能的重要领域"
words = [word for word in jieba.cut(text) if len(word) > 1]
word_counts = Counter(words)
print(word_counts.most_common(3))

报告要求：

• 对比不同分词工具的准确率
• 分析特征维度对模型性能的影响
• 提出特征优化方案

2. 第二次作业：传统机器学习模型

模型实现：

• 朴素贝叶斯分类器
• 支持向量机（SVM）
• 特征选择方法（卡方检验、互信息）

关键代码：

from sklearn.naive_bayes import MultinomialNB
from sklearn.feature_extraction.text import TfidfVectorizer
# 数据准备
X_train, y_train = load_data()  # 自定义数据加载函数
vectorizer = TfidfVectorizer(max_features=5000)
X_train_vec = vectorizer.fit_transform(X_train)
# 模型训练
nb_clf = MultinomialNB()
nb_clf.fit(X_train_vec, y_train)

实验分析：

• 绘制学习曲线观察过拟合/欠拟合
• 对比不同核函数的SVM性能
• 分析混淆矩阵中的典型错误

3. 第三次作业：神经网络模型

网络架构：

• 文本CNN：多尺度卷积核捕获局部特征
• 双向LSTM：捕捉上下文依赖关系
• 注意力机制：增强关键特征权重

PyTorch实现：

import torch.nn as nn
class TextCNN(nn.Module):
    def __init__(self, vocab_size, embed_dim, num_classes):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.convs = nn.ModuleList([
            nn.Conv2d(1, 100, (k, embed_dim)) for k in [3,4,5]
        ])
        self.fc = nn.Linear(300, num_classes)
    def forward(self, x):
        x = self.embedding(x)  # [batch, seq_len, embed_dim]
        x = x.unsqueeze(1)     # [batch, 1, seq_len, embed_dim]
        x = [conv(x).squeeze(3) for conv in self.convs]  # 3个[batch,100,seq_len-k+1]
        x = [nn.functional.max_pool1d(i, i.size(2)).squeeze(2) for i in x]  # 3个[batch,100]
        x = torch.cat(x, 1)    # [batch,300]
        return self.fc(x)

训练技巧：

• 使用学习率预热（Warmup）
• 实现梯度裁剪防止爆炸
• 采用早停法（Early Stopping）

4. 第四次作业：综合项目实践

任务设计：

• 文本分类：新闻分类/情感分析
• 文本生成：诗歌生成/对话系统
• 序列标注：命名实体识别

项目结构：

project/
├── data/               # 原始数据与预处理脚本
├── models/             # 模型定义
├── utils/              # 辅助函数
├── train.py            # 训练入口
└── report.md           # 实验报告

评估指标：

• 分类任务：准确率、F1值
• 生成任务：BLEU、ROUGE
• 序列标注：实体级F1

三、报告撰写规范

1. 实验设置描述

• 数据集划分：训练集/验证集/测试集比例
• 超参数配置：学习率、批次大小、正则化系数
• 基线模型选择：需说明对比方法的选择依据

2. 结果分析框架

定量分析：

• 表格展示不同模型在测试集上的指标
• 绘制训练过程中的损失曲线与准确率曲线

定性分析：

• 错误案例分析（如分类错误的样本）
• 注意力权重可视化（对于神经网络模型）
• 特征重要性分析（对于传统模型）

3. 改进方向建议

• 数据层面：数据增强、领域适应
• 模型层面：架构优化、集成学习
• 训练层面：优化器改进、正则化策略

四、实践建议与资源推荐

1. 开发环境配置

• 推荐使用Anaconda管理Python环境
• 关键库版本建议：
  • PyTorch 1.8+
  • scikit-learn 0.24+
  • NLTK 3.6+
  • Gensim 4.0+

2. 调试技巧

• 使用PyCharm/VSCode的调试功能
• 添加日志记录关键中间结果
• 实现单元测试验证模块功能

3. 学习资源

• 经典论文：
  • “Attention Is All You Need” (Vaswani et al., 2017)
  • “Efficient Estimation of Word Representations in Vector Space” (Mikolov et al., 2013)
• 开源项目：
  • HuggingFace Transformers库
  • Fairseq序列建模工具包

五、常见问题解决方案

1. 代码常见错误

• 维度不匹配：检查张量形状转换
• 梯度消失：尝试梯度裁剪或残差连接
• 过拟合：增加Dropout层或L2正则化

2. 报告撰写误区

• 结果描述模糊：需提供具体数值而非”效果较好”
• 分析深度不足：应探讨”为什么”而非仅”是什么”
• 参考文献不规范：需按学术标准标注引用来源

六、总结与展望

通过完成这四次作业，学习者能够系统掌握NLP从基础处理到高级建模的全流程。建议后续从以下方向深入：

1. 探索预训练语言模型（BERT、GPT等）的微调应用
2. 研究多模态NLP（文本+图像/音频）
3. 关注低资源场景下的NLP技术

本课程作业体系的设计充分体现了”理论-实践-创新”的培养理念，为从事NLP相关研究或工程工作奠定了坚实基础。建议学习者在完成作业后，尝试将技术应用于真实业务场景，如智能客服、内容审核等，实现知识向生产力的转化。