自然语言处理NLP-100例 | 第二篇：在线课程评论情感分析-本科毕设实战案例

引言

在数字化教育快速发展的背景下，在线课程平台积累了海量用户评论数据。这些评论蕴含着学习者对课程质量、教师表现、内容实用性的真实反馈，但人工分析效率低下且主观性强。自然语言处理（NLP）技术通过自动化情感分析，能够高效提取评论中的情感倾向（积极/消极/中性），为课程优化、教师评价和平台运营提供数据支持。本文以本科毕业设计为场景，详细介绍如何从零开始构建一个在线课程评论情感分析系统，涵盖数据采集、预处理、模型选择与评估的全流程。

一、项目背景与目标

1.1 需求分析

在线教育平台需解决以下问题：

• 课程质量评估：快速识别低分课程的共性问题（如讲解不清、内容过时）；
• 教师反馈：通过评论情感分析量化教师教学效果；
• 用户留存：发现负面评论中的高频关键词（如“难度太高”“互动少”），针对性改进服务。

1.2 技术目标

• 实现一个端到端的情感分析系统，输入课程评论，输出情感标签（积极/消极/中性）及置信度；
• 模型准确率≥85%，满足本科毕设对创新性和实用性的要求。

二、数据准备与预处理

2.1 数据采集

• 来源选择：从慕课网、Coursera等平台爬取课程评论（需遵守robots协议，避免高频请求）；
• 字段设计：评论ID、课程ID、用户ID、评论内容、评分（1-5分）、时间戳；
• 示例代码（Python）：
  ```python
  import requests
  from bs4 import BeautifulSoup

def scrape_comments(url):
headers = {‘User-Agent’: ‘Mozilla/5.0’}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, ‘html.parser’)
comments = []
for item in soup.select(‘.comment-item’):
text = item.select_one(‘.content’).text.strip()
rating = int(item.select_one(‘.rating’).text.split(‘/‘)[0])
comments.append({‘text’: text, ‘rating’: rating})
return comments

### 2.2 数据清洗
- **去重**：删除完全相同的评论；
- **噪声过滤**：移除特殊符号、URL、广告链接；
- **分词与词性标注**：使用jieba分词库处理中文文本，保留名词、动词、形容词；
- **示例代码**：
```python
import jieba
import re
def preprocess_text(text):
    text = re.sub(r'[^\w\s]', '', text)  # 去标点
    words = jieba.lcut(text)  # 分词
    words = [word for word in words if len(word) > 1]  # 过滤单字
    return ' '.join(words)

2.3 情感标签映射

将评分转换为情感标签：

• 1-2分 → 消极
• 3分 → 中性
• 4-5分 → 积极

三、模型构建与训练

3.1 特征工程

• TF-IDF：计算词频-逆文档频率，提取关键词；
• Word2Vec：训练词向量模型，捕捉语义信息；
• 示例代码：
  ```python
  from sklearn.feature_extraction.text import TfidfVectorizer
  from gensim.models import Word2Vec

TF-IDF

tfidf = TfidfVectorizer(max_features=5000)
X_tfidf = tfidf.fit_transform(processed_texts)

Word2Vec

sentences = [text.split() for text in processed_texts]
model = Word2Vec(sentences, vector_size=100, window=5, min_count=1)

### 3.2 模型选择
- **传统机器学习**：逻辑回归、SVM（适合小数据集）；
- **深度学习**：LSTM、BERT（适合大数据集，需GPU支持）；
- **示例代码（LSTM）**：
```python
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Embedding, LSTM, Dense
model = Sequential([
    Embedding(input_dim=vocab_size, output_dim=100, input_length=max_len),
    LSTM(64),
    Dense(3, activation='softmax')
])
model.compile(loss='sparse_categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.fit(X_train, y_train, epochs=10, validation_data=(X_val, y_val))

3.3 模型评估

• 指标：准确率、F1值、混淆矩阵；
• 交叉验证：使用5折交叉验证避免过拟合；
• 示例代码：
  ```python
  from sklearn.metrics import classification_report, confusion_matrix

y_pred = model.predict(X_test)
y_pred_classes = np.argmax(y_pred, axis=1)
print(classification_report(y_test, y_pred_classes))
print(confusion_matrix(y_test, y_pred_classes))

## 四、系统优化与部署
### 4.1 模型调优
- **超参数搜索**：使用GridSearchCV调整LSTM层数、学习率；
- **集成学习**：结合SVM和LSTM的预测结果提升鲁棒性。
### 4.2 部署方案
- **Web服务**：使用Flask框架封装模型，提供API接口；
- **示例代码**：
```python
from flask import Flask, request, jsonify
import joblib
app = Flask(__name__)
model = joblib.load('sentiment_model.pkl')
@app.route('/predict', methods=['POST'])
def predict():
    data = request.json
    text = preprocess_text(data['text'])
    features = tfidf.transform([text])
    pred = model.predict(features)
    return jsonify({'sentiment': pred[0]})
if __name__ == '__main__':
    app.run(host='0.0.0.0', port=5000)

五、毕设成果展示

5.1 报告结构

1. 摘要：概述项目目标、方法与成果；
2. 相关技术：介绍NLP、情感分析基础；
3. 系统设计：数据流图、模块划分；
4. 实验结果：对比不同模型的性能；
5. 总结与展望：提出改进方向（如多语言支持）。

5.2 答辩技巧

• 可视化：用柱状图展示情感分布，用热力图展示关键词重要性；
• 案例分析：选取典型评论解释模型预测结果。

六、总结与建议

6.1 关键收获

• 掌握NLP全流程：从数据采集到模型部署；
• 理解情感分析的核心挑战：如否定词处理、 sarcasm检测。

6.2 扩展方向

• 多模态分析：结合评论文本与用户评分、观看时长；
• 实时分析：使用流处理框架（如Apache Kafka）处理增量数据。

本文提供的代码和流程可直接应用于本科毕设，建议结合具体数据集调整参数，并关注模型的可解释性（如使用LIME工具分析特征重要性）。通过此项目，学生不仅能掌握NLP技术，还能培养工程化思维，为后续研究或职业发展打下基础。