基于PyTorch的Python简单情感分析代码实现与解析

情感分析作为自然语言处理（NLP）的核心任务之一，旨在通过文本内容判断其情感倾向（如积极、消极或中性）。随着深度学习技术的发展，基于PyTorch框架的神经网络模型因其灵活性和高效性，成为实现情感分析的主流方案。本文将从数据准备、模型构建、训练优化到实际应用，系统性地展示如何使用Python和PyTorch实现一个简单但高效的文本情感分类器。

一、技术选型与开发环境准备

1.1 PyTorch的核心优势

PyTorch作为动态计算图框架，具有两大显著优势：一是支持即时调试（如pdb集成），二是通过自动微分（Autograd）简化梯度计算。相较于TensorFlow的静态图模式，PyTorch的“定义即运行”特性更适合快速迭代开发。

1.2 环境配置清单

• Python版本：推荐3.8+（兼容PyTorch 1.12+）
• 依赖库：

  pip install torch torchtext numpy pandas scikit-learn

• 硬件要求：CPU即可运行，GPU加速需安装CUDA版PyTorch

二、数据预处理：从文本到数值

2.1 数据集选择与加载

以IMDB影评数据集为例，其包含50,000条标注为积极/消极的影评文本。使用torchtext的IMDB数据集模块可快速加载：

from torchtext.datasets import IMDB
train_iter, test_iter = IMDB(split=('train', 'test'))

2.2 文本向量化技术

2.2.1 词袋模型（Bag-of-Words）

通过统计词频构建特征向量，但忽略词序信息。示例代码：

from sklearn.feature_extraction.text import CountVectorizer
vectorizer = CountVectorizer(max_features=5000)
X_train = vectorizer.fit_transform([text for text, _ in train_iter])

2.2.2 词嵌入（Word Embedding）

使用预训练词向量（如GloVe）或随机初始化嵌入层：

import torch.nn as nn
embedding = nn.Embedding(num_embeddings=10000, embedding_dim=300)

2.3 数据分批与填充

为统一输入长度，需对序列进行填充：

from torch.nn.utils.rnn import pad_sequence
def collate_fn(batch):
    texts, labels = zip(*batch)
    text_lengths = [len(text) for text in texts]
    padded_texts = pad_sequence([torch.tensor(text) for text in texts], batch_first=True)
    return padded_texts, torch.tensor(labels), text_lengths

三、模型架构设计：从LSTM到Transformer

3.1 基础LSTM模型实现

LSTM通过门控机制解决长序列依赖问题，适合情感分析任务：

class LSTMSentiment(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, output_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim, batch_first=True)
        self.fc = nn.Linear(hidden_dim, output_dim)
    def forward(self, text, text_lengths):
        embedded = self.embedding(text)
        packed_embedded = nn.utils.rnn.pack_padded_sequence(
            embedded, text_lengths.cpu(), batch_first=True, enforce_sorted=False)
        packed_output, (hidden, cell) = self.lstm(packed_embedded)
        return self.fc(hidden.squeeze(0))

3.2 预训练模型微调

使用Hugging Face的transformers库加载BERT：

from transformers import BertModel, BertTokenizer
tokenizer = BertTokenizer.from_pretrained('bert-base-uncased')
bert = BertModel.from_pretrained('bert-base-uncased')

3.3 模型参数优化技巧

• 学习率调度：使用torch.optim.lr_scheduler.ReduceLROnPlateau
• 正则化：添加Dropout层（p=0.5）和权重衰减（weight_decay=1e-5）
• 批归一化：在全连接层前插入nn.BatchNorm1d

四、训练流程与评估指标

4.1 完整训练循环示例

def train(model, iterator, optimizer, criterion):
    model.train()
    epoch_loss = 0
    for batch in iterator:
        text, labels, text_lengths = batch
        optimizer.zero_grad()
        predictions = model(text, text_lengths)
        loss = criterion(predictions, labels)
        loss.backward()
        optimizer.step()
        epoch_loss += loss.item()
    return epoch_loss / len(iterator)

4.2 关键评估指标

• 准确率：accuracy = correct_predictions / total_samples
• F1分数：处理类别不平衡问题

  from sklearn.metrics import f1_score
  f1 = f1_score(y_true, y_pred, average='weighted')

• 混淆矩阵：可视化分类结果

五、部署与应用场景

5.1 模型导出为TorchScript

traced_model = torch.jit.trace(model, example_input)
traced_model.save("sentiment_model.pt")

5.2 实时预测API实现

使用FastAPI构建REST接口：

from fastapi import FastAPI
app = FastAPI()
@app.post("/predict")
async def predict(text: str):
    tokenized = tokenizer(text, return_tensors="pt")
    with torch.no_grad():
        output = model(**tokenized)
    return {"sentiment": "positive" if output.logits[0][0] > 0.5 else "negative"}

5.3 行业应用案例

• 电商评论分析：自动标记用户反馈情感
• 社交媒体监控：实时追踪品牌舆情
• 客户服务优化：识别客户咨询中的负面情绪

六、优化方向与挑战

6.1 性能提升策略

• 数据增强：同义词替换、回译技术
• 模型压缩：量化感知训练（QAT）
• 分布式训练：使用torch.distributed

6.2 常见问题解决方案

• 过拟合：增加数据量、使用早停法
• 长文本处理：引入注意力机制
• 多语言支持：采用多语言BERT模型

七、完整代码示例

import torch
import torch.nn as nn
from torchtext.datasets import IMDB
from torch.utils.data import DataLoader
from torch.nn.utils.rnn import pad_sequence
# 1. 数据加载
def tokenize(text):
    return [int(word) for word in text.split()]
train_iter, test_iter = IMDB(split=('train', 'test'))
train_data = [(tokenize(text), label) for text, label in train_iter]
test_data = [(tokenize(text), label) for text, label in test_iter]
# 2. 模型定义
class SimpleLSTM(nn.Module):
    def __init__(self, vocab_size, embed_dim, hidden_dim, output_dim):
        super().__init__()
        self.embedding = nn.Embedding(vocab_size, embed_dim)
        self.lstm = nn.LSTM(embed_dim, hidden_dim)
        self.fc = nn.Linear(hidden_dim, output_dim)
    def forward(self, text):
        embedded = self.embedding(text)
        output, (hidden, _) = self.lstm(embedded.view(len(text), 1, -1))
        return self.fc(hidden.squeeze(0))
# 3. 训练配置
model = SimpleLSTM(vocab_size=10000, embed_dim=100, hidden_dim=256, output_dim=1)
optimizer = torch.optim.Adam(model.parameters())
criterion = nn.BCEWithLogitsLoss()
# 4. 训练循环
for epoch in range(10):
    for text, label in train_data[:1000]:  # 简化示例
        model.zero_grad()
        predictions = model(torch.tensor(text))
        loss = criterion(predictions, torch.tensor([label], dtype=torch.float))
        loss.backward()
        optimizer.step()
    print(f"Epoch {epoch}, Loss: {loss.item():.4f}")

八、总结与展望

本文通过PyTorch实现了从基础LSTM到预训练模型的完整情感分析流程，覆盖了数据预处理、模型构建、训练优化和部署应用的全生命周期。实际开发中，建议从简单模型入手，逐步引入更复杂的架构（如Transformer）。未来研究方向包括：多模态情感分析（结合文本、图像和音频）、低资源语言支持以及实时流式处理优化。

通过掌握本文介绍的技术栈，开发者能够快速构建满足业务需求的情感分析系统，为智能客服、舆情监控等场景提供核心技术支持。