一、数据采集与预处理：构建高质量语料库

豆瓣影评数据具有用户基数大、文本多样性强的特点，但原始数据存在噪声多、标注不统一等问题。数据采集阶段需解决三大挑战：

1. 反爬机制应对：豆瓣API限制严格，需采用动态User-Agent轮换、IP代理池、请求间隔随机化等技术。例如使用requests库时，可通过headers={'User-Agent': random.choice(USER_AGENTS)}实现代理切换。
2. 数据清洗规则：需过滤短评（<20字）、广告评论、重复内容。通过正则表达式re.compile(r'购买链接|加微信|代写')可识别广告文本，结合nltk的sent_tokenize进行分句去重。
3. 标注一致性处理：用户评分（1-5星）需映射为连续值，可采用评分=原始评分*0.25转换为[0.25,1.25]区间，再通过Min-Max归一化到[0,1]。

二、特征工程：从文本到数值的转化

影评文本需转化为机器学习可处理的特征向量，核心方法包括：

1. 词法特征提取：
   • TF-IDF：使用sklearn.feature_extraction.text.TfidfVectorizer，设置ngram_range=(1,2)捕捉单字和双字特征，max_df=0.95过滤高频噪声词。
   • Word2Vec：通过gensim.models.Word2Vec训练词向量，设置vector_size=100, window=5，将词向量平均得到句向量。
2. 情感特征增强：
   • 情感词典匹配：结合BosonNLP情感词典，统计每条评论的正负情感词数量，计算情感得分=(正词数-负词数)/总词数。
   • 依存句法分析：使用LTP工具提取”评价对象-评价词”对，例如”剧情精彩”中”剧情”为对象，”精彩”为评价词，构建对象级情感特征。
3. 主题特征建模：
   • LDA主题模型：通过gensim.models.LdaModel设置num_topics=20，将每条评论映射到主题分布向量，捕捉潜在语义特征。

三、模型选择与优化：从传统到深度学习的演进

3.1 传统机器学习方案

1. 线性回归基线：

   from sklearn.linear_model import LinearRegression
   model = LinearRegression()
   model.fit(X_train_tfidf, y_train)  # X_train_tfidf为TF-IDF特征

   基线模型MAE可达0.32，但无法捕捉非线性关系。

2. 随机森林提升：

   from sklearn.ensemble import RandomForestRegressor
   rf = RandomForestRegressor(n_estimators=200, max_depth=15)
   rf.fit(X_train_all, y_train)  # X_train_all合并TF-IDF、情感、主题特征

   融合多特征后MAE降至0.28，但存在过拟合风险。

3.2 深度学习突破

1. TextCNN模型构建：

   from tensorflow.keras.layers import Conv1D, GlobalMaxPooling1D
   input_layer = Input(shape=(max_len,))
   embedding = Embedding(vocab_size, 100)(input_layer)
   conv1 = Conv1D(128, 3, activation='relu')(embedding)
   pool1 = GlobalMaxPooling1D()(conv1)
   dense = Dense(1, activation='sigmoid')(pool1)  # 输出归一化评分

   通过3个不同kernel_size(3,4,5)的卷积核捕捉n-gram特征，MAE降至0.25。

2. BERT微调策略：

   from transformers import BertTokenizer, TFBertForSequenceClassification
   tokenizer = BertTokenizer.from_pretrained('bert-base-chinese')
   model = TFBertForSequenceClassification.from_pretrained(
       'bert-base-chinese', 
       num_labels=1,  # 回归任务
       problem_type="regression"
   )

   使用豆瓣数据微调BERT，设置learning_rate=2e-5, batch_size=16，MAE最终达到0.22，但需GPU加速训练。

四、模型评估与部署

1. 评估指标选择：

   • MAE（平均绝对误差）：直接反映预测偏差，0.22MAE意味着预测分与真实分平均相差0.22星。
   • R²（决定系数）：评估模型解释方差比例，优质模型R²应>0.7。

2. 在线服务部署：

   • 模型服务化：使用FastAPI构建RESTful接口，加载最佳模型提供预测服务。
     ```python
     from fastapi import FastAPI
     import joblib
     app = FastAPI()
     model = joblib.load(‘best_model.pkl’)

   @app.post(‘/predict’)
   def predict(text: str):

   features = preprocess(text)  # 预处理函数
   score = model.predict([features])[0]
   return {'predicted_score': score}

   ```

   • 容器化部署：通过Docker打包服务，设置CPU_LIMIT=2, MEMORY_LIMIT=4G保证稳定性。

五、实战优化建议

1. 数据增强技巧：

   • 回译增强：将中文评论翻译为英文再译回中文，增加文本多样性。
   • 同义词替换：使用synonyms库替换情感词，例如”精彩”→”出色”。

2. 模型融合策略：

   • 加权平均：对TextCNN(权重0.4)、BERT(权重0.6)的预测结果加权。
   • Stacking：用随机森林作为元模型，融合多个基模型的预测值。

3. 持续迭代机制：

   • 增量学习：每月采集新影评，用partial_fit更新模型。
   • A/B测试：对比新旧模型在线效果，设置p<0.05为显著差异阈值。

六、典型问题解决方案

1. 长文本处理：

   • 截断策略：对超过512字的评论，保留前256字和后256字，中间用[MASK]填充。
   • 层次化建模：先对段落进行预测，再通过注意力机制聚合段落级预测。

2. 冷启动问题：

   • 迁移学习：在电影领域预训练BERT，再微调至评分预测任务。
   • 特征嫁接：利用IMDb数据训练的模型参数初始化部分网络层。

3. 可解释性需求：

   • SHAP值分析：通过shap库计算特征重要性，例如发现”烂片”一词对低分的贡献度达0.15。
   • 注意力可视化：使用bertviz展示BERT对关键评价词的关注程度。

本方案通过系统化的NLP技术栈，实现了从280万条影评到评分预测的完整闭环。开发者可根据资源条件选择传统机器学习（快速落地）或深度学习（高精度）方案，建议从TF-IDF+随机森林起步，逐步过渡到BERT微调。实际部署时需特别注意模型服务化后的性能监控，建议设置MAX_LATENCY=500ms的SLA标准。