大语言模型文本二分类微调实践指南

在文本二分类任务中，许多团队会面临一个看似简单、实际影响很大的问题：应当微调基础语言模型，还是微调经过指令对齐的对话模型？

这个问题没有统一答案。模型类型只是影响效果的变量之一，文本长度、标签定义、数据规模、类别分布、领域术语密度、推理成本以及评测方式，都会决定最终方案是否有效。实际项目中，如果没有先建立可靠的数据集和实验基线，即使更换更大的模型或采用更复杂的训练方法，也可能无法得到稳定收益。

本文围绕二分类场景，从模型选择、训练方式、数据策略和评测方法四个维度进行说明。

一、先明确：文本二分类究竟在解决什么问题

文本二分类的目标是把输入文本映射到两个预定义类别，例如：

• 内容是否违规；
• 用户反馈是否为负向情绪；
• 工单是否需要人工介入；
• 文本是否与指定主题相关；
• 对话是否包含某类风险意图。

虽然最终输出只有两个标签，但不同业务的难度差异非常大。影响难度的核心因素包括：

1. 文本长度
   单句查询、标题、评论等短文本，通常只包含有限上下文；通话转写、聊天记录、长文档等长文本，往往需要跨句甚至跨段理解。

2. 类别边界是否清晰
   如果正负样本的语义差异明显，轻量模型也可能取得较好效果；如果标签依赖隐含意图、上下文转折或业务规则，则需要更强的语义理解能力。

3. 标注一致性
   同一文本被不同标注人员打出不同标签，说明标签定义存在歧义。此时模型性能上限可能主要受数据噪声限制，而不是受模型能力限制。

4. 训练数据规模与均衡性
   总样本量、每类样本量、长尾样本覆盖程度，以及训练集与线上数据的分布一致性，往往比模型架构更重要。

因此，在比较基础模型与对话模型前，首先应回答：模型究竟需要从文本中识别什么证据？这些证据是否完整存在于输入中？标注规范是否可被机器学习？

---

二、基础模型与对话模型的能力差异

1. 基础模型更适合标准判别式训练

基础模型通常以语言建模或通用表征学习为目标，适合在顶层增加分类头，直接输出类别概率。其典型训练形式为：

[
P(y|x)=\text{Softmax}(W \cdot h_x+b)
]

其中，(x) 表示输入文本，(h_x) 是模型对文本生成的语义表示，(y) 是分类标签。

这种方式的特点是：

• 输出结构稳定，直接得到类别概率；
• 训练和推理路径较短；
• 容易计算准确率、召回率、精确率等指标；
• 适合大规模批量预测；
• 对明确、稳定、标准化的标签体系较友好。

当业务拥有较充足的标注数据，且标签本身是固定类别时，基础模型加分类头通常是优先考虑的方案。

2. 对话模型更擅长利用指令与上下文

对话模型在训练过程中接触过较多“理解任务要求—按约束输出答案”的样本，因此能够较好地理解自然语言形式的标签说明、规则描述和示例。

生成式二分类的基本形式可以写成：

任务：判断下面文本是否满足条件。
类别定义：
- 类别A：……
- 类别B：……
输入文本：……
请仅输出类别A或类别B。

相较于直接接分类头，这种方法的优势主要体现在：

• 可在提示词中补充标签定义；
• 可通过示例说明复杂边界；
• 对小样本任务更友好；
• 更容易处理带有规则解释的任务；
• 对长文本、复杂语义和跨句推理具有潜在优势。

但生成式分类并不天然优于判别式分类。它也存在输出不稳定、推理成本更高、标签格式需约束、评测处理更复杂等问题。

---

三、短文本任务：不应默认使用大语言模型

在情感识别、意图识别、关键词相关性判断等短文本场景中，文本本身的信息密度较低，常见情况包括：

• 输入长度短；
• 类别边界相对固定；
• 训练数据量较多；
• 对在线响应时间要求较高；
• 标签不依赖复杂背景知识。

这类任务中，专门的文本表征模型或基础模型分类头，往往具备较高性价比。原因在于，短文本中的主要语义线索通常集中在少量词语、否定表达、情绪词、实体词和搭配关系中，不一定需要非常长的上下文窗口或复杂的指令理解。

如果短文本使用生成式模型效果不佳，应优先排查以下问题：

1. 标签定义是否过于粗糙；
2. 正负样本是否存在大量语义重叠；
3. 训练集中是否缺少边界样本；
4. 提示词是否未明确约束输出格式；
5. 是否将原本应由业务规则解决的问题交给了模型；
6. 评测集是否与训练集存在分布偏差。

对于短文本任务，更可靠的原则是：先建立轻量判别式基线，再验证更复杂模型是否带来可量化收益。

---

四、长文本任务：上下文覆盖能力更关键

长文本分类是大语言模型更容易体现价值的场景之一，例如：

• 通话转写记录；
• 客服多轮会话；
• 长篇投诉内容；
• 合同、报告或流程文档；
• 多段拼接的业务日志文本。

传统分类模型常受到最大输入长度限制。如果文本被截断，后半部分的关键信息可能无法进入模型，导致模型只能依据不完整上下文做判断。

例如，一段通话记录前半部分是普通咨询，最后几句话才出现明确投诉意图。如果训练和推理时只保留开头内容，模型很可能预测为非投诉。这不是模型不具备分类能力，而是关键证据没有被输入。

长文本场景一般有三种处理思路：

1. 直接输入完整文本

适用于模型能够覆盖全部文本长度、文本结构较连续、关键证据可能出现在任意位置的情况。

优点是保留上下文完整性，缺点是训练和推理成本会上升。

2. 分段预测后聚合

将长文本切分为若干片段，对每段分别分类，再通过最大概率、投票、规则优先级或聚合模型生成最终结果。

例如：

文档 -> 分段 -> 每段预测风险概率 -> 聚合策略 -> 文档最终标签

这种方案适合关键风险点局部出现的任务，但需要谨慎设计聚合规则。若一个片段为正即可判为正，可使用最大值策略；如果需要多个证据共同出现，则应考虑更复杂的聚合机制。

3. 先摘要或抽取关键信息，再分类

适用于文本非常长、冗余内容很多、分类依赖少量事实字段的任务。例如先抽取“用户诉求”“处理结果”“风险事件”等结构化信息，再完成二分类。

需要注意的是，摘要或抽取步骤会引入误差，因此应单独评估该步骤是否损失关键证据。

---

五、小数据集：对话模型与参数高效微调通常更稳妥

当训练样本量较少时，基础模型直接进行全量微调可能不稳定。尤其是每个类别只有少量样本时，模型容易记忆训练集表面特征，却无法泛化到真实线上文本。

小样本场景中，对话模型往往具有一定优势，原因并不只是模型规模更大，更重要的是其已经学习过“根据指令完成任务”的行为模式。通过在提示词中加入类别解释、输出约束和少量示例，可以降低模型理解标签含义的成本。

此外，小样本训练更适合采用参数高效微调方法。其基本思想是：冻结大部分原始参数，只训练少量新增参数或部分可训练模块。

相较于全量微调，参数高效微调的常见优势包括：

• 显著降低显存占用；
• 减少训练时间；
• 小数据下更不易过度破坏原始模型能力；
• 方便管理多个业务任务的增量参数；
• 便于快速开展多组实验。

但“小数据优先参数高效微调”不代表无需调参。尤其需要关注：

• 学习率不能过高；
• 训练轮数不宜盲目增加；
• 应保留独立验证集监控过拟合；
• 类别不均衡时应关注少数类召回率；
• 每次实验应固定随机种子或重复运行多次。

如果训练集只有数千条甚至更少，优先提升数据质量，通常比反复扩大可训练参数规模更有效。

---

六、大数据集：基础模型分类头值得重点验证

当数据规模较大、每个类别都有足够多样本、标签规范稳定时，基础模型分类头微调应成为重要候选方案。

原因包括：

1. 分类头训练目标与任务目标一致；
2. 输出为标准概率，方便业务阈值控制；
3. 推理链路短，适合高吞吐部署；
4. 便于结合类别权重、采样策略和概率校准；
5. 对大量监督样本的利用效率较高。

在二分类中，不应只关注默认阈值下的准确率。更合理的做法是根据业务目标选择阈值。例如，风险识别通常重视召回率，营销触达则可能更重视精确率。

可在验证集上搜索不同阈值：

best_threshold = 0.5
best_score = 0
for threshold in candidate_thresholds:
    prediction = probability >= threshold
    score = evaluate(prediction, label)
    if score > best_score:
        best_score = score
        best_threshold = threshold

阈值选择必须基于验证集完成，不能直接在测试集上反复调优，否则会造成测试集泄漏，使离线结果虚高。

---

七、生成式分类的关键：标签描述与输出约束

生成式微调时，标签名称本身不应过于随意。相比只使用“0”和“1”，更推荐在训练样本中体现清晰的语义定义。

例如，不建议只写：

文本：……
标签：1

而可以写成：

任务：判断文本是否表达明确的负向投诉意图。
正类定义：用户明确表达不满、要求追责、投诉服务或提出强烈负面评价。
负类定义：普通咨询、信息确认、一般建议或无明确不满表达。
文本：……
输出：正类

标签描述的价值在于帮助模型建立稳定的任务边界。但也应避免把提示词写得过长、过于复杂。提示词中如果堆积大量规则，模型可能忽略真正关键的条件，训练成本也会增加。

对于输出，应要求模型只返回固定标签，不输出分析过程。例如：

仅输出：正类 或 负类。

线上解析时仍应准备容错逻辑，处理额外空格、标点或格式异常。但容错不能替代训练约束，根本目标仍是让模型输出稳定、可解析。

---

八、数据增强的正确打开方式

在分类任务中，数据增强可以提升覆盖度，但前提是不能破坏标签语义。

较常见的增强方向包括：

1. 引入同领域相近任务数据

如果多个业务任务的文本风格、领域词汇和语义结构接近，可以适量混合训练。例如它们都属于用户服务对话、都涉及类似的情绪表达或风险描述。

但混入数据必须控制分布差异。若一个数据集平均只有几十个字符，另一个数据集则是多轮长对话，二者直接混合可能让模型学习到错误的长度特征或表达偏好。

建议重点检查：

• 文本长度分布；
• 标签定义是否兼容；
• 领域术语是否一致；
• 正负样本比例；
• 数据来源与表达风格；
• 样本质量是否相近。

2. 使用伪标签扩充样本

对于大量未标注文本，可以先由已有模型生成预测结果，再筛选高置信度样本加入训练集。

伪标签并非越多越好。低质量伪标签会把模型错误反复放大。通常应采用以下控制手段：

• 只选择高置信度样本；
• 对关键类别进行人工抽检；
• 保留原始人工标注数据作为训练主体；
• 不将伪标签样本全部等权处理；
• 定期检查伪标签分布是否偏向某一类别。

3. 优先补充困难样本

比起机械扩充普通样本，更有价值的是补充模型最容易混淆的边界案例，例如：

• 否定与反讽表达；
• 正负情绪混合文本；
• 依赖上下文才能判断的样本；
• 领域缩写和口语化表达；
• 同一个词在不同业务中的不同含义。

困难样本往往是推动模型指标提升的关键。

---

九、领域继续预训练：适合有长期复用价值的场景

如果企业拥有大量未标注领域文本，并且后续会持续开展多个相关任务，可以考虑先进行领域继续预训练，再开展下游分类微调。

这一思路的目标是让模型先适应领域语言分布，例如专业术语、文档结构、缩写表达、对话习惯和业务流程描述，再学习具体分类标签。

不过，该方案并非一定有效，常见风险包括：

• 继续预训练数据质量不高；
• 训练步骤不合理导致通用能力下降；
• 领域文本与下游任务并不真正相关；
• 后续微调数据太少，无法充分利用领域适配效果；
• 训练成本显著增加，但收益有限。

因此，领域继续预训练更适合有多任务复用计划、数据规模较大、领域语言特征明显的团队。对于单一且周期短的二分类项目，直接优化标注数据和微调方案，通常更务实。

---

十、建立可靠实验体系，比单次结果更重要

模型选择不应依赖一次训练结果。建议至少建立以下实验规范：

1. 固定训练、验证、测试划分
   避免不同实验使用不同数据划分，导致结果不可比较。

2. 按时间或来源切分测试集
   如果线上数据会随时间变化，仅随机切分可能高估模型效果。更严格的方式是使用较晚时间段或新来源数据作为测试集。

3. 关注混淆矩阵
   不仅看总体指标，还要分析哪些样本被误判、错误是否集中在特定文本长度或业务类型。

4. 进行错误归因
   将错误分为标注错误、规则缺失、上下文不足、领域知识不足、类别边界不清等类型，才能指导下一轮优化。

5. 记录完整实验条件
   包括数据版本、采样策略、文本截断方式、训练轮数、学习率、可训练参数范围、提示词版本和评测指标。

最终，文本二分类的优化优先级通常可以概括为：

标签定义与数据质量
    > 训练集覆盖度与困难样本
    > 合理的模型与微调方式选择
    > 输入长度和推理链路设计
    > 超参数的局部调整

基础模型还是对话模型，并不是非此即彼的固定选择。短文本、数据充足、类别稳定的任务，可以优先验证基础模型分类头；长文本、小样本、标签需要自然语言解释的任务，可以重点尝试对话模型与生成式微调；而在任何场景下，清晰的标签体系、高质量数据和严谨的评测流程，始终是决定分类效果上限的第一要素。