一、背景与目标

在自然语言处理（NLP）领域，文本分类是基础且重要的任务之一。随着研究的深入，简单的单标签分类已无法满足复杂场景的需求，层次分类（Hierarchical Text Classification, HTC）应运而生。它通过构建多级分类体系，能够更精准地表达文本与类别之间的复杂关系。Web of Science（WOS）数据集作为学术领域的经典数据集，提供了丰富的层次化类别标签，是验证层次分类模型性能的理想选择。

本文旨在通过PaddleNLP框架，结合其内置的ERNIR3.0预训练模型，展示如何在WOS数据集上实现高效的文本层次分类。ERNIR3.0作为百度推出的新一代知识增强语义表示模型，在多项NLP任务中表现出色，特别适合处理复杂的文本分类任务。

二、数据准备与预处理

1. 数据集介绍

WOS数据集包含了来自Web of Science核心合集的学术论文摘要及其对应的学科分类信息。这些分类信息构成了多层次的分类体系，例如“计算机科学”下可能细分为“人工智能”、“软件工程”等多个子类别。

2. 数据加载与预处理

使用PaddleNLP提供的数据集加载工具，可以方便地加载WOS数据集。预处理步骤主要包括：

• 文本清洗：去除HTML标签、特殊字符等。
• 分词处理：利用ERNIR3.0的分词器对文本进行分词。
• 标签编码：将层次化的类别标签转换为模型可处理的数值形式，通常采用多标签编码或构建层次化的标签树。

示例代码：

from paddlenlp.datasets import load_dataset
from paddlenlp.transformers import ErnieTokenizer
# 加载数据集
dataset = load_dataset("wos", splits=["train", "test"])
# 初始化分词器
tokenizer = ErnieTokenizer.from_pretrained("ernie-3.0-medium-zh")
# 数据预处理函数
def preprocess_function(examples):
    # 假设examples是包含'text'和'label'的字典列表
    inputs = tokenizer(
        text=[example['text'] for example in examples],
        padding="max_length",
        max_length=512,
        truncation=True
    )
    # 假设label已经是数值化的层次标签，这里简单示例为单标签（实际需根据层次结构处理）
    labels = [example['label'] for example in examples]  # 实际需替换为层次标签处理逻辑
    inputs['labels'] = labels
    return inputs
# 应用预处理
processed_dataset = dataset.map(preprocess_function, batched=True)

三、模型构建与训练

1. 模型选择与构建

利用PaddleNLP的ErnieForSequenceClassification类，可以方便地构建基于ERNIR3.0的文本分类模型。对于层次分类，可以采用两种策略：

• 扁平化分类：将层次标签展平为一维，忽略层次结构，适用于简单场景。
• 层次化分类：构建多个分类器，每个分类器负责一层分类，或使用单一模型通过输出设计（如多输出层）同时预测所有层次。

本文采用层次化分类策略，通过自定义模型结构实现。

示例代码（简化版）：

import paddle
from paddle.nn import Layer
from paddlenlp.transformers import ErnieModel
class HierarchicalClassifier(Layer):
    def __init__(self, num_levels, num_classes_per_level):
        super().__init__()
        self.ernie = ErnieModel.from_pretrained("ernie-3.0-medium-zh")
        self.classifiers = [
            paddle.nn.Linear(self.ernie.config["hidden_size"], num_classes)
            for num_classes in num_classes_per_level
        ]
    def forward(self, input_ids, token_type_ids=None, attention_mask=None):
        outputs = self.ernie(
            input_ids=input_ids,
            token_type_ids=token_type_ids,
            attention_mask=attention_mask
        )
        pooled_output = outputs[1]  # [batch_size, hidden_size]
        logits = [classifier(pooled_output) for classifier in self.classifiers]
        return logits
# 假设num_levels=3, num_classes_per_level=[10, 20, 30]（示例值）
model = HierarchicalClassifier(num_levels=3, num_classes_per_level=[10, 20, 30])

2. 训练优化

训练过程中，需根据层次分类的特点设计损失函数和评估指标。常用的损失函数包括交叉熵损失（对每个层次单独计算），评估指标则包括准确率、F1分数等，且需区分各层次的性能。

示例训练代码（简化版）：

from paddle.optimizer import AdamW
# 定义损失函数和优化器
loss_fns = [paddle.nn.CrossEntropyLoss() for _ in range(3)]  # 假设3个层次
optimizer = AdamW(parameters=model.parameters(), learning_rate=5e-5)
# 训练循环（简化）
for epoch in range(10):
    for batch in processed_dataset['train']:
        input_ids = batch['input_ids']
        labels = batch['labels']  # 假设已处理为层次标签列表
        # 前向传播
        logits = model(input_ids)
        # 计算损失（需根据实际标签结构调整）
        losses = [loss_fn(logit, label) for logit, label, loss_fn in zip(logits, labels, loss_fns)]
        total_loss = sum(losses)
        # 反向传播
        total_loss.backward()
        optimizer.step()
        optimizer.clear_grad()

四、效果评估与优化

1. 评估指标

评估层次分类模型时，除了常规的准确率、F1分数外，还应关注层次结构的保持性，如是否所有预测路径都存在于真实的层次结构中。

2. 优化策略

• 数据增强：通过同义词替换、回译等方法增加数据多样性。
• 模型微调：针对特定层次或类别进行更细致的微调。
• 集成学习：结合多个模型的预测结果，提高整体性能。

五、结论与展望

本文通过PaddleNLP框架结合ERNIR3.0预训练模型，在WOS数据集上实现了文本层次分类。实验结果表明，该方法能够有效处理复杂的层次分类任务，为学术文献分类、新闻分类等领域提供了有力的技术支持。未来工作可进一步探索更高效的层次分类策略，以及跨领域、跨语言的层次分类应用。