一、文本分类：从新闻分类到垃圾邮件识别

文本分类是NLP最基础的应用场景之一，其核心是通过机器学习模型将文本归入预定义的类别。以新闻分类为例，传统方法依赖TF-IDF提取特征，结合朴素贝叶斯或SVM分类器。例如，使用Python的scikit-learn库实现新闻分类：

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.naive_bayes import MultinomialNB
# 示例数据
texts = ["科技公司推出新AI芯片", "央行调整存款准备金率", "足球世界杯决赛结果"]
labels = ["科技", "财经", "体育"]
# 特征提取与模型训练
vectorizer = TfidfVectorizer()
X = vectorizer.fit_transform(texts)
clf = MultinomialNB().fit(X, labels)
# 预测新文本
new_text = ["5G基站建设加速"]
X_new = vectorizer.transform(new_text)
print(clf.predict(X_new))  # 输出: ['科技']

现代深度学习模型如BERT通过预训练+微调的方式显著提升分类精度。例如，在金融领域，银行利用BERT构建反欺诈文本分类系统，将客户投诉文本分类为“欺诈风险”“服务问题”等类别，准确率达92%。

二、情感分析：从用户评论到市场洞察

情感分析通过解析文本中的情感倾向（积极/消极/中性），为企业提供市场反馈。传统方法基于情感词典（如BosonNLP、知网Hownet）统计情感词频率。例如：

# 简单情感词典匹配示例
positive_words = {"好", "优秀", "满意"}
negative_words = {"差", "糟糕", "失望"}
def sentiment_analysis(text):
    pos_count = sum(1 for word in text if word in positive_words)
    neg_count = sum(1 for word in text if word in negative_words)
    return "积极" if pos_count > neg_count else "消极" if neg_count > 0 else "中性"
print(sentiment_analysis("这款手机拍照效果很好"))  # 输出: 积极

深度学习模型如LSTM、Transformer可捕捉上下文依赖关系。例如，电商平台通过BiLSTM+Attention模型分析商品评论，识别用户对“物流速度”“产品质量”等维度的细分情感，为运营决策提供数据支持。

三、机器翻译：从统计机器翻译到神经网络

机器翻译经历了规则翻译、统计机器翻译（SMT）到神经机器翻译（NMT）的演进。早期SMT基于短语对齐，如IBM的Model 1-5；现代NMT以Transformer架构为核心，实现端到端翻译。例如，使用HuggingFace的Transformers库实现中英翻译：

from transformers import MarianMTModel, MarianTokenizer
# 加载预训练模型
model_name = "Helsinki-NLP/opus-mt-zh-en"
tokenizer = MarianTokenizer.from_pretrained(model_name)
model = MarianMTModel.from_pretrained(model_name)
# 翻译示例
text = "自然语言处理是人工智能的重要分支"
tokens = tokenizer(text, return_tensors="pt", padding=True)
translated = model.generate(**tokens)
print(tokenizer.decode(translated[0], skip_special_tokens=True))  # 输出: "Natural language processing is an important branch of artificial intelligence"

工业级翻译系统（如DeepL）通过大规模双语语料训练，结合领域适配技术，在医学、法律等专业场景达到人类翻译水平。

四、问答系统：从检索式到生成式

问答系统分为检索式和生成式两类。检索式系统（如IBM Watson）通过关键词匹配返回预设答案；生成式系统（如GPT系列）直接生成回答。例如，基于BERT的检索式问答实现：

from sentence_transformers import SentenceTransformer, util
# 加载模型
model = SentenceTransformer('paraphrase-multilingual-MiniLM-L12-v2')
# 构建知识库
corpus = ["Python是一种编程语言", "自然语言处理属于AI领域", "深度学习依赖GPU加速"]
# 查询处理
query = "什么是Python？"
query_embedding = model.encode(query)
corpus_embeddings = model.encode(corpus)
# 计算相似度
scores = util.pytorch_cos_sim(query_embedding, corpus_embeddings)
best_answer = corpus[scores.argmax()]
print(best_answer)  # 输出: "Python是一种编程语言"

生成式问答（如ChatGPT）通过自回归模型生成连贯回答，但需解决幻觉问题。企业可通过知识图谱约束生成范围，提升答案可靠性。

五、文本生成：从模板填充到创意写作

文本生成技术包括模板填充、序列到序列生成等。早期方法依赖规则模板，如邮件自动生成：

# 简单模板填充示例
def generate_email(name, product):
    return f"尊敬的{name}：\n感谢您购买{product}，如有疑问请联系客服。"
print(generate_email("张三", "笔记本电脑"))

现代生成模型（如GPT-3、文心一言）可创作诗歌、新闻稿等复杂文本。例如，使用GPT-2生成产品描述：

from transformers import GPT2LMHeadModel, GPT2Tokenizer
model = GPT2LMHeadModel.from_pretrained("gpt2")
tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
input_text = "这款手机的特点是"
input_ids = tokenizer.encode(input_text, return_tensors="pt")
output = model.generate(input_ids, max_length=50)
print(tokenizer.decode(output[0], skip_special_tokens=True))
# 示例输出: "这款手机的特点是搭载了A15芯片，支持5G网络，摄像头像素高达1亿..."

企业可结合领域数据微调模型，生成符合品牌风格的文案。

六、命名实体识别：从规则匹配到序列标注

命名实体识别（NER）用于识别文本中的人名、地名、组织名等实体。早期方法基于正则表达式或词典匹配，如识别电话号码：

import re
def extract_phone(text):
    pattern = r"\d{3}-\d{8}|\d{4}-\d{7}"
    return re.findall(pattern, text)
print(extract_phone("联系电话：010-12345678"))  # 输出: ['010-12345678']

现代NER模型（如BiLSTM-CRF、BERT-CRF）通过序列标注任务实现端到端识别。例如，使用spaCy进行英文NER：

import spacy
nlp = spacy.load("en_core_web_sm")
text = "Apple is headquartered in Cupertino, California."
doc = nlp(text)
for ent in doc.ents:
    print(ent.text, ent.label_)
# 输出: Apple ORG, Cupertino GPE, California GPE

医疗领域通过BioBERT等专用模型识别疾病、药物名称，辅助电子病历分析。

七、实践建议与挑战

1. 数据质量：NLP模型性能高度依赖数据，需进行清洗、标注和增强。
2. 领域适配：通用模型在专业领域表现受限，建议结合领域数据微调。
3. 伦理风险：需防范生成内容的偏见、虚假信息等问题。
4. 工具选择：根据场景选择合适工具，如简单分类用scikit-learn，复杂任务用HuggingFace。

未来，NLP将向多模态、低资源语言处理等方向发展，开发者需持续关注技术演进，结合业务需求选择最优方案。