sed使用手册：文本处理的瑞士军刀

摘要

sed（Stream Editor）是Unix/Linux系统中强大的流编辑器，通过非交互式方式对文本进行查找、替换、删除等操作。本文从基础语法到高级技巧，系统讲解sed的核心功能，结合实际案例演示其在日志处理、数据转换等场景中的应用，帮助开发者掌握高效文本处理技能。

一、sed基础：命令结构与工作模式

1.1 sed命令结构

sed的基本语法为：sed [选项] '命令' 输入文件，其中：

• 选项：控制sed的行为（如-n抑制默认输出，-i直接修改文件）
• 命令：由地址和操作组成（如3s/old/new/表示在第3行执行替换）
• 输入文件：可为单个文件或通过管道接收的输入流

示例：将文件test.txt中所有apple替换为orange

sed 's/apple/orange/g' test.txt

1.2 工作模式解析

sed默认逐行读取输入，将每行内容存入模式空间（Pattern Space），执行命令后输出结果。若未指定输入文件，sed会从标准输入读取数据。

关键概念：

• 保持空间（Hold Space）：用于临时存储数据的额外缓冲区
• 地址匹配：通过行号、正则表达式或范围定位目标行

二、核心操作：文本替换与删除

2.1 替换操作（s命令）

语法：s/正则表达式/替换内容/[标志]

• 标志：
  • g：全局替换（默认仅替换每行第一个匹配）
  • p：打印替换后的行（需配合-n选项）
  • i：忽略大小写

示例：全局替换并忽略大小写

sed -n 's/error/ERROR/gi p' log.txt

2.2 删除操作（d命令）

语法：[地址]d，删除匹配地址的行

• 地址类型：
  • 行号：3d删除第3行
  • 范围：1,5d删除1-5行
  • 正则：/^#/d删除所有以#开头的行

示例：删除空行

sed '/^$/d' data.txt

三、高级技巧：多命令组合与条件分支

3.1 多命令执行

通过-e选项或分号;分隔多个命令

sed -e 's/foo/bar/' -e '/pattern/d' file.txt
# 等效于
sed 's/foo/bar/; /pattern/d' file.txt

3.2 条件分支（b,t命令）

• b标签：无条件跳转到标签
• t标签：仅当上一条s命令成功替换时跳转

示例：若替换成功则删除行

sed ':start; s/old/new/; t start; /new/d' file.txt

3.3 保持空间应用

通过h（模式空间→保持空间）、g（保持空间→模式空间）等命令实现复杂操作

示例：反转文件行顺序

sed '1!G; h; $!d' file.txt

四、实用场景：日志处理与数据转换

4.1 日志过滤与提取

场景：提取Nginx日志中的IP和状态码

sed -n 's/^\([0-9.]\+\).*"\w+ \([0-9]\+\)".*/\1 \2/p' access.log

4.2 CSV数据转换

场景：将逗号分隔转换为制表符分隔

sed 's/,/\t/g' data.csv

4.3 配置文件修改

场景：修改MySQL配置中的max_connections

sed -i '/^max_connections/s/[0-9]\+/1000/' my.cnf

五、性能优化与注意事项

5.1 大文件处理技巧

• 使用-n抑制默认输出减少I/O
• 优先用行号或简单正则定位
• 避免在循环中调用外部命令（如sed 's/.../.../e'）

5.2 正则表达式优化

• 优先使用\b等单词边界锚点
• 复杂模式拆分为多个简单命令
• 用[^]替代.*提高匹配效率

5.3 安全性建议

• 直接修改文件前先用-i.bak备份
• 处理特殊字符时使用\转义
• 避免在脚本中硬编码敏感信息

六、扩展应用：与awk/grep的协同

6.1 与grep结合

场景：仅处理包含ERROR的行

grep 'ERROR' log.txt | sed 's/ERROR/SUCCESS/g'

6.2 与awk互补

场景：统计替换次数

sed 's/old/new/g' file.txt | awk '{print "Replaced:", gsub(/new/, "old")}'

七、常见问题解决方案

7.1 替换不生效

• 检查正则表达式是否匹配（用sed -n '/pattern/p'测试）
• 确认是否使用g标志进行全局替换
• 检查文件编码（UTF-8与ASCII差异）

7.2 性能缓慢

• 对大文件避免使用复杂正则
• 考虑用awk或perl替代复杂操作
• 分批处理文件（如split -l 1000 bigfile.txt）

7.3 特殊字符处理

场景：替换包含/的路径

sed 's|\/old\/path|\/new\/path|g' config.txt
# 或使用转义字符
sed 's/\/old\/path/\/new\/path/g' config.txt

结语

sed作为文本处理的利器，其简洁的语法和强大的功能使其成为开发者必备技能。通过掌握基础命令、高级技巧和实际应用场景，可以显著提升文本处理效率。建议读者通过man sed查阅官方文档，并结合实际项目不断练习，最终达到”一行sed解决复杂问题”的境界。