1. Linux文本处理六大神器实战指南

在Linux系统管理中，文本处理是每个开发者必须掌握的生存技能。无论是日志分析、数据清洗还是配置文件处理，熟练使用grep、find、sort、uniq、tr、cut这六大命令组合，能让你在终端里的工作效率提升十倍不止。这些看似简单的命令通过管道组合后，可以完成绝大多数日常文本处理任务，完全不需要启动笨重的图形工具。

我曾在处理一个2GB的Nginx日志文件时，仅用一行组合命令就完成了错误统计、IP分析和请求排序，而同事用Python脚本写了半小时还没跑出结果。下面分享的这些实战技巧，都是我在服务器运维和数据处理中反复验证过的黄金组合。

2. grep：文本搜索的瑞士军刀

2.1 基础搜索模式

grep 'error' /var/log/nginx/access.log是最简单的搜索形式，但加上-n参数显示行号后会更实用：

grep -n '404' access.log | head -10 # 显示前10条404错误及其行号

2.2 多条件复杂搜索

当需要同时匹配多个模式时，-e参数可以构建OR逻辑：

grep -e '500' -e 'timeout' app.log # 搜索500错误或超时记录

经验：处理大文件时一定要加--color=auto，匹配结果高亮显示能显著提升可读性，但在脚本中要记得禁用避免干扰。

2.3 递归搜索代码库

程序员最爱的代码搜索组合：

grep -Rn 'TODO' ~/projects/ # 递归搜索项目目录所有TODO注释

这里的-R表示递归，-n显示行号，组合使用效果极佳。

3. find：文件查找终极方案

3.1 精准定位文件

find /var/www -name "*.php" -mtime -7 # 查找7天内修改过的PHP文件

-mtime参数的时间单位是天数，-7表示7天内，+7表示7天前。

3.2 结合文件内容搜索

与grep联用的经典模式：

find . -type f -name "*.conf" -exec grep -l "max_connections" {} + # 在所有.conf文件中搜索包含max_connections的文件名

3.3 批量操作文件

删除30天前的日志文件：

find /logs -name "*.log" -mtime +30 -delete

安全提示：先去掉-delete参数运行确认结果，再执行真实删除。

4. sort与uniq：排序去重黄金组合

4.1 多列排序技巧

sort -t',' -k2,2n -k3,3r data.csv # 按第二列数字升序，第三列降序

-t指定分隔符，-k定义排序字段，n表示数字排序，r表示逆序。

4.2 高级去重统计

分析访问日志中最频繁的IP：

cut -d' ' -f1 access.log | sort | uniq -c | sort -nr | head -20

这个管道组合先提取IP字段，排序后统计出现次数，再按频次倒序排列。

5. tr与cut：文本变形大师

5.1 字符转换与清洗

cat dirty.txt | tr -d '\r' | tr '[a-z]' '[A-Z]' # 删除Windows换行符并转大写

5.2 精准列提取

提取CSV特定列并转换格式：

cut -d',' -f2,5 data.csv | tr ',' '\t' > output.tsv

这个例子提取第2和第5列，并将逗号转换为制表符生成TSV文件。

6. 实战组合案例

6.1 日志分析三板斧

分析Nginx日志获取最高频请求：

grep -v '127.0.0.1' access.log | cut -d'"' -f2 | sort | uniq -c | sort -nr | head

1. 排除本地IP请求
2. 提取请求URL（第二引号字段）
3. 统计排序输出Top请求

6.2 代码质量检查

统计项目中函数使用情况：

find src/ -name "*.py" -exec grep -E '^def ' {} \; | cut -d' ' -f2 | cut -d'(' -f1 | sort | uniq -c

7. 避坑指南与性能优化

1. 大文件处理：对于GB级日志文件，在grep前先用head -10000测试命令，确认无误再处理完整文件

2. 文件名特殊字符：find与xargs配合时总是使用-print0和-0参数：

find . -name "*.log" -print0 | xargs -0 rm

3. locale问题：排序异常时设置LC_ALL=C：

LC_ALL=C sort file.txt

4. 内存优化：处理超大文件时避免多次管道传递，尽量使用单一命令完成：

awk '!seen[$0]++' bigfile.txt # 比sort|uniq更高效的去重方法

5. 正则陷阱：grep默认使用基础正则，复杂模式要用-E启用扩展正则：

grep -E 'error|exception|fail' app.log