linux下日志截取去重教程

通过查看最近一个月的日志，查询最近都发生了哪些交易，交易日志输出的相关元素是以"|"竖划线分割，一行一个交易。通过awk先截取。

初始日志如下：

  20180911|ThreadPool3|LH2|LH4|MB|444|5200_2323|test

如下：awk -F '|' '{print $5 "|" $7}' /app/20180911.log >/app/20180911_transcode.log

在生成20180911_transcode.log日志中利用sort，uniq去重，如下：cat /app/20180911_transcode.log|sort|uniq，即可统计发生了哪些交易，比用excel去重来的简单方便。