虚写人生[周锋]-服务器架构与运维

对于大日志包进行分割的N种方法 (源自：杨志刚 博客 http://yangzhigang.cublog.cn) 前言： 网站一个主要域名的日志包，解压缩之后有10多个G，当日志分析系统处理此日志包时，需要的分析时间过长，而且如分析过程中出错，要清空数据后再分析，所以需要将日志进行分割成多个日志包，通过多个日志分析系统并发分析，本文主要记录一下我测试的分割过程。 说明： 本文采用一个50M大小的日志文件进行测试。 日志文件名：log.txt.gz。 文件行数：208363 方法1：（split分割） 语法：split [-< 行数>][-b < 字节>][-C < 字节>][-l < 行数>][要切割的文件][输出文件名] # gunzip log.txt.gz //一定要先解压，否则分割的文件是不能cat/zcat显示； # wc -l log.txt //计算一个文件的总行数； 208363 log.txt # split -l 120000 log.txt newlog //通过指定行数，将日志分割成两个文件； # du -sh * 50M log.txt 29M newlogaa 22M newlogab # file * //分割后的文件与原文件属性一样 log.txt: ASCII text, [...]

最近/var空间老是报警，起因是/var/spool/clientmqueue下文件数量太多导致占用空间很大，此空间下存放了大量的crontab运行而发送给root的邮件，可以用以下步骤解决： 1、首先删除此目录下的三天前的文件: find ./ -atime +3 -exec rm {} \; 2、在所有运行的crontab脚本后添加日志重定向 >/dev/null 2>&1 对于LINUX的重定向，转一篇比较好的说明文字： Linux Shell 环境中支持输入输出重定向，用符号来表示。0、1和2分别表示标准输入、标准输出和标准错误信息输出，可以用来指定需要重定向的标准输入或输出，比如 2>a.txt 表示将错误信息输出到文件a.txt中。 同时，还可以在这三个标准输入输出之间实现重定向，比如将错误信息重定向到标准输出，可以用 2>&1来实现。 Linux下还有一个特殊的文件/dev/null，它就像一个无底洞，所有重定向到它的信息都会消失得无影无踪。这一点非常有用，当我们不需要回显程序的所有信息时，就可以将输出重定向到/dev/null。 如果想要正常输出和错误信息都不显示，则要把标准输出和标准错误都重定向到/dev/null， 例如： # ls 1>/dev/null 2>/dev/null 还有一种做法是将错误重定向到标准输出，然后再重定向到 /dev/null，例如： # ls >/dev/null 2>&1 注意：此处的顺序不能更改，否则达不到想要的效果，此时先将标准输出重定向到 /dev/null，然后将标准错误重定向到标准输出，由于标准输出已经重定向到了/dev/null，因此标准错误也会重定向到/dev/null，于是一切静悄悄:-)