Polaroid Photo

Pictures from 虚写人生[周锋]-服务器架构与运维

虚写人生[周锋]-服务器架构与运维

没有最好,只有更好!

Choose a Topic:

Archive for the ‘04-系统技术’ Category

周五
25
十一 '11

用tilt来做堡垒机

上次测试了一家商用的堡垒机器后,印象特别深刻,发现堡垒机器做行为审计真的是做的极致了,但是价格好贵啊,刚好碰上公司开源节流的时候,项目就给XX掉了!后来很是心痛,这样的事情是否有开源的呢?后来我组的一位同事花了不少时间在研究这个东西,他偶尔发现了一个特别好用的可以替代堡垒机方案的开源软件:TILT (Terminal Interaction Logging Tool),其官方网站是http://sourceforge.net/projects/tilt/reviews/下边就来讲讲安装和部署: 1.下载源码: wget http://down.hiphp.com/ports/tilt/tilt-0.1.1.gz 2.修改源码: #ifdef TELNET #define EXE "/usr/bin/telnet_bak" #define CHILDNAME "TELNET" #endif #ifdef SSH #define EXE "/usr/bin/ssh_bak" #define CHILDNAME "SSH" #endif #ifdef BASH #define EXE "/bin/bash_bak" #define CHILDNAME "BASH" #endif #ifndef DEBUG #define LOGPATH "/var/log/tilt" #else #define LOGPATH "." #endif 3.安装: tar -zxvf tilt-0.1.1.gz cd tilt-0.1.1 ./configure –prefix=/usr/local/tilt-0.1.1 make [...]

周一
1
十一 '10

对于大日志包进行分割的N种方法

对于大日志包进行分割的N种方法 (源自:杨志刚 博客 http://yangzhigang.cublog.cn) 前言: 网站一个主要域名的日志包,解压缩之后有10多个G,当日志分析系统处理此日志包时,需要的分析时间过长,而且如分析过程中出错,要清空数据后再分析,所以需要将日志进行分割成多个日志包,通过多个日志分析系统并发分析,本文主要记录一下我测试的分割过程。 说明: 本文采用一个50M大小的日志文件进行测试。 日志文件名:log.txt.gz。 文件行数:208363 方法1:(split分割) 语法:split [-< 行数>][-b < 字节>][-C < 字节>][-l < 行数>][要切割的文件][输出文件名] # gunzip log.txt.gz //一定要先解压,否则分割的文件是不能cat/zcat显示; # wc -l log.txt //计算一个文件的总行数; 208363 log.txt # split -l 120000 log.txt newlog //通过指定行数,将日志分割成两个文件; # du -sh * 50M log.txt 29M newlogaa 22M newlogab # file * //分割后的文件与原文件属性一样 log.txt: ASCII text, [...]

周一
23
八 '10

万变不离其中的排错方法->32位系统文件不能过2G

今天周一刚一上班,发现我的CACTI登录后老是502错误,于是登录系统开始排查: 1、我首先看了下系统版本 [root@sdb1 log]# cat /etc/redhat-release Red Hat Enterprise Linux AS release 4 (Nahant Update 5) [root@sdb1 log]# uname -a Linux sdb1 2.6.9-55.ELsmp #1 SMP Fri Apr 20 17:03:35 EDT 2007 i686 i686 i386 GNU/Linux 2、我看到系统是32位系统,于是想是不是有日志文件超过2G了,于是我把Nginx的日志,FastCGI的日志都清理了一遍,问题依然存在。 3、我把FastCGI和Nginx都重启了一遍,问题也依然存在。 4、没有办法,我把Nginx的的debug日志打开,查看日志错误提示 (104: Connection reset by peer) while reading response header from upstream 5、好熟悉的日志啊,我以前肯定处理过,但是不记得了于是开始GOOGLE,按照网上提示说修改内存大小,修改超时时间,重启FastCGI,问题依然存在。 6、从这个时候起我开始怀疑是不是有人修改了配置,于是开始把Nginx和FastCGI的配置跟正常机器都核对了一遍,没有发现问题。 7、目光终于开始转向到Cacti目录。 du -sh cacti/log [...]

周二
6
四 '10

Varnish-2.1服务器安装配置文档[原创]

1、Varnish简介 Varnish 是一款高性能且开源的反向代理服务器(Reverse Proxy Server),挪威最大的线上报纸 Verdens Gang 使用3台Varnish代替了原本的12台Squid, 性能比以前更好。Varnish 的作者 Poul-Henning Kamp 是 FreeBSD 核心的开发人员之一,他认为现在的电脑比起1975年已经复杂许多。在那个时代,存储媒介只有两种:记忆体与硬盘。但现在电脑系统的记忆体除了主记忆体外,还包括了CPU内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情況而做到最佳化,但作业系统可以得知这些情況,所以这部份的工作有关交给作业系统处理,这就是 Varnish Cache 的设计架构。 一般來说,使用Varnish代替Squid的理由有三点: 1.1 Varnish采用了“Visual Page Cache”技术,在记忆体的利用上,Varnish 比 Squid 更具有优势,它避免了Squid频繁在记忆体、硬盘中交换文件,性能比 Squid 还高。 1.2 Varnish的稳定性高,进行相同工作的Squid服务器发生故障的几率似乎比Varnish高。 1.3 通过Varnish管理端口,可以使用正则表达式、批量地清除部分缓存,这一点是Squid不能具备的。 2、Linux 系统安裝 Varnish 的过程: 2.1 首先建立www用戶和组,以及Varnish缓存存放目录: sudo /usr/sbin/groupadd www -g 48 sudo /usr/sbin/useradd -u 48 -g www www sudo mkdir -m 755 [...]

周六
3
四 '10

Serv-U用SQL Server作为存储源安装文档

上次我把我的一台服务器放到唐山后,有几个朋友老找我要空间,给了他们空间后,事情还没有完,比如老是忘记密码或者要修改FTP的登录密码,很是麻烦!于是我就在想Serv-U是否也有像proftpd那样使用数据库来存储用户和密码信息的功能,我到网上找了找,真还有,而且我在机器上实验都成功了,再加上php做的web用户界面,终于实现了他们自己可以修改密码,查看空间使用等信息了,省了不少事情,而且很COOL! 具体步骤记录如下: 1、运行MSSQL企业管理器,新加数据库ServU,新建SQL登录账号ServU,密码xxxx,指定为数据库的dbowner,指定默认数据库为ServU 2、在企业管理器中选中数据库ServU,进入顶部菜单 工具——查询分析器,将下面”建表SQL语句”后面的所有内容复制到查询分析器中运行 4、创建系统DSN,名称为ServU,指向SQL Server的数据库ServU 5、在Serv-U Administrator里面新建域Simple Domain,使用ODBC存储,在树形菜单中选中Simple Domain,点击右侧控制面板上部的’ODBC’ 选项卡,在下面第1、2、3格中分别填入系统DSN的名字、使用的账号、密码,点应用。

周五
2
四 '10

系统排错之人生是个封闭的圈套

其实很早就有写BLOG的想法,甚至可以追溯到从BLOG技术出来的第一天。但是很不幸,我没有。我从网络获取了我想得的很多东西,诸如:电影、新闻、文章、技术甚至包括我的思想和我现在价值观、人生观等,但是我从来没有给网络贡献过我自己的东西,留下痕迹太小太少。今天终于压下键盘,想给自己留下点什么,不说贡献什么这么伟大,但愿能做到教育那么一两个人这么渺小,或许其中包括我自己。 有想法了就要实施,首先就要找个BLOG系统,问了好几个朋友,无一例外的都说是WordPress。有句广告词叫“大家好才是真的好!”,我相信我这几个好友的实力与推荐,说做就做了! 下边开始做的时候,我终于可以点题了,发现我自己进入了自己设下的一个圈套,同时也如我第一段说的,也教育了我自己。 1、下载WordPress代码 http://cn.wordpress.org/ 2、创建FTP,建立WordPress表 insert into ftp表 values(’12′,’username’,'password’,’65533′,’65533′,’serverdir’,’ /sbin/nologin’,”,”,”); create database WordPress表 default character set utf8 default collate utf8_unicode_ci; 说明:我的服务器上的FTPServer是用的MySql存储的虚拟用户。至于这个FTPServer的安装配置文档,我以后共享出来。 3、建立Nginx虚拟机,并重启Nginx使配置生效 server { listen 80; server_name blog.hiphp.com; add_header Load-Balancing $server_addr; access_log logs/access_blog.hiphp.com.log access; location / { root /blog目录/; index index.html index.htm index.php; } #error_page 404 /404.html; # redirect server error pages to the [...]