一)find查找N天前的文件:
#redis 同步后的temp 临时文件超过两天时间删除处理,减少磁盘空间。
1 0 * * * find /data/ -mtime +2 -name "temp-*.rdb"|xargs rm -rf
距离现在2天以前就是用+2!
贴了上来方便大家使用,会的同学就飘过吧 不会的就留个脚印。
每五分钟执行 */5 * * * *
每小时执行 0 * * * *
每天执行 0 0 * * *
每周执行 0 0 * * 0
每月执行 0 0 1 * *
每年执行 0 0 1 1 *
二)ind查找N天前的文件
查找1天前(包括1天)的accessTime,atime是指access time,即文件被读取或者执行的时间,修改文件是不会改变access time的文件:
大于50M的文件:
find /data/htdocs/xiyou.cntv.cn/data/logs/ -size +700M -name "Remote-20*.log"
每个月删除这一个月前的文件:
Linux中清理磁盘空间时,经常需要找出大于200M的文件,然后删除。
这个命令可以实现这个功能:
find / -size +200M -exec du -h {} \;
find . -type f -size +1000000k
定位在home下就可以了
要是还不行就试试du -h | grep [100-999]M
如何用find命令查找目录中文件大小大于1MB日文件
find / -size +2 -print
参考:http://friendlysong.blog.163.com/blog/static/3225243920119142325417/
删除当前文件夹下字节数为 37154字节的html文件
_______________删除10天以来没有修改的文件_______________________
(1)删除10天以来没有修改的文件,经常使用的短小精悍又不失效率的命令隆重出场ing:
(2)find /data/***/logs -mtime +30 //查找30天里没有被修改的文件
其实这个命令中主要用到了find命令的-ctime参数和-exec。聪明的你一定能想到了使用!
参数介绍
-size N[bcwkMG] -size<文件大小> 查找符合指定的文件大小的文件。
-exec COMMAND {} + -ok COMMAND ; 假设find指令的回传值为True,就执行该指令。
转载自: 月影鹏鹏 [http://jk.scanmon.com]
-type
查找某一类型的文件,诸如:
b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。
-size n:[c] 查找文件长度为n块的文件,带有c时表示文件长度以字节计。
-depth:在查找文件时,首先查找当前目录中的文件,然后再在其子目录中查找。
-fstype:查找位于某一类型文件系统中的文件,这些文件系统类型通常可以在配置文件/etc/fstab中找到,该配置文件中包含了本系统中有关文件系统的信息。
-mount:在查找文件时不跨越文件系统mount点。
-follow:如果find命令遇到符号链接文件,就跟踪至链接所指向的文件。
-cpio:对匹配的文件使用cpio命令,将这些文件备份到磁带设备中。
#redis 同步后的temp 临时文件超过两天时间删除处理,减少磁盘空间。
1 0 * * * find /data/ -mtime +2 -name "temp-*.rdb"|xargs rm -rf
距离现在2天以前就是用+2!
贴了上来方便大家使用,会的同学就飘过吧 不会的就留个脚印。
每五分钟执行 */5 * * * *
每小时执行 0 * * * *
每天执行 0 0 * * *
每周执行 0 0 * * 0
每月执行 0 0 1 * *
每年执行 0 0 1 1 *
二)ind查找N天前的文件
查找1天前(包括1天)的accessTime,atime是指access time,即文件被读取或者执行的时间,修改文件是不会改变access time的文件:
大于50M的文件:
find /data/htdocs/xiyou.cntv.cn/data/logs/ -size +700M -name "Remote-20*.log"
每个月删除这一个月前的文件:
Linux中清理磁盘空间时,经常需要找出大于200M的文件,然后删除。
这个命令可以实现这个功能:
find / -size +200M -exec du -h {} \;
find . -type f -size +1000000k
定位在home下就可以了
要是还不行就试试du -h | grep [100-999]M
如何用find命令查找目录中文件大小大于1MB日文件
find / -size +2 -print
参考:http://friendlysong.blog.163.com/blog/static/3225243920119142325417/
删除当前文件夹下字节数为 37154字节的html文件
_______________删除10天以来没有修改的文件_______________________
(1)删除10天以来没有修改的文件,经常使用的短小精悍又不失效率的命令隆重出场ing:
(2)find /data/***/logs -mtime +30 //查找30天里没有被修改的文件
其实这个命令中主要用到了find命令的-ctime参数和-exec。聪明的你一定能想到了使用!
参数介绍
-size N[bcwkMG] -size<文件大小> 查找符合指定的文件大小的文件。
-exec COMMAND {} + -ok COMMAND ; 假设find指令的回传值为True,就执行该指令。
转载自: 月影鹏鹏 [http://jk.scanmon.com]
find . -type d -name "cache"
find . -type f -name "a.txt"
/home/jackxiang# find . -type f -name "*.txt"
./a.txt
./a.txt
-type
查找某一类型的文件,诸如:
b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。
-size n:[c] 查找文件长度为n块的文件,带有c时表示文件长度以字节计。
-depth:在查找文件时,首先查找当前目录中的文件,然后再在其子目录中查找。
-fstype:查找位于某一类型文件系统中的文件,这些文件系统类型通常可以在配置文件/etc/fstab中找到,该配置文件中包含了本系统中有关文件系统的信息。
-mount:在查找文件时不跨越文件系统mount点。
-follow:如果find命令遇到符号链接文件,就跟踪至链接所指向的文件。
-cpio:对匹配的文件使用cpio命令,将这些文件备份到磁带设备中。
http://www.soft82.com/download/Windows/Zend_Studio
DownloadUrl:
http://downloads.zend.com/studio-eclipse/7.2.1/ZendStudio-7.2.1.exe
DownloadUrl:
http://downloads.zend.com/studio-eclipse/7.2.1/ZendStudio-7.2.1.exe
Bin-log时间主要看文件时间,可以直接: /usr/local/mysql/bin/mysqlbinlog /data/mysql/3306/mysql-bin.000197 | less ,报错则将/etc/my.cnf里的MysqlClient里的Charset干掉即可。ll -h *,查看大小。
出现问题:/usr/local/mysql/bin/mysqlbinlog /data/mysql/3306/mysql-bin.000197 --database=newbbs > /tmp/000197.sql
mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8' 怎么办?
vi /etc/my.cnf把那个
[client]
[client]
default-character-set = utf8 #删除这行即可,不用下文的重启Mysql服务器@ https://www.cnblogs.com/cobbliu/p/4311926.html
----------------------------------------------------------------------------------------------------------------------------------------------------------
如何看Bin-log里的SQL产生的时间范围?
-------------------------------------------------------------------------------------
问:兄弟们,
有没有mysql同步出现延迟看哪些sql正在执行的方法?
我这边听说同步20分钟的延迟了。
答:是否进程太多了啊
记得原来抢码时出现过同步延迟
但20分钟不大可能吧,已经超出最长设定了
要么就是你现在的进程已经互锁了,导致mysql已经僵死了
————————————————————————————————————————————————————————————————————
同步延迟一般是正在执行的event的IO问题, 现在的DBA只要不是小白, 都不会采用SQL同步了
/usr/local/mysql/bin/mysqlbinlog ./mysql-bin.000001 --start-datetime="2015-06-14 00:00:00" --stop-datetime="2015-06-16 17:00:00" --result-file=./test2.sql
————————————————————————————
例如我需要查看mysql 在2010-05-21 06:00:00——2010-05-21 07:00:00期间的binlog (sql 格式)
mysqlbinlog --start-datetime="2010-05-21 06:00:00" --stop-datetime="2010-05-21 07:00:00" mysql-bin.000011 > mybinlog.sql
mysqlbinlog参数说明:
---database=db_name,-d db_name
只列出该数据库的条目(只用本地日志)。
–result-file=name, -r name
将输出指向给定的文件。
-r, --result-file=name
Direct output to a given file. With --raw this is a
prefix for the file names.
———————————————————————————————————————————————
1)为了帮助网友解决“mysql,使用mysqlbinlog查看日志的问题,具体解决方案如下:
mysqlbinlog mysql-bin.00005 --startdatetime='时间' --stopdatetime='时间' --database=DB_name
2)mysql_home/bin有个mysqlbinlog工具可以查看mysql二进制日志
mysql_install_path/bin/mysqlbinlog --start-datetime="2011-12-16 16:00:00" --stop-datetime="2011-12-16 17:00:00" --result-file=/mysql-bin.000001.log --database=name=test mysql-bin.000001
转载 [原创]使用 MYSQLBINLOG 来恢复数据:
http://blog.chinaunix.net/uid-259788-id-2139251.html?page=2
mysqlbinlog二进制日志查看工具 :
http://blog.itpub.net/7970627/viewspace-718277/
阅读全文
出现问题:/usr/local/mysql/bin/mysqlbinlog /data/mysql/3306/mysql-bin.000197 --database=newbbs > /tmp/000197.sql
mysqlbinlog: [ERROR] unknown variable 'default-character-set=utf8' 怎么办?
vi /etc/my.cnf把那个
[client]
[client]
default-character-set = utf8 #删除这行即可,不用下文的重启Mysql服务器@ https://www.cnblogs.com/cobbliu/p/4311926.html
----------------------------------------------------------------------------------------------------------------------------------------------------------
如何看Bin-log里的SQL产生的时间范围?
-------------------------------------------------------------------------------------
问:兄弟们,
有没有mysql同步出现延迟看哪些sql正在执行的方法?
我这边听说同步20分钟的延迟了。
答:是否进程太多了啊
记得原来抢码时出现过同步延迟
但20分钟不大可能吧,已经超出最长设定了
要么就是你现在的进程已经互锁了,导致mysql已经僵死了
————————————————————————————————————————————————————————————————————
同步延迟一般是正在执行的event的IO问题, 现在的DBA只要不是小白, 都不会采用SQL同步了
/usr/local/mysql/bin/mysqlbinlog ./mysql-bin.000001 --start-datetime="2015-06-14 00:00:00" --stop-datetime="2015-06-16 17:00:00" --result-file=./test2.sql
————————————————————————————
例如我需要查看mysql 在2010-05-21 06:00:00——2010-05-21 07:00:00期间的binlog (sql 格式)
mysqlbinlog --start-datetime="2010-05-21 06:00:00" --stop-datetime="2010-05-21 07:00:00" mysql-bin.000011 > mybinlog.sql
mysqlbinlog参数说明:
---database=db_name,-d db_name
只列出该数据库的条目(只用本地日志)。
–result-file=name, -r name
将输出指向给定的文件。
-r, --result-file=name
Direct output to a given file. With --raw this is a
prefix for the file names.
———————————————————————————————————————————————
1)为了帮助网友解决“mysql,使用mysqlbinlog查看日志的问题,具体解决方案如下:
mysqlbinlog mysql-bin.00005 --startdatetime='时间' --stopdatetime='时间' --database=DB_name
2)mysql_home/bin有个mysqlbinlog工具可以查看mysql二进制日志
mysql_install_path/bin/mysqlbinlog --start-datetime="2011-12-16 16:00:00" --stop-datetime="2011-12-16 17:00:00" --result-file=/mysql-bin.000001.log --database=name=test mysql-bin.000001
转载 [原创]使用 MYSQLBINLOG 来恢复数据:
http://blog.chinaunix.net/uid-259788-id-2139251.html?page=2
mysqlbinlog二进制日志查看工具 :
http://blog.itpub.net/7970627/viewspace-718277/
阅读全文
关于服务器不支持allow_url_fopen的问题:
; Whether to allow the treatment of URLs (like http:// or ftp://) as files.
; http://php.net/allow-url-fopen
allow_url_fopen = On
检查:
allow_url_include是很正常的,因为如果允许的话会非常不安全,但是allow_url_fopen是需要打开的,否则file_get_contents()和file()函数只能获取服务器本地磁盘的文件,不能获取URL
阅读全文
; Whether to allow the treatment of URLs (like http:// or ftp://) as files.
; http://php.net/allow-url-fopen
allow_url_fopen = On
检查:
allow_url_include是很正常的,因为如果允许的话会非常不安全,但是allow_url_fopen是需要打开的,否则file_get_contents()和file()函数只能获取服务器本地磁盘的文件,不能获取URL
阅读全文
root@AD38_30_sles10:/home/jackxiang/memcache_c_code# make
makefile:1: ../makefile.comm: No such file or directory
makefile:8: *** missing separator (did you mean TAB instead of 8 spaces?). Stop.
makefile:1: ../makefile.comm: No such file or directory
makefile:8: *** missing separator (did you mean TAB instead of 8 spaces?). Stop.
添加一行 set tabstop=4 "4就是你设置的TAB键的长度了,这里用的不是很多文章说的shiftwidth!
vi和vim的配置文件是同一个: /etc/vim/vimrc(或者/usr/share/vim/vimrc,其实指向同一个文件,不同的系统可能会有不同的路径,可以用find找到)
我的在:
vi /etc/vimrc
makefile缩进的问题得到解决!
————————————————————————————————————————————
实在是因为写PHP是4个空格的话,可以用sz到windows下,用editplus来修改后,再rz上去也成。
这块在vi下,是tab和空格,显示出来的字体颜色不一样的,靠这个来判断也能知道是分割符问题~
<?PHP
//今天与2009年1月1日相差多少天
$Date_1=date("Y-m-d");
$Date_2="2009-1-1";
$d1=strtotime($Date_1);
$d2=strtotime($Date_2);
$Days=round(($d1-$d2)/3600/24);
echo "今天与2009年1月1日相差".$Days."天";
//今天到2009年12月31日还有多少天
$Date_1=date("Y-m-d");
$Date_2="2009-12-31";
$d1=strtotime($Date_1);
$d2=strtotime($Date_2);
$Days=round(($d2-$d1)/3600/24);
echo "今天到2009年12月31日还有".$Days."天";
?>
//今天与2009年1月1日相差多少天
$Date_1=date("Y-m-d");
$Date_2="2009-1-1";
$d1=strtotime($Date_1);
$d2=strtotime($Date_2);
$Days=round(($d1-$d2)/3600/24);
echo "今天与2009年1月1日相差".$Days."天";
//今天到2009年12月31日还有多少天
$Date_1=date("Y-m-d");
$Date_2="2009-12-31";
$d1=strtotime($Date_1);
$d2=strtotime($Date_2);
$Days=round(($d2-$d1)/3600/24);
echo "今天到2009年12月31日还有".$Days."天";
?>
求两个日期的差数,例如2007-2-5 ~ 2007-3-6 的日期差数
代码如下:
答:(strtotime(‘2007-3-6')-strtotime(‘2007-2-5'))/3600*24
一,突发神精,来把它们三儿来比较
在网上看到好多文章说nginx有多么,多么好。不管好不好,看看测试结果在说,
1,nginx+php-cgi说明
nginx我开启了11个进程,php-cgi我开启了10个进程
2,apache+php-cgi说明
httpd我开启了11个进程,php-cgi我开启了10个进程
3,apache+php-cli说明
没作任何限制
二,测试文件一test.php无逻辑文件
1. <?php
2. phpinfo();
3. ?>
<?php
phpinfo();
?>
1,nginx+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=61598 pages/min, 1524550 bytes/sec.
Requests: 30799 susceed, 0 failed.
2,apache+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=15000 pages/min, 371750 bytes/sec.
Requests: 7500 susceed, 0 failed.
3,apache+php-cli
[root@BlackGhost conf]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=54618 pages/min, 1357257 bytes/sec.
Requests: 27309 susceed, 0 failed.
三,测试文件二test1.php
查看复制打印?
1. <?php
2. $con = mysql_connect("localhost","username","password");
3. if (!$con)
4. {
5. die('Could not connect: ' . mysql_error());
6. }
7.
8. mysql_select_db("test", $con);
9. mysql_query('set names utf8');
10.
11. $result = mysql_query("SELECT id, name, sex FROM test ");
12.
13. while($row = mysql_fetch_array($result))
14. {
15. echo $row['id'] . "+" . $row['name']."+".$row['sex'];
16. echo "
17. ";
18. }
19.
20. mysql_close($con);
21. ?>
<?php
$con = mysql_connect("localhost","username","password");
if (!$con)
{
die('Could not connect: ' . mysql_error());
}
mysql_select_db("test", $con);
mysql_query('set names utf8');
$result = mysql_query("SELECT id, name, sex FROM test ");
while($row = mysql_fetch_array($result))
{
echo $row['id'] . "+" . $row['name']."+".$row['sex'];
echo "
";
}
mysql_close($con);
?>
1,nginx+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=60716 pages/min, 324830 bytes/sec.
Requests: 30358 susceed, 0 failed.
2,apache+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=12800 pages/min, 68906 bytes/sec.
Requests: 6400 susceed, 0 failed.
3,apache+php-cli
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=78844 pages/min, 575834 bytes/sec.
Requests: 39422 susceed, 0 failed.
四,个人分析
1,针对无逻辑文件,或者静态文件
在内存,cpu都没有最大化利用的情况下nginx+php-cgi效果比apache+php-cli的效果好一点,而apache+php- cli是最大化用内存和cpu,由起可见,nginx+php-cgi的对无罗辑或静态文件的解析要好很多。apache+php-cgi的效果很差,虽然php官方力挺php-cgi,但是根apache的配合效果不好。
2,针对逻辑复杂的文件
针对逻辑复杂的文件时,nginx+php-cgi对php的解析的效果下降了,但是下降的不是很厉害。而apache+php-cli对php的解析的效果去增强了,增加了很多,是原来的差不多1.5倍。nginx+php-cgi在利用部分内存和CPU的情况下根apache+php-cli对 php的解析都差不了多少,个人认为。nginx+php-cgi要比apache+php-cli要好。但是要想达到好多好多倍,我看难。
上面所做对比,不考虑11nginx,配合10php-cgi是否合理,这个就nginx来说,肯定不是很合理的。
来源:http://blog.51yip.com/apachenginx/619.html
在网上看到好多文章说nginx有多么,多么好。不管好不好,看看测试结果在说,
1,nginx+php-cgi说明
nginx我开启了11个进程,php-cgi我开启了10个进程
2,apache+php-cgi说明
httpd我开启了11个进程,php-cgi我开启了10个进程
3,apache+php-cli说明
没作任何限制
二,测试文件一test.php无逻辑文件
1. <?php
2. phpinfo();
3. ?>
<?php
phpinfo();
?>
1,nginx+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=61598 pages/min, 1524550 bytes/sec.
Requests: 30799 susceed, 0 failed.
2,apache+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=15000 pages/min, 371750 bytes/sec.
Requests: 7500 susceed, 0 failed.
3,apache+php-cli
[root@BlackGhost conf]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test.php
100 clients, running 30 sec.
Speed=54618 pages/min, 1357257 bytes/sec.
Requests: 27309 susceed, 0 failed.
三,测试文件二test1.php
查看复制打印?
1. <?php
2. $con = mysql_connect("localhost","username","password");
3. if (!$con)
4. {
5. die('Could not connect: ' . mysql_error());
6. }
7.
8. mysql_select_db("test", $con);
9. mysql_query('set names utf8');
10.
11. $result = mysql_query("SELECT id, name, sex FROM test ");
12.
13. while($row = mysql_fetch_array($result))
14. {
15. echo $row['id'] . "+" . $row['name']."+".$row['sex'];
16. echo "
17. ";
18. }
19.
20. mysql_close($con);
21. ?>
<?php
$con = mysql_connect("localhost","username","password");
if (!$con)
{
die('Could not connect: ' . mysql_error());
}
mysql_select_db("test", $con);
mysql_query('set names utf8');
$result = mysql_query("SELECT id, name, sex FROM test ");
while($row = mysql_fetch_array($result))
{
echo $row['id'] . "+" . $row['name']."+".$row['sex'];
echo "
";
}
mysql_close($con);
?>
1,nginx+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=60716 pages/min, 324830 bytes/sec.
Requests: 30358 susceed, 0 failed.
2,apache+php-cgi
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=12800 pages/min, 68906 bytes/sec.
Requests: 6400 susceed, 0 failed.
3,apache+php-cli
[root@BlackGhost zhangy]# /usr/local/bin/webbench -c 100 -t 30 http://localhost/test1.php
Webbench – Simple Web Benchmark 1.5
Copyright (c) Radim Kolar 1997-2004, GPL Open Source Software.
Benchmarking: GET http://localhost/test1.php
100 clients, running 30 sec.
Speed=78844 pages/min, 575834 bytes/sec.
Requests: 39422 susceed, 0 failed.
四,个人分析
1,针对无逻辑文件,或者静态文件
在内存,cpu都没有最大化利用的情况下nginx+php-cgi效果比apache+php-cli的效果好一点,而apache+php- cli是最大化用内存和cpu,由起可见,nginx+php-cgi的对无罗辑或静态文件的解析要好很多。apache+php-cgi的效果很差,虽然php官方力挺php-cgi,但是根apache的配合效果不好。
2,针对逻辑复杂的文件
针对逻辑复杂的文件时,nginx+php-cgi对php的解析的效果下降了,但是下降的不是很厉害。而apache+php-cli对php的解析的效果去增强了,增加了很多,是原来的差不多1.5倍。nginx+php-cgi在利用部分内存和CPU的情况下根apache+php-cli对 php的解析都差不了多少,个人认为。nginx+php-cgi要比apache+php-cli要好。但是要想达到好多好多倍,我看难。
上面所做对比,不考虑11nginx,配合10php-cgi是否合理,这个就nginx来说,肯定不是很合理的。
来源:http://blog.51yip.com/apachenginx/619.html
Power Usage Effectiveness的简写,是评价数据中心能源效率的指标,是数据中心消耗的所有能源与IT负载使用的能源之比,是DCIE(data center infrastructure efficiency )的反比。 PUE = 数据中心总设备能耗/IT设备能耗,PUE是一个比率,基准是2,越接近1表明能效水平越好
例如:腾讯的天津数据中心就将要把PUE控制在1.5左右。
例如:腾讯的天津数据中心就将要把PUE控制在1.5左右。
最近一周游戏DB偶尔会出现异常重启的现象,观察日志发现
ersion: '5.*-log' socket: '/var/lib/mysql/mysql.sock' port: 3306 Source distribution
080926 12:27:36 InnoDB: Error: cannot allocate 1064960 bytes of
InnoDB: memory with malloc! Total allocated memory
InnoDB: by InnoDB 1185388986 bytes. Operating system errno: 12
InnoDB: Check if you should increase the swap file or
InnoDB: ulimits of your operating system.
InnoDB: On FreeBSD check you have compiled the OS with
InnoDB: a big enough maximum process size.
InnoDB: Note that in most 32-bit computers the process
InnoDB: memory space is limited to 2 GB or 4 GB.
InnoDB: We keep retrying the allocation for 60 seconds...
080926 12:28:36 InnoDB: We now intentionally generate a seg fault so that
InnoDB: on Linux we get a stack trace.
mysqld got signal 11;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.
key_buffer_size=402653184
read_buffer_size=2093056
max_used_connections=112
max_connections=200
threads_connected=90
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 1211614 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.
thd=(nil)
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x704a7e48, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
0x8174663
0xc72420
0x36392d39
0x8407481
0x83d085d
0x8318798
0xb512db
0xaab12e
New value of fp=(nil) failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/Using_stack_trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
The manual page at http://www.mysql.com/doc/en/Crashing.html contains
information that should help you find out what is causing the crash.
Number of processes running now: 0
起初认为是key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections 的数值小于by InnoDB 1185388986 bytes的这个
经过和yc同学的探讨后决定把read_buffer_size+sort_buffer_size的值稍微上调,让合值超过2。
今早来后我们发现昨天的判断可能是错误的!
080926 12:27:36 InnoDB: Error: cannot allocate 1064960 bytes of
InnoDB: memory with malloc! Total allocated memory
innodb_buffer_pool_size的大小才是问题的关键 4G物理内存 手册来说建议把innodb_buffer_pool_size设定到物理内存的70%-80%也就是2.8-3.0G间
但是由于我们考虑到key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections +innodb_buffer_pool_size的因素,
最好商榷把innodb_buffer_pool_size=2.0G 这样mysql占用物理内存的极限总合控制在3.2G内
目前启动了!貌似看起来没有太大问题!.
How MySQL Uses Memory才是正解哈
http://dev.mysql.com/doc/refman/5.0/en/memory-use.html
http://imysql.cn/node/97
来源:http://zhangchunyang75252.spaces.live.com/Blog/cns!4C3483B296AD4DB!738.entry
究其原因:
MySQL Innodb里面的innodb_buffer_pool_size 参数
这个参数设置buffer_pool_size也就是缓冲池大小,官方的建议是不要超过2G。经过研究发现这个限制主要来自于如下原因:
32位的Linux内核,内存的寻址范围最大只能是4GB(2^32),这4GB当中0-3GB的给用户进程(User Space)使用,3-4GB给内核使用.也就是说像MySQL这样的进程分配的内存不能超过3GB,但是为什么 innodb_buffer_pool_size 设置成3GB不行呢?很简单,因为MySQL在分配这个内存的时候不仅仅是innodb_buffer_pool_size的设置值,还加了一个 struct:(innobase/ut/ut0mem.c)
81 ret = malloc(n + sizeof(ut_mem_block_t));
这样的话,设置成3GB后,malloc的结果会超过3GB,看到这种错误:
InnoDB: Error: cannot allocate 3221241856 bytes of
cat /proc/sys/vm/overcommit_memory 的输出是多少吗?
根据错误提示的内容,google一下,发现是内核限制的缘故:
[root@yejr mysql]# cat /proc/sys/vm/nr_hugepages
6000
修改一下内核限制:
[root@yejr mysql]# echo 0 > /proc/sys/vm/nr_hugepages
innodb_data_file_path 语法如下所示:
pathtodatafile:sizespecification;pathtodatafile:sizespec;...
...;pathtodatafile:sizespec[:autoextend[:max:sizespecification]]
autoextend参数,并表空间空间不够时,最后的一个文件将自动增长,并且每次自动增长8M.
为了保护文件系统,可以设置MAX参数限制其最后一个文件的最大大小。
在my.cnf参数文件中修改参数
innodb_data_file_path=ibdata1:100M;tbs_data_00:200M;tbs_data_01:200M:autoextend:max:2000M
重新启动数据库
mysqld_safe &
查看日志
080313 15:16:22 mysqld started
080313 15:16:23 InnoDB: Data file ./tbs_data_00 did not exist: new to be created
080313 15:16:23 InnoDB: Setting file ./tbs_data_00 size to 200 MB
InnoDB: Database physically writes the file full: wait...
InnoDB: Progress in MB: 100 200
080313 15:16:26 InnoDB: Data file ./tbs_data_01 did not exist: new to be created
080313 15:16:26 InnoDB: Setting file ./tbs_data_01 size to 200 MB
InnoDB: Database physically writes the file full: wait...
InnoDB: Progress in MB: 100 200
080313 15:16:32 InnoDB: Started; log sequence number 0 133856992
080313 15:16:32 [Note] /opt/coolstack/mysql_32bit/bin/mysqld: ready for connections.
Version: '5.0.45-standard' socket: '/tmp/mysql.sock' port: 3306 Source distribution
添加与移除 InnoDB 数据和日志文件:
为了添加一个数据文件到表空间中,首先要关闭 MySQL 数据库,编辑 my.cnf 文件,在 innodb_data_file_path 中添加一个新文件,然后再重新启动服务。
如果,最后一个文件以关键字 autoextend 来描述,那么编辑 my.cnf 的过程如下所示。必须检查最后一个文件的尺寸,并使它向下接近于 1024 * 1024 bytes (= 1 MB) 的倍数,并在 innodb_data_file_path 中明确指定它的尺寸。然后你可以添加另一个数据文件。记住只有 innodb_data_file_path 中的最后一个文件可以被指定为 auto-extending。
一个例子:假设起先仅仅只有一个 auto-extending 数据文件 ibdata1 ,这个文件越越接近于 988 MB。下面是添加了另一个 auto-extending 数据文件后的可能示例 。
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend
通常不能移除 InnoDB 的数据文件。为了减小数据文件的大小,你必须使用 mysqldump 来转储(dump)所有的数据表,再重新建立一个新的数据库,并将数据导入新的数据库中。
如果希望改变 InnoDB 的日志文件数目,必须先关闭 MySQL 并确定完全关闭而没有发生任何错误。将旧的日志文件复制到其它安全的地方,以防在关闭服务时发生了错误而需要恢复数据库。删除所有日志文件,编辑 my.cnf,再重新启动 MySQL。InnoDB 在启动时将会提示它在建立新的日志文件。
增加InnoDB表空间大小的方法是从开始配置它为自动扩展的。为表空间定义里的最后一个数据文件指定autoextend属性。然后在文件耗尽空间之时,InnoDB以8MB为 增量自动增加该文件的大小。增加的大小可以通过设置innodb_autoextend_increment值来配置,这个值以MB为单位,默认的是8。
作为替代,你可以通过添加另一个数据文件来增加表空间的尺寸。要这么做的话,你必须停止MySQL服务器,编辑my.cnf文件 ,添加一个新数据文件到innodb_data_file_path的末尾,然后再次启动服务器。
如果最后一个数据文件是用关键字autoextend定义的,编辑my.cnf文件的步骤必须考虑最后一个数据文件已经增长到多大。获取数据文件的尺寸,把它四舍五入到最接近乘积1024 × 1024bytes (= 1MB),然后在innodb_data_file_path中明确指定大致的尺寸。然后你可以添加另一个数据文件。记得只有innodb_data_file_path里最后一个数据可以被指定为自动扩展。
作为一个例子。假设表空间正好有一个自动扩展文件ibdata1:
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:10M:autoextend
假设这个数据文件过一段时间已经长到988MB。下面是添加另一个总扩展数据文件之后的配置行:
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend
当你添加一个新文件到表空间的之后,请确信它并不存在。当你重启服务器之时,InnoDB创建并初始化这个文件。
当前,你不能从表空间删除一个数据文件。要增加表空间的大小,使用如下步骤:
1. 使用mysqldump转储所有InnoDB表。
2. 停止服务器。
3. 删除所有已存在的表空间文件。
4. 配置新表空间。
5. 重启服务器。
6. 导入转储文件。
如果你想要改变你的InnoDB日志文件的数量和大小,你必须要停止MySQL服务器,并确信它被无错误地关闭。随后复制旧日志文件到 一个安全的地方以防万一某样东西在关闭时出错而你需要用它们来恢复表空间。从日志文件目录删除所有旧日志文件,编辑my.cnf来改变日志文件配置,并再 次启动MySQL服务器。mysqld在启动之时发现没有日志文件,然后告诉你它正在创建一个新的日志文件。
InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池。InnoDB存储它的表&索引在一个表空间中,表空间可以包含数个文件(或原始磁盘分区)。这与MyISAM表不同,比如在MyISAM表中每个表被存在分离的文件中。InnoDB 表可以是任何尺寸,即使在文件尺寸被限制为2GB的操作系统上。
InnoDB查起来比较慢,myisam较快了,MYISAM的读速度比INNODB的快!写比INNODB的慢!MYISAM的索引会采用前缀压缩,故索引比innodb要小得多(针对字符串列)。
Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错
继续参考:
http://imysql.cn/docs/innodb/1.htm ---》http://imysql.cn/docs/innodb/6.htm
ersion: '5.*-log' socket: '/var/lib/mysql/mysql.sock' port: 3306 Source distribution
080926 12:27:36 InnoDB: Error: cannot allocate 1064960 bytes of
InnoDB: memory with malloc! Total allocated memory
InnoDB: by InnoDB 1185388986 bytes. Operating system errno: 12
InnoDB: Check if you should increase the swap file or
InnoDB: ulimits of your operating system.
InnoDB: On FreeBSD check you have compiled the OS with
InnoDB: a big enough maximum process size.
InnoDB: Note that in most 32-bit computers the process
InnoDB: memory space is limited to 2 GB or 4 GB.
InnoDB: We keep retrying the allocation for 60 seconds...
080926 12:28:36 InnoDB: We now intentionally generate a seg fault so that
InnoDB: on Linux we get a stack trace.
mysqld got signal 11;
This could be because you hit a bug. It is also possible that this binary
or one of the libraries it was linked against is corrupt, improperly built,
or misconfigured. This error can also be caused by malfunctioning hardware.
We will try our best to scrape up some info that will hopefully help diagnose
the problem, but since we have already crashed, something is definitely wrong
and this may fail.
key_buffer_size=402653184
read_buffer_size=2093056
max_used_connections=112
max_connections=200
threads_connected=90
It is possible that mysqld could use up to
key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections = 1211614 K
bytes of memory
Hope that's ok; if not, decrease some variables in the equation.
thd=(nil)
Attempting backtrace. You can use the following information to find out
where mysqld died. If you see no messages after this, something went
terribly wrong...
Cannot determine thread, fp=0x704a7e48, backtrace may not be correct.
Stack range sanity check OK, backtrace follows:
0x8174663
0xc72420
0x36392d39
0x8407481
0x83d085d
0x8318798
0xb512db
0xaab12e
New value of fp=(nil) failed sanity check, terminating stack trace!
Please read http://dev.mysql.com/doc/mysql/en/Using_stack_trace.html and follow instructions on how to resolve the stack trace. Resolved
stack trace is much more helpful in diagnosing the problem, so please do
resolve it
The manual page at http://www.mysql.com/doc/en/Crashing.html contains
information that should help you find out what is causing the crash.
Number of processes running now: 0
起初认为是key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections 的数值小于by InnoDB 1185388986 bytes的这个
经过和yc同学的探讨后决定把read_buffer_size+sort_buffer_size的值稍微上调,让合值超过2。
今早来后我们发现昨天的判断可能是错误的!
080926 12:27:36 InnoDB: Error: cannot allocate 1064960 bytes of
InnoDB: memory with malloc! Total allocated memory
innodb_buffer_pool_size的大小才是问题的关键 4G物理内存 手册来说建议把innodb_buffer_pool_size设定到物理内存的70%-80%也就是2.8-3.0G间
但是由于我们考虑到key_buffer_size + (read_buffer_size + sort_buffer_size)*max_connections +innodb_buffer_pool_size的因素,
最好商榷把innodb_buffer_pool_size=2.0G 这样mysql占用物理内存的极限总合控制在3.2G内
目前启动了!貌似看起来没有太大问题!.
How MySQL Uses Memory才是正解哈
http://dev.mysql.com/doc/refman/5.0/en/memory-use.html
http://imysql.cn/node/97
来源:http://zhangchunyang75252.spaces.live.com/Blog/cns!4C3483B296AD4DB!738.entry
究其原因:
MySQL Innodb里面的innodb_buffer_pool_size 参数
这个参数设置buffer_pool_size也就是缓冲池大小,官方的建议是不要超过2G。经过研究发现这个限制主要来自于如下原因:
32位的Linux内核,内存的寻址范围最大只能是4GB(2^32),这4GB当中0-3GB的给用户进程(User Space)使用,3-4GB给内核使用.也就是说像MySQL这样的进程分配的内存不能超过3GB,但是为什么 innodb_buffer_pool_size 设置成3GB不行呢?很简单,因为MySQL在分配这个内存的时候不仅仅是innodb_buffer_pool_size的设置值,还加了一个 struct:(innobase/ut/ut0mem.c)
81 ret = malloc(n + sizeof(ut_mem_block_t));
这样的话,设置成3GB后,malloc的结果会超过3GB,看到这种错误:
InnoDB: Error: cannot allocate 3221241856 bytes of
cat /proc/sys/vm/overcommit_memory 的输出是多少吗?
根据错误提示的内容,google一下,发现是内核限制的缘故:
[root@yejr mysql]# cat /proc/sys/vm/nr_hugepages
6000
修改一下内核限制:
[root@yejr mysql]# echo 0 > /proc/sys/vm/nr_hugepages
innodb_data_file_path 语法如下所示:
pathtodatafile:sizespecification;pathtodatafile:sizespec;...
...;pathtodatafile:sizespec[:autoextend[:max:sizespecification]]
autoextend参数,并表空间空间不够时,最后的一个文件将自动增长,并且每次自动增长8M.
为了保护文件系统,可以设置MAX参数限制其最后一个文件的最大大小。
在my.cnf参数文件中修改参数
innodb_data_file_path=ibdata1:100M;tbs_data_00:200M;tbs_data_01:200M:autoextend:max:2000M
重新启动数据库
mysqld_safe &
查看日志
080313 15:16:22 mysqld started
080313 15:16:23 InnoDB: Data file ./tbs_data_00 did not exist: new to be created
080313 15:16:23 InnoDB: Setting file ./tbs_data_00 size to 200 MB
InnoDB: Database physically writes the file full: wait...
InnoDB: Progress in MB: 100 200
080313 15:16:26 InnoDB: Data file ./tbs_data_01 did not exist: new to be created
080313 15:16:26 InnoDB: Setting file ./tbs_data_01 size to 200 MB
InnoDB: Database physically writes the file full: wait...
InnoDB: Progress in MB: 100 200
080313 15:16:32 InnoDB: Started; log sequence number 0 133856992
080313 15:16:32 [Note] /opt/coolstack/mysql_32bit/bin/mysqld: ready for connections.
Version: '5.0.45-standard' socket: '/tmp/mysql.sock' port: 3306 Source distribution
show variables like "%innodb%"
添加与移除 InnoDB 数据和日志文件:
为了添加一个数据文件到表空间中,首先要关闭 MySQL 数据库,编辑 my.cnf 文件,在 innodb_data_file_path 中添加一个新文件,然后再重新启动服务。
如果,最后一个文件以关键字 autoextend 来描述,那么编辑 my.cnf 的过程如下所示。必须检查最后一个文件的尺寸,并使它向下接近于 1024 * 1024 bytes (= 1 MB) 的倍数,并在 innodb_data_file_path 中明确指定它的尺寸。然后你可以添加另一个数据文件。记住只有 innodb_data_file_path 中的最后一个文件可以被指定为 auto-extending。
一个例子:假设起先仅仅只有一个 auto-extending 数据文件 ibdata1 ,这个文件越越接近于 988 MB。下面是添加了另一个 auto-extending 数据文件后的可能示例 。
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend
通常不能移除 InnoDB 的数据文件。为了减小数据文件的大小,你必须使用 mysqldump 来转储(dump)所有的数据表,再重新建立一个新的数据库,并将数据导入新的数据库中。
如果希望改变 InnoDB 的日志文件数目,必须先关闭 MySQL 并确定完全关闭而没有发生任何错误。将旧的日志文件复制到其它安全的地方,以防在关闭服务时发生了错误而需要恢复数据库。删除所有日志文件,编辑 my.cnf,再重新启动 MySQL。InnoDB 在启动时将会提示它在建立新的日志文件。
增加InnoDB表空间大小的方法是从开始配置它为自动扩展的。为表空间定义里的最后一个数据文件指定autoextend属性。然后在文件耗尽空间之时,InnoDB以8MB为 增量自动增加该文件的大小。增加的大小可以通过设置innodb_autoextend_increment值来配置,这个值以MB为单位,默认的是8。
作为替代,你可以通过添加另一个数据文件来增加表空间的尺寸。要这么做的话,你必须停止MySQL服务器,编辑my.cnf文件 ,添加一个新数据文件到innodb_data_file_path的末尾,然后再次启动服务器。
如果最后一个数据文件是用关键字autoextend定义的,编辑my.cnf文件的步骤必须考虑最后一个数据文件已经增长到多大。获取数据文件的尺寸,把它四舍五入到最接近乘积1024 × 1024bytes (= 1MB),然后在innodb_data_file_path中明确指定大致的尺寸。然后你可以添加另一个数据文件。记得只有innodb_data_file_path里最后一个数据可以被指定为自动扩展。
作为一个例子。假设表空间正好有一个自动扩展文件ibdata1:
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:10M:autoextend
假设这个数据文件过一段时间已经长到988MB。下面是添加另一个总扩展数据文件之后的配置行:
innodb_data_home_dir =
innodb_data_file_path = /ibdata/ibdata1:988M;/disk2/ibdata2:50M:autoextend
当你添加一个新文件到表空间的之后,请确信它并不存在。当你重启服务器之时,InnoDB创建并初始化这个文件。
当前,你不能从表空间删除一个数据文件。要增加表空间的大小,使用如下步骤:
1. 使用mysqldump转储所有InnoDB表。
2. 停止服务器。
3. 删除所有已存在的表空间文件。
4. 配置新表空间。
5. 重启服务器。
6. 导入转储文件。
如果你想要改变你的InnoDB日志文件的数量和大小,你必须要停止MySQL服务器,并确信它被无错误地关闭。随后复制旧日志文件到 一个安全的地方以防万一某样东西在关闭时出错而你需要用它们来恢复表空间。从日志文件目录删除所有旧日志文件,编辑my.cnf来改变日志文件配置,并再 次启动MySQL服务器。mysqld在启动之时发现没有日志文件,然后告诉你它正在创建一个新的日志文件。
InnoDB存储引擎为在主内存中缓存数据和索引而维持它自己的缓冲池。InnoDB存储它的表&索引在一个表空间中,表空间可以包含数个文件(或原始磁盘分区)。这与MyISAM表不同,比如在MyISAM表中每个表被存在分离的文件中。InnoDB 表可以是任何尺寸,即使在文件尺寸被限制为2GB的操作系统上。
InnoDB查起来比较慢,myisam较快了,MYISAM的读速度比INNODB的快!写比INNODB的慢!MYISAM的索引会采用前缀压缩,故索引比innodb要小得多(针对字符串列)。
Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错 Innodb 去掉事务 速度也不错
继续参考:
http://imysql.cn/docs/innodb/1.htm ---》http://imysql.cn/docs/innodb/6.htm
问题0:
sed 在/etc/hosts文件的第一行添加两行:
sed '1i\nameserver 10.70.63.150\nnameserver 202.106.0.20' /etc/resolv.conf > /tmp/resolv.conf.tmp && cat /tmp/resolv.conf.tmp > /etc/resolv.conf
问题一:
sed在查找到的某行下面添加一行的方法
在文件nginx.conf下面加上一行新的vhost虚拟主机:
直接在某行进行sed替换:
cat -n nginx.conf
发现是92行:
92 include vhost/mini.conf;
93 }
于是:
结果是在92行的下面插入了一行:
include vhost/mini.conf;
include vhost/api.xiyou102.jackxiang.com.conf;
}
想真替换在sed -i ,加上-i即可。
上面的实践来自:
原文件:
[root@xiaowu shell]# cat -n file
1 aaaa
2 bbbb
3 cccc
4 dddd
现在要在第二行即“bbbb”行的下面添加一行,内容为“xiaowu”
[root@xiaowu shell]# sed '/bbbb/a\xiaowu' file
aaaa
bbbb
xiaowu
cccc
dddd
如果要加两行“xiaowu”可以用一下语句,注意用“\n”换行
[root@xiaowu shell]# sed '/bbbb/a\xiaowu\nxiaowu' file
aaaa
bbbb
xiaowu
xiaowu
cccc
dddd
如果要在第二行即“bbbb”行的上添加一行,内容为“xiaowu”,可以把参数“a”换成“i”
[root@xiaowu shell]# sed '/b/i\xiaowu' file
aaaa
xiaowu
bbbb
cccc
dddd
以上文件中只有一行匹配,如果文件中有两行或者多行匹配,结果有是如何呢?
[root@xiaowu shell]# cat -n file
1 aaaa
2 bbbb
3 cccc
4 bbbb
5 dddd
[root@xiaowu shell]# sed '/bbbb/a\xiaowu' file
aaaa
bbbb
xiaowu
cccc
bbbb
xiaowu
dddd
由结果可知,每个匹配行的下一行都会被添加“xiaowu”
那么如果指向在第二个“bbbb”的下一行添加内容“xiaowu”,该如何操作呢?
可以考虑先获取第二个“bbbb”行的行号,然后根据行号在此行的下一行添加“xiaowu”
获取第二个“bbbb”行的行号的方法:
方法一:
[root@xiaowu shell]# cat -n file |grep b |awk '{print $1}'|sed -n "2"p
4
方法二:
[root@xiaowu shell]# sed -n '/bbbb/=' file |sed -n "2"p
4
由结果可知第二个“bbbb”行的行号为4,然后再在第四行的前或后添加相应的内容:
[root@xiaowu shell]# sed -e '4a\xiaowu' file
aaaa
bbbb
cccc
bbbb
xiaowu
dddd
[root@xiaowu shell]# sed -e '4a\xiaowu\nxiaowu' file
aaaa
bbbb
cccc
bbbb
xiaowu
xiaowu
dddd
向指定行的末尾添加指定内容,比如在“ccccc”行的行尾介绍“ eeeee”
[root@xiaowu shell]# cat file
aaaaa
bbbbb
ccccc
ddddd
[root@xiaowu shell]# sed 's/cc.*/& eeeee/g' file
aaaaa
bbbbb
ccccc eeeee
ddddd
=======================================================================
问题二:
文件行首添加几行:如何把一行文字添加的一个文件的头部,通过sed添加到第一行
我认为最好的方法:
如在sql前面加入一行:set names utf8,其见如下:
sed 在/etc/hosts文件的第一行添加两行:
sed '1i\nameserver 10.70.63.150\nnameserver 202.106.0.20' /etc/resolv.conf > /tmp/resolv.conf.tmp && cat /tmp/resolv.conf.tmp > /etc/resolv.conf
问题一:
sed在查找到的某行下面添加一行的方法
在文件nginx.conf下面加上一行新的vhost虚拟主机:
cat hosts | sed -e'1ihello world!' > afteradd.txt
直接在某行进行sed替换:
cat -n nginx.conf
发现是92行:
92 include vhost/mini.conf;
93 }
于是:
结果是在92行的下面插入了一行:
include vhost/mini.conf;
include vhost/api.xiyou102.jackxiang.com.conf;
}
想真替换在sed -i ,加上-i即可。
上面的实践来自:
原文件:
[root@xiaowu shell]# cat -n file
1 aaaa
2 bbbb
3 cccc
4 dddd
现在要在第二行即“bbbb”行的下面添加一行,内容为“xiaowu”
[root@xiaowu shell]# sed '/bbbb/a\xiaowu' file
aaaa
bbbb
xiaowu
cccc
dddd
如果要加两行“xiaowu”可以用一下语句,注意用“\n”换行
[root@xiaowu shell]# sed '/bbbb/a\xiaowu\nxiaowu' file
aaaa
bbbb
xiaowu
xiaowu
cccc
dddd
如果要在第二行即“bbbb”行的上添加一行,内容为“xiaowu”,可以把参数“a”换成“i”
[root@xiaowu shell]# sed '/b/i\xiaowu' file
aaaa
xiaowu
bbbb
cccc
dddd
以上文件中只有一行匹配,如果文件中有两行或者多行匹配,结果有是如何呢?
[root@xiaowu shell]# cat -n file
1 aaaa
2 bbbb
3 cccc
4 bbbb
5 dddd
[root@xiaowu shell]# sed '/bbbb/a\xiaowu' file
aaaa
bbbb
xiaowu
cccc
bbbb
xiaowu
dddd
由结果可知,每个匹配行的下一行都会被添加“xiaowu”
那么如果指向在第二个“bbbb”的下一行添加内容“xiaowu”,该如何操作呢?
可以考虑先获取第二个“bbbb”行的行号,然后根据行号在此行的下一行添加“xiaowu”
获取第二个“bbbb”行的行号的方法:
方法一:
[root@xiaowu shell]# cat -n file |grep b |awk '{print $1}'|sed -n "2"p
4
方法二:
[root@xiaowu shell]# sed -n '/bbbb/=' file |sed -n "2"p
4
由结果可知第二个“bbbb”行的行号为4,然后再在第四行的前或后添加相应的内容:
[root@xiaowu shell]# sed -e '4a\xiaowu' file
aaaa
bbbb
cccc
bbbb
xiaowu
dddd
[root@xiaowu shell]# sed -e '4a\xiaowu\nxiaowu' file
aaaa
bbbb
cccc
bbbb
xiaowu
xiaowu
dddd
向指定行的末尾添加指定内容,比如在“ccccc”行的行尾介绍“ eeeee”
[root@xiaowu shell]# cat file
aaaaa
bbbbb
ccccc
ddddd
[root@xiaowu shell]# sed 's/cc.*/& eeeee/g' file
aaaaa
bbbbb
ccccc eeeee
ddddd
=======================================================================
问题二:
文件行首添加几行:如何把一行文字添加的一个文件的头部,通过sed添加到第一行
我认为最好的方法:
cat - file <<< 123
cat - hosts <<< 123 > out.txt
如在sql前面加入一行:set names utf8,其见如下:
[/home/jackxiang/sed]# vi append.txt
sql
sql2
sql3
sql
sql2
sql3
cat - append.txt <<< "set names utf8"
[/home/jackxiang/sed]# cat - append.txt <<< "set names utf8" > addfirstline.txt
[/home/jackxiang/sed]#
vi addfirstline.txt
set names utf8
sql
sql2
sql3
vi addfirstline.txt
set names utf8
sql
sql2
sql3
通常使用的 MyISAM 表可以用上面提到的恢复方法来完成。如果是索引坏了,可以用 myisamchk 工具来重建索引。而对于 Innodb 表来说,就没这么直接了,因为它把所有的表都保存在一个表空间了。不过 Innodb 有一个检查机制叫模糊检查点,只要保存了日志文件,就能根据日志文件来修复错误。可以在 my.cnf 文件中,增加以下参数,让 mysqld 在启动时自动检查日志文件:
innodb_force_recovery = 4
要保存了日志文件!!!!
100925 19:18:46 mysqld started
100925 19:18:46 InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
100925 19:18:46 InnoDB: Starting log scan based on checkpoint at
InnoDB: log sequence number 94 1409777360.
InnoDB: Doing recovery: scanned up to log sequence number 94 1409777360
100925 19:18:46 InnoDB: Error: page 4734977 log sequence number 94 1537001576
InnoDB: is in the future! Current system log sequence number 94 1409777360.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files. See
InnoDB: http://dev.mysql.com/doc/refman/5.0/en/forcing-recovery.html
InnoDB: for more information.
100925 19:18:46 InnoDB: Error: page 4734991 log sequence number 94 1668918230
InnoDB: is in the future! Current system log sequence number 94 1409777360.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files.
100925 19:18:46 InnoDB: Database was not shut down normally!
InnoDB: Starting crash recovery.
InnoDB: Reading tablespace information from the .ibd files...
InnoDB: Restoring possible half-written data pages from the doublewrite
InnoDB: buffer...
100925 19:18:46 InnoDB: Starting log scan based on checkpoint at
InnoDB: log sequence number 94 1409777360.
InnoDB: Doing recovery: scanned up to log sequence number 94 1409777360
100925 19:18:46 InnoDB: Error: page 4734977 log sequence number 94 1537001576
InnoDB: is in the future! Current system log sequence number 94 1409777360.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files. See
InnoDB: http://dev.mysql.com/doc/refman/5.0/en/forcing-recovery.html
InnoDB: for more information.
100925 19:18:46 InnoDB: Error: page 4734991 log sequence number 94 1668918230
InnoDB: is in the future! Current system log sequence number 94 1409777360.
InnoDB: Your database may be corrupt or you may have copied the InnoDB
InnoDB: tablespace but not the InnoDB log files.
我考,没有InnoDb日志文件,彻底挂了!!!
MYSQL有不同类型的日志文件(各自存储了不同类型的日志),从它们当中可以查询到MYSQL里都做了些什么,对于MYSQL的管理工作,这些日志文件是不可缺少的。
1.错误日志(The error log):记录了数据库启动、运行以及停止过程中错误信息;
2.ISAM操作日志(The isam log):记录了所有对ISAM表的修改,该日志仅仅用于调试ISAM模式;
3.SQL执行日志(The query log):记录了客户端的连接以及所执行的SQL语句;
4.更新日志(The update log):记录了改变数据的语句,已经不建议使用,由二进制日志替代;
5.二进制日志(The binary log):记录了所有对数据库数据的修改语句;
6.超时日志(The slow log):记录所有执行时间超过最大SQL执行时间(long_query_time)或未使用索引的语句;
如果你是在用mysql的复制、备份功能,那么从服务器还提供了一种叫做relay log的日志文件。
默认情况下所有日志文件会记录在MYSQL的数据目录下,你可以通过强制mysql去关闭并重新打开一个文件进行日志记录,当然系统会自动加后缀 (如.00001, .00002),方式有在mysql环境下执行语句 mysql>flush logs; 或者通过mysqladmin管理程序执行 #mysqladmin flush-logs 或 #mysqladmin refresh
这些日志的启动方式可以在mysqld_safe方式启动数据库的时候,后面跟选项参数,也可以在配置文件里配置,推荐采用第二种方式,配置方法很简单,我只配置了三种日志:
[mysqld]
log=/var/log/mysqld_common.log
log-error=/var/log/mysqld_err.log
log-bin=/var/log/mysqld_bin.bin
日志的查看很简单,大部分都是文本,直接用vim、less、more之类的工具看就可以了,值得说明的是二进制文件的查看:
1). 首先确定是否开启了二进制文件记录功能
mysql>show variables like 'log_bin';
2). 如果你想知道现在记录二进制数据的文件具体信息,你可以通过下列语句看到现在正在记录哪个文件,以及记录的当前位置:
mysql>show master status;
3). 查看二进制数据需要借助程序mysqlbinlog,看看它支持哪些选项,根据自己需要来使用。
mysql>mysqlbinlog /var/log/mysql/mysql-bin.000040;
查询某个时间范围的可以执行下列语句,如果记录很多可以将结果定向到一个文件里自己慢慢看:-) :
mysql>mysqlbinlog --start-datetime='2008-01-01 00:00:00' --stop-datetime='2008-08-08 00:00:00' /var/log/mysql/mysql-bin.000040 > ./tmp.log
来源:http://blog.csdn.net/tsuliuchao/archive/2009/12/14/5005457.aspx
1.错误日志(The error log):记录了数据库启动、运行以及停止过程中错误信息;
2.ISAM操作日志(The isam log):记录了所有对ISAM表的修改,该日志仅仅用于调试ISAM模式;
3.SQL执行日志(The query log):记录了客户端的连接以及所执行的SQL语句;
4.更新日志(The update log):记录了改变数据的语句,已经不建议使用,由二进制日志替代;
5.二进制日志(The binary log):记录了所有对数据库数据的修改语句;
6.超时日志(The slow log):记录所有执行时间超过最大SQL执行时间(long_query_time)或未使用索引的语句;
如果你是在用mysql的复制、备份功能,那么从服务器还提供了一种叫做relay log的日志文件。
默认情况下所有日志文件会记录在MYSQL的数据目录下,你可以通过强制mysql去关闭并重新打开一个文件进行日志记录,当然系统会自动加后缀 (如.00001, .00002),方式有在mysql环境下执行语句 mysql>flush logs; 或者通过mysqladmin管理程序执行 #mysqladmin flush-logs 或 #mysqladmin refresh
这些日志的启动方式可以在mysqld_safe方式启动数据库的时候,后面跟选项参数,也可以在配置文件里配置,推荐采用第二种方式,配置方法很简单,我只配置了三种日志:
[mysqld]
log=/var/log/mysqld_common.log
log-error=/var/log/mysqld_err.log
log-bin=/var/log/mysqld_bin.bin
日志的查看很简单,大部分都是文本,直接用vim、less、more之类的工具看就可以了,值得说明的是二进制文件的查看:
1). 首先确定是否开启了二进制文件记录功能
mysql>show variables like 'log_bin';
2). 如果你想知道现在记录二进制数据的文件具体信息,你可以通过下列语句看到现在正在记录哪个文件,以及记录的当前位置:
mysql>show master status;
3). 查看二进制数据需要借助程序mysqlbinlog,看看它支持哪些选项,根据自己需要来使用。
mysql>mysqlbinlog /var/log/mysql/mysql-bin.000040;
查询某个时间范围的可以执行下列语句,如果记录很多可以将结果定向到一个文件里自己慢慢看:-) :
mysql>mysqlbinlog --start-datetime='2008-01-01 00:00:00' --stop-datetime='2008-08-08 00:00:00' /var/log/mysql/mysql-bin.000040 > ./tmp.log
来源:http://blog.csdn.net/tsuliuchao/archive/2009/12/14/5005457.aspx
因为JavaEye网站的数据库服务器搬家的时候被托管商的工作人员狠狠摔了一下,所以硬盘整个挂掉了,我重新安装数据库服务器的时候,顺手下载了 Percona patch过的MySQL5.0版本,使用MySQL自带的heavy innodb配置文件改了改,作为my.cnf启动运行。数据库服务器的物理内存有6GB,其中有4GB可以被MySQL使用,my.cnf相关配置参数如下:
buffer pool越大越好,官方推荐使用物理内存的50%-80%;log_file_size也是越大越好,官方推荐log size加起来要达到buffer pool的25%-100%。使用memlock可以避免MySQL内存进入swap,这些都是默认的推荐配置了,没有什么可以质疑的地方。但是数据库服务器启动以后,运行不太正常。表现出来的现象是:
1、操作系统内存Disk Cache使用了2.7GB
2、操作系统swap空间使用了200MB左右,一直不停进行swap in/swap out
3、CPU的IO Wait偏高,平均在10%以上
这个现象看起来非常怪异和矛盾。IO Wait偏高显然是因为频繁的使用swap进行内存换页引起的,但问题是物理内存非常空闲,操作系统明明有2.7GB空闲物理内存做Disk Cache,怎么不吐出来一点,非要去用swap呢?
想来想去只有一种可能性,就是MySQL存在非常巨大的,频繁的文件读写操作,迫使操作系统不得不分配了2.7GB的Disk Cache,从而造成了物理内存的不足,被迫使用swap。而可能造成巨大文件读写操作的就是buffer pool的flush和log file的flush操作了。因此配置文件做如下修改:
memlock
innodb_buffer_pool_size = 2G
innodb_log_file_size = 64M
innodb_log_files_in_group = 2
innodb_flush_method=O_DIRECT
减少log file size和数量,使用O_DIRECT。重启以后,数据库服务器恢复正常。操作系统Disk Cache下降到900MB,Swap使用了200多MB,但是不再进行swap in/swap out操作,CPU的IO Wait下降到2-3%。
通过这次MySQL InnoDB的调优经历,发现一些和MySQL官方推荐配置不符合的疑惑之处,值得思考和探索:
1、innodb_flush_method究竟应不应该使用O_DIRECT?
所有MySQL调优的建议都说,如果硬件没有预读功能,那么使用O_DIRECT将极大降低InnoDB的性能,因为O_DIRECT跳过了操作系统的文件系统Disk Cache,让MySQL直接读写磁盘了。
但是在我的实践中来看,如果不使用O_DIRECT,操作系统被迫开辟大量的Disk Cache用于innodb的读写缓存,不但没有提高读写性能,反而造成读写性能急剧下降。而且buffer pool的数据缓存和操作系统Disk Cache缓存造成了Double buffer的浪费,显然从我这个实践来看,浪费得非常厉害。
说O_DIRECT造成MySQL直接读写磁盘造成得性能下降问题,我觉得完全是杞人忧天。因为从JavaEye的数据库监测来看,Innodb 的buffer pool命中率非常高,有98%以上,真正的磁盘操作是微乎其微的。为了1%的磁盘操作能够得到Disk Cache,而浪费了98%的double buffer内存空间,无论从性能上看,还是从内存资源的消耗来看,都是非常不明智的。
2、innodb_log_file_size究竟应该大一点,还是小一点?
所有MySQL调优建议都说,innodb_log_file_size要越大越好,避免无谓的buffer pool的flush操作。
但是在我的实践中来看,innodb_log_file_size开得太大,会明显增加innodb的log写入操作,而且会造成操作系统需要更多的Disk Cache开销。
因此从我的经验来看,innodb_flush_method=O_DIRECT是必须的,而innodb_log_file_size也不宜太大
1. memlock
2. innodb_buffer_pool_size = 2G
3. innodb_log_file_size = 256M
4. innodb_log_files_in_group = 3
5. #innodb_flush_method=fdatasync 默认设置
2. innodb_buffer_pool_size = 2G
3. innodb_log_file_size = 256M
4. innodb_log_files_in_group = 3
5. #innodb_flush_method=fdatasync 默认设置
memlock
innodb_buffer_pool_size = 2G
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
#innodb_flush_method=fdatasync 默认设置
innodb_buffer_pool_size = 2G
innodb_log_file_size = 256M
innodb_log_files_in_group = 3
#innodb_flush_method=fdatasync 默认设置
buffer pool越大越好,官方推荐使用物理内存的50%-80%;log_file_size也是越大越好,官方推荐log size加起来要达到buffer pool的25%-100%。使用memlock可以避免MySQL内存进入swap,这些都是默认的推荐配置了,没有什么可以质疑的地方。但是数据库服务器启动以后,运行不太正常。表现出来的现象是:
1、操作系统内存Disk Cache使用了2.7GB
2、操作系统swap空间使用了200MB左右,一直不停进行swap in/swap out
3、CPU的IO Wait偏高,平均在10%以上
这个现象看起来非常怪异和矛盾。IO Wait偏高显然是因为频繁的使用swap进行内存换页引起的,但问题是物理内存非常空闲,操作系统明明有2.7GB空闲物理内存做Disk Cache,怎么不吐出来一点,非要去用swap呢?
想来想去只有一种可能性,就是MySQL存在非常巨大的,频繁的文件读写操作,迫使操作系统不得不分配了2.7GB的Disk Cache,从而造成了物理内存的不足,被迫使用swap。而可能造成巨大文件读写操作的就是buffer pool的flush和log file的flush操作了。因此配置文件做如下修改:
1. memlock
2. innodb_buffer_pool_size = 2G
3. innodb_log_file_size = 64M
4. innodb_log_files_in_group = 2
5. innodb_flush_method=O_DIRECT
2. innodb_buffer_pool_size = 2G
3. innodb_log_file_size = 64M
4. innodb_log_files_in_group = 2
5. innodb_flush_method=O_DIRECT
memlock
innodb_buffer_pool_size = 2G
innodb_log_file_size = 64M
innodb_log_files_in_group = 2
innodb_flush_method=O_DIRECT
减少log file size和数量,使用O_DIRECT。重启以后,数据库服务器恢复正常。操作系统Disk Cache下降到900MB,Swap使用了200多MB,但是不再进行swap in/swap out操作,CPU的IO Wait下降到2-3%。
通过这次MySQL InnoDB的调优经历,发现一些和MySQL官方推荐配置不符合的疑惑之处,值得思考和探索:
1、innodb_flush_method究竟应不应该使用O_DIRECT?
所有MySQL调优的建议都说,如果硬件没有预读功能,那么使用O_DIRECT将极大降低InnoDB的性能,因为O_DIRECT跳过了操作系统的文件系统Disk Cache,让MySQL直接读写磁盘了。
但是在我的实践中来看,如果不使用O_DIRECT,操作系统被迫开辟大量的Disk Cache用于innodb的读写缓存,不但没有提高读写性能,反而造成读写性能急剧下降。而且buffer pool的数据缓存和操作系统Disk Cache缓存造成了Double buffer的浪费,显然从我这个实践来看,浪费得非常厉害。
说O_DIRECT造成MySQL直接读写磁盘造成得性能下降问题,我觉得完全是杞人忧天。因为从JavaEye的数据库监测来看,Innodb 的buffer pool命中率非常高,有98%以上,真正的磁盘操作是微乎其微的。为了1%的磁盘操作能够得到Disk Cache,而浪费了98%的double buffer内存空间,无论从性能上看,还是从内存资源的消耗来看,都是非常不明智的。
2、innodb_log_file_size究竟应该大一点,还是小一点?
所有MySQL调优建议都说,innodb_log_file_size要越大越好,避免无谓的buffer pool的flush操作。
但是在我的实践中来看,innodb_log_file_size开得太大,会明显增加innodb的log写入操作,而且会造成操作系统需要更多的Disk Cache开销。
因此从我的经验来看,innodb_flush_method=O_DIRECT是必须的,而innodb_log_file_size也不宜太大