[相当有用]tcpdump 通过ip看端口之Linux下用tcpdump查看某进程请求某个IP的端口情况。

Unix/LinuxC技术 jackxiang 2016-8-19 15:17
杨永(杨永) 08-19 15:14:56
tcpdump -vnn host  要挂载服务器的IP
杨永(杨永) 08-19 15:15:07
tcpdump -vnn host 192.168.151.201
杨永(杨永) 08-19 15:17:01
看情况得开下4046端口
杨永(杨永) 08-19 15:17:12
发给张腾让他开下
杨永(杨永) 08-19 15:18:02
10.71.182.97.55818 > 192.168.151.201.4046
卡在这了
杨永(杨永) 08-19 15:18:09
访问4046端口没权限 （ength 0）
    10.71.182.97.37218 > 192.168.151.201.4046: Flags [S], cksum 0xf506 (correct), seq 2144183597, win 14600, options [mss 1460,sackOK,TS val 1372580057 ecr 0,nop,wscale 9], length 0
——————————————————————————————————————————————
   10.71.182.97.48860 > 192.168.151.201.111: Flags [F.], cksum 0x0a06 (correct), seq 61, ack 33, win 29, options [nop,nop,TS val 1372580057 ecr 798553157], length 0
15:16:24.794577 IP (tos 0x0, ttl 64, id 19956, offset 0, flags [DF], proto TCP (6), length 60)
    10.71.182.97.37218 > 192.168.151.201.4046: Flags [S], cksum 0xf506 (correct), seq 2144183597, win 14600, options [mss 1460,sackOK,TS val 1372580057 ecr 0,nop,wscale 9], length 0
15:16:24.795999 IP (tos 0x0, ttl 57, id 8451, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.151.201.111 > 10.71.182.97.48860: Flags [.], cksum 0xe7ea (correct), ack 62, win 8760, options [nop,nop,TS val 798553157 ecr 1372580057], length 0
15:16:24.796009 IP (tos 0x0, ttl 57, id 8707, offset 0, flags [DF], proto TCP (6), length 52)
    192.168.151.201.111 > 10.71.182.97.48860: Flags [F.], cksum 0xe7e9 (correct), seq 33, ack 62, win 8760, options [nop,nop,TS val 798553157 ecr 1372580057], length 0
15:16:24.796014 IP (tos 0x0, ttl 64, id 0, offset 0, flags [DF], proto TCP (6), length 52)
    10.71.182.97.48860 > 192.168.151.201.111: Flags [.], cksum 0x0a04 (correct), ack 34, win 29, options [nop,nop,TS val 1372580058 ecr 798553157], length 0
15:16:25.794390 IP (tos 0x0, ttl 64, id 19957, offset 0, flags [DF], proto TCP (6), length 60)
    10.71.182.97.37218 > 192.168.151.201.4046: Flags [S], cksum 0xf11e (correct), seq 2144183597, win 14600, options [mss 1460,sackOK,TS val 1372581057 ecr 0,nop,wscale 9], length 0
15:16:27.794397 IP (tos 0x0, ttl 64, id 19958, offset 0, flags [DF], proto TCP (6), length 60)
    10.71.182.97.37218 > 192.168.151.201.4046: Flags [S], cksum 0xe94e (correct), seq 2144183597, win 14600, options [mss 1460,sackOK,TS val 1372583057 ecr 0,nop,wscale 9], length 0

Linux修改本机/etc/hosts的hostName后经常不生效

Unix/LinuxC技术 jackxiang 2016-8-18 11:16
背景：问个技术问题：  如果代码中数据库连接使用域名，域名解析切换的时候，PHP是立即生效，还是会有DNS缓存？我知道CURL有缓存，数据库连接不太清楚，hosts绑定也 不靠谱，也会出现缓存。还是会有DNS缓存的，这块我遇到过好几次，最好restart php-fpm，甚至重启，有一个哥们大致总结了一下，特转之。

1、Linux修改本机别名/etc/hosts的hostName后经常不生效解决
Linux修改本机别名/etc/hosts的hostName后经常不生效，

比如我们/etc/hosts的内容如下：

#192.68.1.10 message.xxx.com

192.68.1.11 message.xxx.com


但是ping

message.xxx.com还是指向192.68.1.10。


一般2种解决方案：


1). 重启，这是最直接最可靠稳定的一种方法，如果有些时候不方便重启，则可以使用第二种方法。

2). 修改/etc/sysconfig/network文件，将HOSTNAME修改成对应的别名，如下：



NETWORKING=yes

HOSTNAME=host1
修改后重启网络服务
service network restart
(本质是/etc/init.d/network)


3).
如果重启服务器后，还是不起作用，应该是本机的dns缓存引起的。



查看nscd是否启用：
ps -ef|grep nscd

直接关闭Linux nscd 缓存服务：

/etc/init.d/nscd stop

2、Linux的DNS

     linux本身是没有dns缓存的,想使用dns缓存的话需要自己安装一个服务程序NSCD(name service cache daemon).

    nscd缓存三种服务passwd group hosts，所以它会记录三个库，分别对应源/etc/passwd, /etc/hosts 和 /etc/resolv.conf每个库保存两份缓存，一份是找到记录的，一份是没有找到记录的。每一种缓存都保存有生存时间（TTL）.

     安装：

　 yum install nscd

    修改配置文件/etc/nscd.conf,开启dns缓存,修改这一行

　 enable-cache hosts yes。

如果启用了nscd 服务，才有dns 缓存，否则是没有dns缓存的。




     开启 、停止、 重启服务
     service nscd start | stop | restart

nscd的配置：

通过编辑/etc/nscd.conf文件，在其中增加如下一行可以开启本地DNS cache：

enable-cache hosts yes

阿里云主机上的配置如下：

[plain] view plain copy print?
[root@iZ2571ykq ~]# cat /etc/nscd.conf  
#logfile        /var/log/nscd.log  
threads         6  
max-threads     128  
server-user     nscd  
debug-level     5  
paranoia        no  
enable-cache    passwd      no  
enable-cache    group       no  
enable-cache    hosts       yes  
positive-time-to-live   hosts   5  
negative-time-to-live   hosts       20  
suggested-size  hosts       211  
check-files     hosts       yes  
persistent      hosts       yes  
shared          hosts       yes  
max-db-size     hosts       33554432  
相关参数的解释如下：

logfile debug-file-name：指定调试信息写入的文件名。

debug-level value：设置希望的调试级别。

threads number：这是启动的等待请求的线程数。最少将创建5个线程。

server-user user：如果设置了该选项，nscd将作为该用户运行，而不是作为root。如果每个用户都使用一个单独的缓存（-S参数），将忽略该选项

enable-cache service <yes|no>：启用或禁用制定的 服务 缓存。

positive-time-to-live service value：设置 service 在指定缓存中正的项目（成功的请求）的TTL（存活时间）。 Value 以秒为单位。较大的值将增加缓存命中率从而减低平均响应时间，但是将增加缓存的一致性问题。

negative-time-to-live service value：设置 service 在指定缓存中负的项目（失败的请求）的TTL（存活时间）。 Value 以秒为单位。如果存在由不在系统数据库中的uid（用户ID）（例如在以root身份解包linux 内核源代码时）所拥有的文件将明显改善性能；应该维持较小的值以降低缓存一致性问题。

suggested-size service value：这是内部散列表的大小， value 应该保持一个素数以达到优化效果。

check-files service <yes|no>：启用或禁用检查属于指定 服务 的文件的改变。这些文件是 /etc/passwd， /etc/group， 以及/etc/hosts。







nscd的查看和清除




nscd缓存DB文件在/var/db/nscd下。
nscd -g  查看统计信息

清除 nscd缓存：
nscd -i passwd
nscd -i group
nscd -i hosts
当然也先删除缓存库或者停掉nscd服务：
rm -f /var/db/nscd/hosts

service nscd restart

或者是直接停止nscd 服务
service nscd stop。

  


来自：http://blog.csdn.net/hguisu/article/details/49278355

Setting Up NFS Server And Client On CentOS 7，NFS服务器搭建链接，主要讲挂载目录的跟的uid权限和NFS的Server端有关。

Unix/LinuxC技术 jackxiang 2016-8-16 17:18
背景：想搭建一个Gitlab的两台机器进行都访问NAS网盘作为数据共享，而这样的好处是网盘内容是一致的，达到高可用，而同时对这个NAS网盘进行Git命令备份，防止网盘挂了，也能恢复，也是代码数据的高可用。
在阿里云上也申请了一个类似的NFS磁盘，但是挂载时是ROOT权限，我那个/home/git/.ssh想是git权限，于是提起工单：




售后工程师 :    您好，这样不支持，mount后的目录权限有ans服务端决定，目前不支持修改。  
2017-07-06 23:42:54
售后工程师 :    您好，技术反馈这个是nas服务端决定的，目前我方设置的权限是777 root：root  

经实践：
mkdir -p /home/git/mnt
ll  -d /home/git/mnt/
drwxr-xr-x 2 root root 4096 Jul  8 23:52 /home/git/mnt/  #Linux root用户id号是0
挂载NFS:
mount -t nfs -o vers=3,tcp 10.71.15.98:/Vol-01/backup /home/git/mnt
ll  -d /home/git/mnt/
drwxr-xr-x 11 1000 1000 114688 Jun 11 20:04 /home/git/mnt/
变成1000了，这个值是NFS服务端设置的，但是阿里云是0，也就不是Git账户的ID了。它是0，root用户id号是0，不敢该RootID值为非0值。

推测其配置如下：
打开/etc/exports文件，在末尾加入：
/home/kevin *(rw,sync,no_root_squash)
注：nfs允许挂载的目录及权限，在文件/etc/exports中进行定义，各字段含义如下：
/home/kevin：要共享的目录
* ：允许所有的网段访问
rw ：读写权限
sync：资料同步写入内在和硬盘
no_root_squash：nfs客户端共享目录使用者权限


nfs中exports中no_root_squash的意义：
no_root_squash：登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来说，他就具有 root 的权限！这个项目『极不安全』，不建议使用！
root_squash：在登入 NFS 主机使用分享之目录的使用者如果是 root 时，那么这个使用者的权限将被压缩成为匿名使用者，通常他的 UID 与 GID 都会变成 nobody 那个系统账号的身份。

增加no_root_squash可以轻松获得NFS主机共享目录读写权限.

showmount -e
Export list for mainboard_virtualbox_docker_10_10_0_106:
/backup 10.10.0.91,10.10.0.90,10.10.0.89,10.10.0.88,10.10.0.77,10.10.0.72,10.10.0.71,10.10.0.70,10.10.0.69,10.10.0.67,10.10.0.66,10.10.0.65,10.10.0.64,10.10.0.63,10.10.0.62,10.10.0.61,10.10.0.60,10.10.0.59,10.10.0.58,10.10.0.57,10.10.0.56,10.10.0.46,10.10.0.45,10.10.0.44,10.10.0.33

配置完需要nfs重启一下
service nfs reload
systemctl restart nfs
=================================================================================
在文章后面有讲如何搭建NFS服务器：http://jackxiang.com/post/8299/
阅读全文

[实践OK]Charles在mac上进行抓包分析, mac端的优秀抓包工具——Charles使用.Iphone7在Macbook发出的热点下实现投屏，用的是破解软件AirServer 7.2.6 [MacSKY].dmg。

Unix/LinuxC技术 jackxiang 2016-8-11 13:25
I: Windows10下的Charles的https抓包方法及原理/下载ssl/http证书：
    https://www.cnblogs.com/Jerseyblog/p/16419865.html
    实践发现本地Windows上安装的SSL证书情况：颁发给：Charles Proxy CA 颁发者：Charles Proxy CA 有效期从： 2000/1/1 到 2051/10/20
第一步：电脑安装SSL证书
选择 “Help” -> “SSL Proxying” -> “Install Charles Root Certificate”，如果设置了安全防护，会ranging输入系统的帐号密码。
会让你开始安装charles的证书操作；一路下一步即可；
第二步，配置SSL的抓取域名；
你可以单独配置，必须看到某个想要抓取的域名，点击导航栏Proxy按钮，点击“SSL proxying ，勾选Enable SLL Proxying,设置想要抓包的域名并进行勾选，再次访问就可以抓到了
======================================================================================

II:思考为何Charles能获取到Https包的原理：
https://zhuanlan.zhihu.com/p/67199487
接合小灰的一篇漫画终于让我看懂了HTTPS协议的学习笔记，来源：
https://mp.weixin.qq.com/s/WQ0MV_76t-DvtpFYv2NZqA
中间人虽然不知道小红的私钥是什么，但是在截获了小红的公钥Key1之后，却可以偷天换日，自己另外生成一对公钥私钥，把自己的公钥Key3发送给小灰。
小灰不知道公钥被偷偷换过，以为Key3就是小红的公钥。于是按照先前的流程，用Key3加密了自己生成的对称加密密钥Key2，发送给小红。
这一次通信再次被中间人截获，中间人先用自己的私钥解开了Key3的加密，获得Key2，然后再用当初小红发来的Key1重新加密，再发给小红。
这样一来，两个人后续的通信尽管用Key2做了对称加密，但是中间人已经掌握了Key2，所以可以轻松进行解密。

自己的总结：
https://jackxiang.com/post/10110/

再次高度总结：
1）那个Charles设置的图标点下出现的Proxies 8888，其代理IP就是MacBook上获取上网的IP(如果是inode分派的也就是Current IP address is  172.20.232.31：8888，在手机端设置连接上WIFI后的代理就用该IP及端口)。
2）这个热点上的服务器和这个上网的IP是一个网段。（自己发送的热点一般就在一个网段）
3）这个证书信任一个是Mac上的证书，一个是Iphone的都是一个东西和配置，得信任。（参考：一、MacBook上面安装Mac证书并设置信任）

经实践证明，MacBook连接物理网线开一个Wifi热点也是可以进行抓包的，也就是说苹果笔记本自己和苹果手机组成一个局域网了，而我们大部分人用的是同一个Wifi里进行通讯，而有的单位Wifi通讯要二次短信认证，像爱奇艺，所以不太太方便，而自己发出Wifi的代价是自己得有能上网的网线才行。
如何用Mac做热点的文章，在系统偏好设置里的->通用->共享->互联网共享->[V]WI-FI：【实践操作发现得打开wifi先关下，在互联网共享处打开,会提示找开wifi，就选打开，后在桌面的右上的wifi符号显示：互联网共享频道11】，实践还发现手机上的wifi热点关了，macbook上可以让它打开，能连接上。
非常重要：先关上wifi后，在通用中打开互联网共享，然后会将关的wifi打开，就成为共享热点了（否则不行）。
https://jingyan.baidu.com/article/c1465413e122700bfcfc4c31.html

在Mac里物理网卡的IP是：172.20.232.19  （Macbook里的系统偏好设置-》网络-》Belkin-》IP地址:172.20.232.19）
而热点发出后，手机获得的IP是：192.168.2.2. （在设置-》无线局域网-》点圈起来的i,也就是配置代理的地方上面有一个IPV4地址是192.168.2.2。
A connection attempt to Charles has been made from the host 192.168.2.2.

原理：Macbook连接Wifi时有一个IP地址，而你的手机Iphone也有一个IP地址，应该是同一个网段的，手机的Wifi上面设置代理到MacBook的IP及8888端口，这样Charles开的8888端口就能抓到。而证书需要Iphone信任，从一个叫chls.pro/ssl里面下载即可，安装后，要设置为要信证书，系统要信任这张证书。
当然，Fiddler2也有这个功能，手机apk访问接口调试之用Wifi热点抓https包工具Fiddler2查看请求参数及返回详解，如下：http://jackxiang.com/post/7757/

代理服务器（Proxy Server）是网上提供转接功能的服务器，在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，是直接联系到目的站点服务器，然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。

http://my.oschina.net/u/2340880/blog/508688
Crack:
http://download.csdn.net/download/xieyupeng520/9342987
https://www.52pojie.cn/thread-725112-1-1.html

http://www.sd173.com/html/3774.html

一、MacBook上面安装Mac证书并设置信任：
1）安装抓包应用的证书:在 Charles 的菜单栏点击 help => SSL Proxying => Install Charles Root Certificate，在这儿添加证书，会要指纹识别得以安装。

2）设置信任安装的证书，作如下操作：
启动台（四个手指在触摸板上并笼调出）->其它->钥匙串访问 -》左侧两项：上是系统钥匙串选：
系统->右侧钥匙串访问->下面是种类选证书（所有项目、密码、安全备注、我的证书、密钥、证书）->选 证书->找到Charles证书(Charles Proxy CA (13 六月 2018, jackXsMacBook-Pro.local)),然后，双击信任（信任、细节）。在钥匙串中搜索 “ Charles ”找到证书，双击证书，并选择 始终信任：使用证书时：始终信任。

重装系统后：
sharingd想使用登录钥匙串
1 打开 钥匙串访问
2 清空 登录 钥匙串，这样会清空电脑保存的所有密码，想好了再操作
3 重启电脑 解决

二、Iphone手机系统上要信任这张证书：
通用-关于本机-证书信任设置：
受信任证书存储区版本 2018040200
针对根证书启用完全信任：
Charles Proxy CA(11 一月 2017，yolende...(打开)

注：在VPN与设备管理里可以移除这个刚通过网站安装的证书。


在iPhone上安装证书细节：
1）在iPhone上安装证书：在mac上保持 Charles 打开状态，iPhone 和 Mac处于同一网络中。在iPhone 的 Safari 中打开如下网址：
https://chls.pro/ssl     # 注意：这块一定要在同一个网络，也就是IP局域网或者说是属于一个路由的Wifi下面且配置了Iphone手机的代理，（现在有安全提示选仍然访问）否则会不会弹出【此网站正尝试打开”设置"以向您显示一个配置描述文件。您要允许吗？ 【忽略、允许】 ，说白了这个URL就是通过了MAC本的8888端口进而和这个端口相关的代理的Https罢了，也就是为何如果这个Iphone如果不设置代理到Mac的192.168.134.172 8888端口，则是不会出现弹出这个安装SSL证书的。

2）会弹出一个安装描述文件的弹窗询问师傅允许添加描述文件，点击允许，并安装证书。  #特别注意：两个保证才会提示安装SSL证书：一个网内，二是保证代理到了MAC本的192.168.134.172:8888端口。
IP 从哪和来的：

ifconfig|grep 192
  inet 192.168.2.1 netmask 0xffffff00 broadcast 192.168.2.255

telnet 192.168.2.1 8888    #这台是Mac端的IP
Trying 192.168.2.1...        ##配置连接2.1这台的8888时 charles会提示是否接受，选接受。
Connected to localhost.
Escape character is '^]'.

手机端IP是：192.168.2.15    

3）在 iPhone 上信任证书
通用 = > 关于本机 => 证书信任设置 =>信任

三、Https抓包的乱码问题：
打开Charles，上方菜单栏 —-》Proxy —-》SSL Proxy Settings —-》Add，
Host：填*表示所有网站都抓
Port：443
点击OK，就不再乱码了，亲测。
来自：https://blog.csdn.net/a327369238/article/details/52856833

四、移除刚安装证书步骤：
查看或移除在设置-通用-描述文件-找到同名的-移除也是需要输入密码的。
在浏览器里安装证书参考（这块安装时候需要输入密码）才能安装成功：
https://www.jianshu.com/p/e8dd1091d6d7
From：https://www.jianshu.com/p/8825179786ac


五）安装Charles抓包破解版软件：

激活：下载地址：charles系列破解激活办法（最高charles4.2都可以激活）
// Charles Proxy License
// 适用于Charles任意版本的注册码，谁还会想要使用破解版呢。
// Charles 4.2目前是最新版，可用。
Registered Name: https://zhile.io
License Key: 48891cf209c6d32bf4
来自：https://blog.csdn.net/qq_25821067/article/details/79848589

Charles 在线破解工具:
请正确选择要破解的版本 建议安装使用最新版，官方下载地址 https://www.charlesproxy.com/download/
描述
此工具用于生成破解后的charles.jar文件，blog介绍: https://www.jianshu.com/p/46d29e60dd1b
用法
输入RegisterName(此名称随意，用于显示 Registered to xxx)，选择本地已安装的版本，点击生成，并下载charles.jar文件
替换本地charles.jar文件
macOS: /Applications/Charles.app/Contents/Java/charles.jar
Windows: C:\Program Files\Charles\lib\charles.jar
https://www.zzzmode.com/mytools/charles/


Charles 4.2.5 破解：https://blog.zzzmode.com/2017/05/16/charles-4.0.2-cracked/

IP地址漂移技术-全部重启后好了。

Unix/LinuxC技术 jackxiang 2016-8-10 11:27
背景：阿里私有云呐，出现Agent异常，查各种配置均没有问题，后把EDAS的agent服务器均重启了又好了（重启6台中的一台还是有问题），东软哥们问阿里说是给他来了句，叫什么地址漂移，不知道什么鬼高科技。查一下了解了解。

   采用地址漂移技术，利用虚拟IP地址来绑定主服务器，可有效解决不能利用组播的情况下，多台服务器集群之间的信息交互问题。此方法具有一定的代表性，在很多行业可以采用。  双机集群方式广泛应用于各级航空飞行管制中心，两台中心服务器通过网络构成一套高可靠性双机热备份系统，同步工作、互为备份，当主机发生故障时，自动切换到备机工作，系统不间断运行。而地址漂移技术是当其中一台主机有故障时，另一主机接管故障主机的网络IP地址，使网络仍能正常运行。
三是采用地址漂移技术，给管制中心分配一个航空管制中心虚拟IP 地址，航空管制中心之间传递情报采用此IP地址，然后由各航空管制中心的主服务器与此IP地址绑定，负责接收和发送情报。同时在主服务器启动一个三通进 程，所谓三通进程是指此进程负责接收信息，然后将收到的信息分别转发到集群内两台服务器，类似于水龙头的三通，因此称之为三通进程。主服务器收到一份情报 后，送往局域网内主服务器和备服务器的接收进程。当主机切换为备机时，此服务器卸载此虚拟IP地址，切换为主机的服务器加载虚拟IP地址，并启用三通进程 负责接收和分发情报。虚拟IP地址在主备服务器之间漂移，也称之为地址漂移技术，目前很多集群软件也采用此技术来解决集群内多台计算机只有惟一IP地址的 问题。
文中有说ARP+Socket实现的。详情如下：

阅读全文

[实践OK]Linux下如何用sync复制也就是同步2个位于【本地磁盘和移动硬盘或U盘usb或远程服务器上】文件夹中的所有内容

Unix/LinuxC技术 jackxiang 2016-7-29 16:44
背景：如果一个文件目录很大且需要定时同步，怎么办，linux下有一个rsync，同步到的可能是本地，更多是同步到把nas给mount上来的一个网络超大磁盘，这就很有用了。
/usr/bin/rsync -avh /backup/yum.xxxx.com  /data/www


rsync -avh #备注：只是增量同步，远端有不一样的文件，它不会自动删除。
rsync -avh --delete gliethttp/ /media/udisk/gliethttp
其中gliethttp/为src这里的结尾/很重要,这表示同步的是gliethttp/目录中的内容,而不是gliethttp目录本身.
/media/udisk/gliethttp为dst
表示将src中的内容与dst进行严格同步,如果dst不存在,那么创建之.
-r 表示递归目录
-t 表示保留时间
-l 表示保留符号链接

我们也可以使用ssh辅助rsync远程同步文件夹
luther@gliethttp:~$ rsync -avh --delete luther@127.0.0.1:/media/udisk/gliethttp/ gliethttp.local
默认使用ssh远程登录luther用户,然后使用ssh加密通道进行数据传输,同步/media/udisk/gliethttp/文件夹中的内容到本地的gliethttp.local目录下

网上有通过配置/etc/rsyncd.conf来设置访问权限,个人感觉很不安全,远远不如使用成熟的ssh进行数据加密,对于用户认证,可以将生成的.ssh对应的key发布出去,这样就不用每次输入密码了[luther.gliethttp]
《windows登陆远程Linux主机的一种途径putty－详细安装使用过程》
下面看看如何创建key
1. luther@gliethttp:~$ ssh-keygen -t rsa
2. 将~/.ssh/id_rsa.pub改名为/root/.ssh/authorized_keys
3. 将私钥~/.ssh/id_rsa拷贝到远程客户端的~/.ssh/目录下
当然可以安装rsync的GUI版本grsync
luther@gliethttp:~$ sudo apt-get install grsync

来自：http://blog.chinaunix.net/uid-20564848-id-74200.html

linux下面误删root里面的文件夹 恢复方法~~

Unix/LinuxC技术 jackxiang 2016-7-25 11:19
背景：删除文件时吧 /root/ 里面的文件删除了.过程如下：
[root@localhost x86_64]# ll
total 534136
-rwxr-xr-x 1 www  www    6227876 May  4 13:45 amoeba-2.1.0-160504134426.el6.x86_64.rpm
-rwxr-xr-x 1 www  www     149892 Apr 26 18:11 apcu-php56-4.0.11-160426181109.el6.x86_64.rpm
-rwxr-xr-x 1 www  www     114160 May  5 11:12 apcu-php70-5.1.3-160505111247.el6.x86_64.rpm
-rwxr-xr-x 1 www  www   25338712 May 27 15:40 berkeleydb-6.2.23-160527153833.el6.x86_64.rpm
-rwxr-xr-x 1 www  www   27203008 Jun 23 14:57 elasticsearch-2.3.3-160623145745.el6.noarch.rpm
drwx------ 3 root root      4096 Jul 15 15:20 $HOME

rm -Rf '$HOME'

[root@localhost x86_64]# rm -Rf $HOME
[root@localhost x86_64]# echo $HOME
/root
[root@localhost /]# ls /root
ls: cannot access /root: No such file or directory

cd /data/www/yum/centos/7/x86_64
rm -Rf usr
rm -Rf lib
rm -Rf lib64
rm -Rf boot
rm -Rf data
rm -Rf dev
rm -Rf etc
rm -Rf home
rm -Rf '$HOME'
rm -Rf  lost+found
rm -Rf  media
rm -Rf  mnt
rm -Rf  opt
rm -Rf  proc
rm -Rf  repodata
rm -Rf  root
rm -Rf  root_901
rm -Rf  run
rm -Rf  sbin
rm -Rf  srv
rm -Rf  sys
rm -Rf  tmp
rm -Rf  usr
rm -Rf  zabbix
rm -rf bin
rm -Rf selinux software var
rm -Rf lamp
rm -Rf scp.sh screenquit.sh temp.retry web.retry mysql.retry mountIrdcBackUp.sh irdcops.retry install.sh install.log.syslog install.log id_rsa debug.retry crontab_ntpdate  anaconda-ks.cfg monitor.sh
rm -Rf  a getip
============================================================
解决办法：
.mkdir /root

cp -a /etc/skel/.[!.]* /root



主要是吧 /etc/skel/里面的文件拷贝回去就行了~~~哈..


cp -r /etc/skel/.bash
.bash_logout   .bash_profile  .bashrc  
法一：
cp -a /etc/skel/.[!.]* /root
chown -R root /root
chmod -R 700 /root

法二：从别的linux上拷贝一个root过来，后面删除时注意一下：
带你飞(39345****)  11:37:21
@回忆未来-向东-Jàck rm '$HOME'
加个引号就行了

参考：http://blog.csdn.net/wlqf366/article/details/50081389

linux获取daemon进程的控制台数据

Unix/LinuxC技术 jackxiang 2016-7-24 15:53
linux提供了一个daemon函数，使得进程可以脱离控制台运行，实现了后台运行的效果。但是进程后台运行后，原本在终端控制台输出的数据就看不到了。那么，怎样才能找回这些数据？

这里，文章主题就围绕着 如何获得后台进程的控制台数据，其中的原理要从daemon说起。

daemon主要做两件事：
1、创建子进程，退出当前进程，并且以子进程创建新会话。这样，就算父进程退出，子进程也不会被关闭
2、将标准输入，标准输出，标准错误都重定向/dev/null

daemon 实现大致如下：

int daemonize(int nochdir, int noclose)
{
  int fd;

  switch (fork()) {
  case -1:
    return (-1);
  case 0:
    break;
  default:
    _exit(EXIT_SUCCESS);
  }

  if (setsid() == -1)
    return (-1);

  if (nochdir == 0) {
    if(chdir("/") != 0) {
      perror("chdir");
      return (-1);
    }
  }

  if (noclose == 0 && (fd = open("/dev/null", O_RDWR, 0)) != -1) {
    if(dup2(fd, STDIN_FILENO) < 0) {
      perror("dup2 stdin");
      return (-1);
    }
    if(dup2(fd, STDOUT_FILENO) < 0) {
      perror("dup2 stdout");
      return (-1);
    }
    if(dup2(fd, STDERR_FILENO) < 0) {
      perror("dup2 stderr");
      return (-1);
    }

    if (fd > STDERR_FILENO) {
      if(close(fd) < 0) {
        perror("close");
        return (-1);
      }
    }
  }
  return (0);
}
所以，想取回进程的控制台数据，只要将标准输出，标准错误重定向到指定文件，然后读取这个文件就好了。

文章这里写了个例子，简单演示下（这里通过kill信号完成进程通信，有点粗暴）
代码如下，保存为 daemon_example.c
#include
#include
#include
#include

static int fd = -1;

void sigroutine(int dunno) {
  switch (dunno) {
  case SIGUSR1:
    fprintf(stderr, "Get a signal -- SIGUSR1 \n");
    if (fd != -1) close(fd);
    fd = open("/tmp/console_temp.log", O_RDWR|O_APPEND|O_CREAT, 0600);
    if (fd == -1) break;
    dup2(fd, STDIN_FILENO);
    dup2(fd, STDOUT_FILENO);
    dup2(fd, STDERR_FILENO);
    break;
    
  case SIGUSR2:
    fprintf(stderr, "Get a signal -- SIGUSR2 \n");
    if (fd != -1) close(fd);
    fd = open("/dev/null", O_RDWR, 0);
    if (fd == -1) break;
    dup2(fd, STDIN_FILENO);
    dup2(fd, STDOUT_FILENO);
    dup2(fd, STDERR_FILENO);
    break;
  }
  return;

}

int main() {
  signal(SIGUSR1, sigroutine);
  signal(SIGUSR2, sigroutine);

  daemon(1,0);
  for (;;){
      fprintf(stderr,"test \n") ; // 不断打印test
      sleep(1);
  }
  return 0;
}
然后，编译和执行这个程序：
$ gcc -o daemon_example daemon_example.c
$ chmod +x daemon_example
$ ./daemon_example
$ ps -ef| grep daemon_example
root 11328 1 0 19:15 ? 00:00:00 ./daemon_example
如上，进程后台运行了，拿到pid 11328

按ctrl+c 退出脚本，这时脚本会通知进程将标准输出和标准错误重定向到 /dev/null，继续后台运行。
[root@iZ25dcp92ckZ testdemo]# sh -x ./test.sh 16935  
+ pid=16935
+ ps -p 16935
+ '[' '!' 0 -eq 0 ']'
+ echo pid 16935
pid 16935
+ trap 'kill -usr2 16935 && exit 1' HUP INT QUIT TERM
+ kill -usr1 16935
+ echo it works,please wait..
it works,please wait..
+ sleep 1
+ tail -f -n 0 /tmp/console_temp.log
test
test
test
test
==========================================================
接着，写个脚本测试这个程序， 保存为test.sh：
#!/bin/bash

pid=$1
ps -p $pid>/dev/null
if [ ! $? -eq 0 ] ; then
  echo pid does not exist!
  exit 1
fi
echo pid $pid
trap "kill -usr2 $pid && exit 1" HUP INT QUIT TERM
kill -usr1 $pid
echo it works,please wait..
sleep 1
tail -f -n 0 /tmp/console_temp.log
echo done!
执行这个脚本，结果如下：
$ ./test.sh 11328
pid 11328
it works,please wait..
test
test
然后，按ctrl+c 退出脚本，这时脚本会通知进程将标准输出和标准错误重定向到 /dev/null，继续后台运行。
这样，这个脚本就成了后台进程的调试工具了，需要后台数据的时候执行一下，不需要就关闭。当然，这只是一个示例，实际应用中要做改善，比如kill信号改成pipe或socket通讯，缓存文件要限制大小，或自动清除等。

摘自：http://blog.csdn.net/mycwq/article/details/50479735

Linux chattr命令参数及使用方法详解

Unix/LinuxC技术 jackxiang 2016-7-19 17:32
背景：发现用ansible去做sudo时，发现权限不够：
TASK [irdcops : 修改 /etc/sudoers] ***********************************************
skipping: [10.70.37.24]
fatal: [10.70.36.172]: FAILED! => {"changed": false, "failed": true, "msg": "Could not replace file: /tmp/tmpfToWiS to /etc/sudoers: [Errno 1] Operation not permitted"}
fatal: [10.70.36.173]: FAILED! => {"changed": false, "failed": true, "msg": "Could not replace file: /tmp/tmpvA5FJh to /etc/sudoers: [Errno 1] Operation not permitted"}


[root@v-szq-Localizationweb13 etc]# chmod 755 sudoers
chmod: changing permissions of `sudoers': Operation not permitted
[root@v-szq-Localizationweb13 etc]# lsattr sudoers
----i--------e- sudoers
[root@v-szq-Localizationweb13 etc]#  chattr -i sudoers
[root@v-szq-Localizationweb13 etc]# visudo

http://www.linuxeye.com/command/chattr.html




去掉保护命令：




黑客最容易修改这个sshd：


Form:http://jackxiang.com/post/1792/

[实践OK]linux查看进程启动时间秒级别(运行时间、运行了多长时间) ，ps命令查看进程启动时间。

Unix/LinuxC技术 jackxiang 2016-7-18 11:30
背景： 一个程序运行了多长时间，能用ps命令得出来，像系统运行多长时间可以用uptime，一样的道理。
最简单的这个命令，大体时间，到不了秒：

实践如下：
ps -ef|grep mysql
root      4572     1  0 7月09 ?       00:00:00 /bin/sh /usr/local/mysql/bin/mysqld_safe



到秒级别的启动时间， etime      elapsed running time，lstart     time started：




摘自 ：http://www.cnblogs.com/fengbohello/p/4111206.html

写个小脚本，根据传入的参数显示对应进程的启动时间

ps -p 25352 -o lstart|grep -v "START"
比如运行：./showProRunTime.sh mysql 显示mysql进程的启动时间：
/usr/local/sbin/showProRunTime.sh


/tmp/synrpm.sh synrpm2repos
root     53504  0.0  0.1 119240  6436 ?        Ss   Jul17   0:00 /usr/local/php/bin/php /usr/local/sbin/synrpm2repos.php --daemon Sun Jul 17 16:57:39 2016

启动时间是：Sun Jul 17 16:57:39 2016
___________________________以下是参数说明_____________________________________________

ps -eo lstart 启动时间
ps -eo etime   运行多长时间.


ps -eo pid,lstart,etime | grep 5176


有些时候我们需要知道某个进程的启动时间！
显示某PID的启动时间命令：

ps -p PID -o lstart  


如下面显示httpd的启动时间：

for pid in $(pgrep httpd); do echo -n "${pid}"; ps -p ${pid} -o lstart | grep -v "START"; done  
====================================================================================
在Linux下，如果需要查看进程的启动时间， 常用ps aux命令，但是ps aux命令的缺陷在于只能显示时间到年、日期、或者时间， 无法具体到年月日时分秒。如果需要查看某个进程的具体启动时间， 使用 ps -p PID -o lstart,  其中，PID为某个进程的进程ID号。

如下所示， 显示系统中所有httpd进程的具体启动时间。

如下所示， 显示系统中所有httpd进程的具体启动时间。

for pid in $(pgrep httpd); do echo -n "${pid} " ; ps -p ${pid} -o lstart | grep -v "START" ; done
301 Mon Aug 27 11:21:59 2012
344 Mon Aug 27 11:33:13 2012
25065 Sun Aug 26 03:27:03 2012
25066 Sun Aug 26 03:27:03 2012
25067 Sun Aug 26 03:27:03 2012
25068 Sun Aug 26 03:27:03 2012
25069 Sun Aug 26 03:27:03 2012
25070 Sun Aug 26 03:27:03 2012
25071 Sun Aug 26 03:27:03 2012
25072 Sun Aug 26 03:27:03 2012
27903 Wed Jun 20 22:50:47 2012
32767 Mon Aug 27 11:21:48 2012

来自：http://www.iteye.com/topic/1135810

非正常关闭vi编辑器时会生成一个.swp文件  

Unix/LinuxC技术 jackxiang 2016-7-17 19:20
处理方法： 打开 /etc/.vimrc 并添加 set noswapfile 后 OK
vi /root/.vimrc
set noswapfile

非正常关闭vi编辑器时会生成一个.swp文件

关于swp文件
使用vi，经常可以看到swp这个文件,那这个文件是怎么产生的呢，当你打开一个文件，vi就会生成这么一个.(filename)swp文件以备不测（不测下面讨论），如果你正常退出，那么这个这个swp文件将会自动删除。下面说不测。
不测分为：1当你用多个程序编辑同一个文件时。
         2非常规退出时。
第一种情况的话，为了避免同一个文件产生两个不同的版本（vim中的原话），还是建议选择readonly为好。
第二种情况的话，你可以用vim -r filename恢复，然后再把swp文件删除（这个时候要确保你的swp文件没有用处了，要不然你会伤心的）
swp文件的来历，当你强行关闭vi时，比如电源突然断掉或者你使用了Ctrl+ZZ，vi自动生成一个.swp文件，下次你再编辑时，就会出现一些提示。

你可以使用

vi -r {your file name}

来恢复文件，然后用下面的命令删除swp文件，不然每一次编辑时总是有这个提示。

rm .{your file name}.swp

在网上搜到了一个类似的提示，不同的linux提示可能不一样

“.xorg.conf.swp” already exists!
[O]pen Read-Only, (E)dit anyway, (R)ecover, (Q)uit:

当然可以用R键恢复。

vi编辑器要正常退出可以使用Shift-ZZ 。



[SuSE] 【已解决】vi 命令 生成 .swp 文件相关问题

-> 例：使用vi a.dat时 会生成一个 .a.dat.swp 文件
       然后再开个终端 vi a.dat 时会提示：
      【“Swap file ".文件名.swp" already exists![O]pen Read-Only, (E)dit anyway, (R)ecover, (Q)uit:】  

-> vi 版本：
   vi -vierson
     VIM - Vi IMproved 6.3 (2004 June 7, compiled Oct 20 2004 23:12:36)
        
->  问： (vi 一个文件时怎么样可以不让它产生.swp文件？
          或不让他提示【“Swap file ".文件名.swp" already exists![O]pen Read-Only, (E)dit anyway, (R)ecover, (Q)uit:】)

处理方法： 打开 /etc/vimrc 并添加 set noswapfile 后 OK

来自：http://blog.163.com/phys_atom/blog/static/167644553201222784342904/

在CentOS中设置系统级代理

Unix/LinuxC技术 jackxiang 2016-7-13 07:51
1. 系统版本

CentOS 6.6 x86_64 Desktop

2. 设置yum代理

在Shell中运行以下命令：

vi /etc/yum.conf
在上述文件的最后，添加如下内容：

# Proxy

proxy=http://username:password@proxy_ip:port
其中，username是登录代理服务器的用户名，password是登录密码，proxy_ip是代理服务器的域名或IP地址，port是代理服务器的端口号。也可以使用proxy_username和proxy_password来配置代理的用户名和密码。这样的配置完成后，所有的用户在使用yum时，都会使用代理，可以说是全局代理。如果需要为单独的用户配置代理，可以在用户的~/.bash_profile文件中设置。

在Shell中运行以下命令，验证配置是否正确：

yum search gcc
若上述命令的输出信息如下图所示，则表示配置成功：

显示大图


3. 设置wget代理

在shell中运行以下命令：

vi /etc/wgetrc
在上述文件的最后，添加如下内容：

# Proxy

http_proxy=http://username:password@proxy_ip:port/

ftp_proxy=http://username:password@proxy_ip:port/
其中，http_proxy是http代理，ftp_proxy是ftp代理，其余变量的意义和设置yum代理的方法相同。

在Shell中运行以下命令，验证配置是否正确：

wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm
若上述命令的输出信息如下图所示，则表示配置成功：



4. 设置系统全局代理

在shell中运行以下命令：

vi /etc/profile
在上述文件的最后，添加如下内容：

export http_proxy="http://username:password@proxy_ip:port"
各个变量的意义和设置yum代理的方法相同。配置的验证方法和yum代理、wget代理相同。

[实践OK]给RPM的目录创建索引createrepo --update -d -p -o . . ，用reposync 同步YUM源到本地，搭建本地YUM源服务器,yum repolist -v

Unix/LinuxC技术 jackxiang 2016-7-11 14:16
yum repolist -v
repolist       Display the configured software repositories

repo只要自己知道RPM位置，自己也可以写：


同步的是ymrepos.d里面的仓库明儿，一般都带x86或啥的，如果有多台不是64位成32位的需要yum下载，则不要用变量，直接写和服务器不一样的变量写死如死x86这样的路径。
关于CentOS6主CentOS7的不同变量了解，下面是centOS7的：
http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch
http://rpms.adiscon.com/v8-stable/epel-7/x86_64/
单位的机器是CentOS6且是64位的，上面的变量就变成：
http://rpms.adiscon.com/v8-stable/epel-6/x86_64/RPMS/
如果是32位的呢？变量部分会变成如下，就是这样：
http://rpms.adiscon.com/v8-stable/epel-6/i386/RPMS/
http://m.2cto.com/net/201512/455901.html

这个参数不常用，但提到架构问题了x86还是64位的：
  -a ARCH, --arch=ARCH  act as if running the specified arch (default: current
                        arch, note: does not override $releasever. x86_64 is a
                        superset for i*86.)

cat /etc/yum.repos.d/rsyslog.repo |grep releasever
name=Adiscon CentOS-$releasever - local packages for $basearch
#baseurl=http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch
===============================================================
如果执行的时候yum.repos.d里面的文件url写错了，会出现如下错误,也就是说写的目录下面必须有repodata这个索引文件夹:
http://rpms.adiscon.com/v8-stable/epel-6/i386/RPMS/repodata/repomd.xml: [Errno 14] HTTP Error 404 - Not Found
也就是它会去repos的索引里面找，改为:
baseurl=http://rpms.adiscon.com/v8-stable/epel-6/i386          再:yum clean all就可以在64位机器下载同步使用32位，供32位 使用。  
baseurl=http://rpms.adiscon.com/v8-stable/epel-7/x86_64/

上面这些文件形成多个repo，于是就可能在一台X86_64位的机器上下载多种架构的机型，只有配置多个repos文件：
reposync --repoid=rsyslog_v8_32
[rsyslog_v8_32]
baseurl=http://rpms.adiscon.com/v8-stable/epel-6/i386

[rsyslog_v8_64]
baseurl=http://rpms.adiscon.com/v8-stable/epel-6/x86_64
reposync --repoid=rsyslog_v8_64



同样：
[root@iZ25dcp92ckZ tmp]# reposync --repoid=rsyslog_v8_i386
/tmp/rsyslog_v8_i386/RPMS/*.rpm

建立软链接：
ln -s /tmp/rsyslog_v8_i386/RPMS /data/www/yum/centos/6/x86_64/rsyslog_v8_i386
ln -s /tmp/rsyslog_v8_64/RPMS /data/www/yum/centos/6/x86_64/rsyslog_v8_64
这样，两个版本都能同时提供服务了：
直接cd 到/data/www/yum/centos/6/x86_64 ，createrepo --update -d -p -o . .  ，它会扫子目录的如/data/www/yum/centos/6/x86_64/rsyslog_v8_64 和 /data/www/yum/centos/6/x86_64/rsyslog_v8_i386：
cat /etc/yum.repos.d/cntv-irdc.repo
[cntv-irdc]
name=Centos $releasever - $basearch rpm repository
baseurl=http://10.70.41.222/centos/$releasever/$basearch

==============================================================
最终目的是想：elk+kafka+rsyslog+hadoophdfs+zookeeper搭建及其应用，http://www.it165.net/admin/html/201604/7496.html。
CentOS6.5安装配置官方最新版rsyslog：  http://blog.chinaunix.net/uid-21142030-id-5616974.html
总原则及结论：在YUM仓库下建立一个新的目录存放，在上一层建立索引，也可读取到子目录的方法。

同步思想：三台机器，一台用来reposync同步并在上面开一个rsyncd的服务指向，另两台来同步它，
A：上面有crontab去定时reposync，同时有一个定时同步rpm后createrepo --update -d -p -o . . 。
BC两台:  在定时同步A完成后，也需要作一下：createrepo --update -d -p -o . . ，更新一下索引。
步骤零：
关于CentOS6主CentOS7的不同变量了解，下面是centOS7的：
http://rpms.adiscon.com/v8-stable/epel-$releasever/$basearch
http://rpms.adiscon.com/v8-stable/epel-7/x86_64/
单位的机器是CentOS6且是64位的，上面的变量就变成：
http://rpms.adiscon.com/v8-stable/epel-6/x86_64/RPMS/
如果是32位的呢？变量部分会变成如下，就是这样：
http://rpms.adiscon.com/v8-stable/epel-6/i386/RPMS/


步骤一：安装必要的reposync的rpm包和repo同步的源：
rpm 包安装需要： yum-utils-1.1.30-37.el6.noarch
rpm -qf /usr/bin/reposync  安装包是：yum-utils-1.1.30-37.el6.noarch
yum install -y http://rdo.fedorapeople.org/rdo-release.rpm


步骤二：
安装后如何同步：
wget http://rpms.adiscon.com/v8-stable/rsyslog.repo -o /etc/yum.repos.d/rsyslog.repo
/etc/yum.repos.d/rsyslog.repo

http://rpms.adiscon.com/ 里全是各个版本的rpm包。

cd /data/www/yum/centos/6/x86_64/rsyslog_v8

[root@bj_szq_yum_repos_36_172 rsyslog_v8]# reposync --repoid=rsyslog_v8
Error setting up repositories: Cannot retrieve repository metadata (repomd.xml) for repository: rsyslog_v8. Please verify its path and try again

抓取这块咱还需要再商量商量下抓取地址和同步范围：
http://www.rsyslog.com/rhelcentos-rpms/

http://rpms.adiscon.com/v8-stable/rsyslog.repo
http://rpms.adiscon.com/v8-stable/
————————————————————————————
http://king9527.blog.51cto.com/84461/1096111
http://gdlwolf.blog.51cto.com/343866/1729020
http://www.ipcpu.com/2015/08/reposync-yum/
http://www.programgo.com/article/53684909700/

用reposync 同步YUM源到本地，搭建本地YUM源服务器:
http://www.tuicool.com/articles/7rANJj
————————————————————————————
#安装rdo的源文件
yum install -y http://rdo.fedorapeople.org/rdo-release.rpm
#查看源ID的列表
yum repolist
摘自：http://www.ipcpu.com/2015/08/reposync-yum/

发现这个rpm包其实就是向/etc/yum.repos.d里添加一个repo文件，如下：
rpm -qpl rdo-release.rpm
/etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-SIG-Cloud
/etc/yum.repos.d/rdo-release.repo
/etc/yum.repos.d/rdo-testing.repo

安装发现多了上面这俩文件：
rpm -ihv rdo-release.rpm
准备中...                          ################################# [100%]
正在升级/安装...
1:rdo-release-mitaka-5             ################################# [100%]
[root@iZ25dcp92ckZ yum.repos.d]# ls -lart rdo-*
-rw-r--r-- 1 root root 326 6月  14 05:57 rdo-testing.repo
-rw-r--r-- 1 root root 209 6月  14 05:57 rdo-release.repo
查看仓库：
yum repolist |grep openstack
openstack-mitaka/x86_64 OpenStack Mitaka Repository                        1,182


mkdir -p /data/htdocs/openstack
cd   /data/htdocs/openstack
找仓库：
cat rdo-release.repo |grep openstack-mitaka
[openstack-mitaka]
baseurl=http://mirror.centos.org/centos/7/cloud/$basearch/openstack-mitaka/
找到了：
reposync --repoid=openstack-mitaka

实践如下： du -sh /data/htdocs/openstack/ 277M    /data/htdocs/openstack/
reposync --repoid=openstack-mitaka
Xaw3d-1.6.2-4.el7.x86_64.rpm   FAILED                                                          ]  15 kB/s |  32 kB  12:11:55 ETA
warning: /data/htdocs/openstack/openstack-mitaka/common/Xaw3d-devel-1.6.2-4.el7.x86_64.rpm: Header V4 RSA/SHA1 Signature, key ID 764429e6: NOKEY
Xaw3d-devel-1.6.2-4.el7.x86_64.rpm 的公钥尚未安装
(1/1182): Xaw3d-devel-1.6.2-4.el7.x86_64.rpm                                                              |  58 kB  00:00:03    
(2/1182): babel-1.3-6.el7.noarch.rpm                                                                      |  15 kB  00:00:01    
(3/1182): babel-2.3.4-1.el7.noarch.rpm                                                                    |  18 kB  00:00:01    
(4/1182): babel-doc-1.3-6.el7.noarch.rpm                                                                  | 208 kB  00:00:14    
(5/1182): babel-doc-2.3.4-1.el7.noarch.rpm                                                                | 234 kB

[偶尔出现]TortoiseGit老提示这个git版本不够新出现匹配问题的有一种原因

Unix/LinuxC技术 jackxiang 2016-6-30 17:22
一直提示：Git不是最新，装了好几次还是不行，后来发现：
安装完TortoiseGit，右键，在桌面上TortoiseGit里面有一个abount,里面有安基于哪个git的目录，我这一直是在aptana了，后来删除后，就对了：
TortoiseGit 2.1.0.0 (D:\Program Files\TortoiseGit\bin)
git version 2.9.0.windows.1 (D:\Program Files\Git\bin; D:\Program Files\Git\mingw32\; D:\Program Files\Git\mingw32\etc\gitconfig; C:\ProgramData\Git\config)

这种情况有可能是因为：
1.早期安装过aptana，里面有那个git了。
2.同时后来安装了TortoiseGit的版本和aptana里的git匹配，后来让TortoiseGit自己升级后就慢慢匹配不起来了。
3.再后来，即使更新了新的git，但是TortoiseGit里指向的还是aptana里的，所以一直提示，后来我直接删除后就好了。

注意：这个TortoiseGit最好是不要让它自动更新为好，哈哈~再就是老的TortoiseGit还有中文文件名在提交到仓库里出现乱码问题，删都删除不掉。

[问题备案]阿里云vps每天出现一次cpu 100%而ssh连接不上去的问题。

Unix/LinuxC技术 jackxiang 2016-6-27 16:56
Q:jac***@aliyun.com ： 服务器内主要运行程序 ： Nginx php-fpm
问题描述 ： 最近几天发现我的虚拟vps：101.200.189.210，出现运行时到某个时间点cpu高达100%的问题，连续出现三天了。
强制重启后，一天左右cpu又是100%，ssh都连接不上去，一般出现在早上或晚上6点左右，劳烦看一下是咋回事，能否通过你们系统看到是哪个进程一下子占用了100%的CPU，是一天里有一次左右就让服务器师假死一样，看aliyun的后台说还在运行，但ssh不上去。今天再看看会不会挂吧~  
售后工程师 ：  您好：我们查看到您的ＣＰＵ使用率２７日详见附件，这个是需要您在您的实例上去查看的，您查看您的服务器日志，系统日志，查看哪些异常与错误来排查您的异常进程占用ＣＰＵ，建议您下载使用第三方杀毒软件进行查杀木马病毒，还请您了解。

难道真要进行三方杀毒软件进行查杀木马病毒：
http://www.cnblogs.com/kerrycode/p/4754820.html

[实践OK]linux下实现CPU使用率和内存使用率获取方法

Unix/LinuxC技术 jackxiang 2016-6-26 23:30
背景：获取CPU的使用率情况不是很容易一下获取到，用top得到一堆，得写个C来获取。
calccpucmd.c

gcc calccpucmd.c -o calccpucmd
./calccpucmd
20

想获取一下目标机运行时linux系统的硬件占用情况，写了这几个小程序，以后直接用了。
方法就是读取proc下的文件来获取了。 cpu使用率：    /proc/stat ，内存使用情况：      /proc/meminfo
看程序 ：

typedef struct PACKED         //定义一个cpu occupy的结构体
{
char name[20];      //定义一个char类型的数组名name有20个元素
unsigned int user; //定义一个无符号的int类型的user
unsigned int nice; //定义一个无符号的int类型的nice
unsigned int system;//定义一个无符号的int类型的system
unsigned int idle; //定义一个无符号的int类型的idle
}CPU_OCCUPY;

typedef struct PACKED         //定义一个mem occupy的结构体
{
char name[20];      //定义一个char类型的数组名name有20个元素
unsigned long total;
char name2[20];
unsigned long free;                      
}MEM_OCCUPY;

get_memoccupy (MEM_OCCUPY *mem) //对无类型get函数含有一个形参结构体类弄的指针O
{
     FILE *fd;        
     int n;            
     char buff[256];  
     MEM_OCCUPY *m;
     m=mem;
                                                                                                              
     fd = fopen ("/proc/meminfo", "r");
      
     fgets (buff, sizeof(buff), fd);
     fgets (buff, sizeof(buff), fd);
     fgets (buff, sizeof(buff), fd);
     fgets (buff, sizeof(buff), fd);
     sscanf (buff, "%s %u %s", m->name, &m->total, m->name2);
    
     fgets (buff, sizeof(buff), fd); //从fd文件中读取长度为buff的字符串再存到起始地址为buff这个空间里
     sscanf (buff, "%s %u", m->name2, &m->free, m->name2);
    
     fclose(fd);     //关闭文件fd
}

int cal_cpuoccupy (CPU_OCCUPY *o, CPU_OCCUPY *n)
{  
     unsigned long od, nd;  
     unsigned long id, sd;
     int cpu_use = 0;  
    
     od = (unsigned long) (o->user + o->nice + o->system +o->idle);//第一次(用户+优先级+系统+空闲)的时间再赋给od
     nd = (unsigned long) (n->user + n->nice + n->system +n->idle);//第二次(用户+优先级+系统+空闲)的时间再赋给od
      
     id = (unsigned long) (n->user - o->user);    //用户第一次和第二次的时间之差再赋给id
     sd = (unsigned long) (n->system - o->system);//系统第一次和第二次的时间之差再赋给sd
     if((nd-od) != 0)
     cpu_use = (int)((sd+id)*10000)/(nd-od); //((用户+系统)乖100)除(第一次和第二次的时间差)再赋给g_cpu_used
     else cpu_use = 0;
     //printf("cpu: %u/n",cpu_use);
     return cpu_use;
}

get_cpuoccupy (CPU_OCCUPY *cpust) //对无类型get函数含有一个形参结构体类弄的指针O
{  
     FILE *fd;        
     int n;          
     char buff[256];
     CPU_OCCUPY *cpu_occupy;
     cpu_occupy=cpust;
                                                                                                              
     fd = fopen ("/proc/stat", "r");
     fgets (buff, sizeof(buff), fd);
    
     sscanf (buff, "%s %u %u %u %u", cpu_occupy->name, &cpu_occupy->user, &cpu_occupy->nice,&cpu_occupy->system, &cpu_occupy->idle);
    
     fclose(fd);    
}

int main()
{
     CPU_OCCUPY cpu_stat1;
     CPU_OCCUPY cpu_stat2;
     MEM_OCCUPY mem_stat;
     int cpu;
    
     //获取内存
     get_memoccupy ((MEM_OCCUPY *)&mem_stat);
    
     //第一次获取cpu使用情况
     get_cpuoccupy((CPU_OCCUPY *)&cpu_stat1);
     sleep(10);
    
     //第二次获取cpu使用情况
     get_cpuoccupy((CPU_OCCUPY *)&cpu_stat2);
    
     //计算cpu使用率
     cpu = cal_cpuoccupy ((CPU_OCCUPY *)&cpu_stat1, (CPU_OCCUPY *)&cpu_stat2);
    
     return 0;
}







我们在搞性能测试的时候，对后台服务器的CPU利用率监控是一个常用的手段。服务器的CPU利用率高，则表明服务器很繁忙。如果前台响应时间越来越大，而后台CPU利用率始终上不去，说明在某个地方有瓶颈了，系统需要调优。这个是即使不懂技术的人都容易理解的事情。

上面理解对吗？我个人觉得不十分准确。这个要看后台你测试的进程是什么类型的。如果是计算密集型的进程，当前端压力越来越大的时候，很容易把CPU 利用率打上去。但是如果是I/O网络密集型的进程，即使客户端的请求越来越多，但是服务器CPU不一定能上去，这个是你要测试的进程的自然属性决定的。比 较常见的就是，大文件频繁读写的cpu开销远小于小文件频繁读写的开销。因为在I/O吞吐量一定时，小文件的读写更加频繁，需要更多的cpu来处理I/O 的中断。

在Linux/Unix下，CPU利用率分为用户态 ，系统态 和空闲态 ，分别表示CPU处于用户态执行的时间，系统内核执行的时间，和空闲系统进程执行的时间。平时所说的CPU利用率是指：CPU执行非系统空闲进程的时间 / CPU总的执行时间 。

在Linux的内核中，有一个全局变量：Jiffies。 Jiffies代表时间。它的单位随硬件平台的不同而不同。系统里定义了一个常数HZ，代表每秒种最小时间间隔的数目。这样jiffies的单位就是 1/HZ。Intel平台jiffies的单位是1/100秒，这就是系统所能分辨的最小时间间隔了。每个CPU时间片，Jiffies都要加1。 CPU的利用率就是用执行用户态+系统态的Jiffies除以总的Jifffies来表示。

在Linux系统中，可以用/proc/stat文件来计算cpu的利用率(详细的解释可参考：http: //www.linuxhowtos.org/System/procstat.htm)。这个文件包含了所有CPU活动的信息，该文件中的所有值都是从 系统启动开始累计到当前时刻。

如：

1.[sailorhzr@builder ~]$ cat /proc/stat  
2.cpu  432661 13295   86656 422145968   171474 233   5346  
3.cpu 0 123075   2462 23494   105543694 16586   0 4615  
4.cpu 1 111917   4124 23858   105503820 69697   123 371  
5.cpu 2 103164   3554 21530   105521167 64032   106 334  
6.cpu 3 94504   3153 17772   105577285 21158   4 24  
7.intr  1065711094 1057275779   92 0   6 6   0 4   0 3527   0 0   0 70   0 20   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   7376958 0   0 0   0 0   0 0   1054602 0   0 0   0 0   0 0   30 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0   0 0
8.ctxt  19067887  
9.btime  1139187531  
10.processes  270014  
11.procs_running  1  
12.procs_blocked  0    
13.
输出解释
CPU 以及CPU0、CPU1、CPU2、CPU3每行的每个参数意思（以第一行为例）为：


参数

解释


user (432661)
nice (13295)
system (86656)
idle (422145968)
iowait (171474)
irq (233)
softirq (5346)


从系统启动开始累计到当前时刻，用户态的CPU时间（单位：jiffies） ，不包含 nice值为负进程。1jiffies=0.01秒
从系统启动开始累计到当前时刻，nice值为负的进程所占用的CPU时间（单位：jiffies）
从系统启动开始累计到当前时刻，核心时间（单位：jiffies）
从系统启动开始累计到当前时刻，除硬盘IO等待时间以外其它等待时间（单位：jiffies）
从系统启动开始累计到当前时刻，硬盘IO等待时间（单位：jiffies） ，
从系统启动开始累计到当前时刻，硬中断时间（单位：jiffies）
从系统启动开始累计到当前时刻，软中断时间（单位：jiffies）

CPU时间=user+system+nice+idle+iowait+irq+softirq
“intr”这行给出中断的信息，第一个为自系统启动以来，发生的所有的中断的次数；然后每个数对应一个特定的中断自系统启动以来所发生的次数。

“ctxt”给出了自系统启动以来CPU发生的上下文交换的次数。

“btime”给出了从系统启动到现在为止的时间，单位为秒。

“processes (total_forks) 自系统启动以来所创建的任务的个数目。

“procs_running”：当前运行队列的任务的数目。

“procs_blocked”：当前被阻塞的任务的数目。

那么CPU利用率可以使用以下两个方法。先取两个采样点，然后计算其差值：

1.cpu usage=(idle 2 -idle 1 )/(cpu 2 -cpu 1 )* 100  
2.cpu usage=[(user_ 2  +sys_ 2 +nice_ 2 ) - (user_ 1  + sys_ 1 +nice_ 1 )]/(total_ 2  - total_ 1 )* 100
3.
以下用分别用bash和perl做的一个cpu利用率的计算：

本人注:以下代码则采用公式为:

1.total_ 0 USER[ 0 ]+NICE[ 0 ]+SYSTEM[ 0 ]+IDLE[ 0 ]+IOWAIT[ 0 ]+IRQ[ 0 ]+SOFTIRQ[ 0 ]  
2.total_ 1 =USER[ 1 ]+NICE[ 1 ]+SYSTEM[ 1 ]+IDLE[ 1 ]+IOWAIT[ 1 ]+IRQ[ 1 ]+SOFTIRQ[ 1 ]
3.cpu usage=(IDLE[ 0 ]-IDLE[ 1 ]) / (total_ 0 -total_ 1 ) *  100  
4.
###bash 代码
1.CODE: #!/bin/sh  
2.
3.##echo user nice system idle iowait irq softirq  
4.CPULOG_1=$(cat /proc/stat | grep  'cpu '  | awk  '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}' )
5.SYS_IDLE_1=$(echo  $CPULOG_1  | awk  '{print $4}' )  
6.Total_1=$(echo  $CPULOG_1  | awk  '{print $1+$2+$3+$4+$5+$6+$7}' )  
7.
8.sleep 5  
9.
10.CPULOG_2=$(cat /proc/stat | grep  'cpu '  | awk  '{print $2" "$3" "$4" "$5" "$6" "$7" "$8}' )
11.SYS_IDLE_2=$(echo  $CPULOG_2  | awk  '{print $4}' )  
12.Total_2=$(echo  $CPULOG_2  | awk  '{print $1+$2+$3+$4+$5+$6+$7}' )  
13.
14.SYS_IDLE=`expr  $SYS_IDLE_2  -  $SYS_IDLE_1 `  
15.
16.Total=`expr  $Total_2  -  $Total_1 `  
17.SYS_USAGE=`expr  $SYS_IDLE / $Total *100 |bc -l`  
18.
19.SYS_Rate=`expr 100- $SYS_USAGE  |bc -l`  
20.
21.Disp_SYS_Rate=`expr  "scale=3; $SYS_Rate/1"  |bc`  
22.echo  $Disp_SYS_Rate %  
23.
24.  
###perl 代码
1.#!/usr/bin/perl  
2.
3.use warnings;  
4.
5.$SLEEPTIME =5;  
6.
7.if  (-e  "/tmp/stat" ) {  
8.unlink  "/tmp/stat" ;  
9.}  
10.open (JIFF_TMP,  ">>/tmp/stat" ) || die  "Can't open /proc/stat file!/n" ;  
11.open (JIFF,  "/proc/stat" ) || die  "Can't open /proc/stat file!/n" ;  
12.@jiff_0 =<JIFF>;  
13.print JIFF_TMP  $jiff_0 [0] ;  
14.close (JIFF);  
15.
16.sleep  $SLEEPTIME ;  
17.
18.open (JIFF,  "/proc/stat" ) || die  "Can't open /proc/stat file!/n" ;  
19.@jiff_1 =<JIFF>;  
20.print JIFF_TMP  $jiff_1 [0];  
21.close (JIFF);  
22.close (JIFF_TMP);  
23.
24.@USER =`awk  '{print /$2}'   "/tmp/stat" `;  
25.@NICE =`awk  '{print /$3}'   "/tmp/stat" `;  
26.@SYSTEM =`awk  '{print /$4}'   "/tmp/stat" `;  
27.@IDLE =`awk  '{print /$5}'   "/tmp/stat" `;  
28.@IOWAIT =`awk  '{print /$6}'   "/tmp/stat" `;  
29.@IRQ =`awk  '{print /$7}'   "/tmp/stat" `;  
30.@SOFTIRQ =`awk  '{print /$8}'   "/tmp/stat" `;  
31.
32.$JIFF_0 = $USER [0]+ $NICE [0]+ $SYSTEM [0]+ $IDLE [0]+ $I

Linux下网络流量监控netuse使用

Unix/LinuxC技术 jackxiang 2016-6-26 11:35
git clone https://github.com/dufferzafar/netuse /usr/local/netuse
cd /usr/local/netuse
cp config.py.example config.py
ln -s netuse.py /usr/bin/netuse

Crontab：



vi /usr/bin/netuse
#!/usr/bin/python3  
不存在python3怎么办？
ln -s /usr/bin/python /usr/bin/python3


vi /usr/local/netuse/dumper 把网卡修改成自己的网卡eth1：
# which registers itself as a ppp device.
echo $(cat /sys/class/net/ppp0/statistics/rx_bytes)";"$(date +%s) >> ~/.net/$year/$month/down/$date                                                          
echo $(cat /sys/class/net/ppp0/statistics/tx_bytes)";"$(date +%s) >> ~/.net/$year/$month/up/$date
修改为：

修改为：eth1


标准统计（主要看看vps一天多少流量）：
[root@iZ25z0ugwgtZ netuse]# netuse
Downloaded:        5 MB
Uploaded:          0 MB

Data Left:      10235 MB
Days Left:         3 Days
End Date:       2016-06-29 (11:59 PM)

Suggested:      3411 MB (Per Day)

一周一瞥（好像有点问题）：
[root@iZ25z0ugwgtZ netuse]# netuse -w
Data downloaded this week:

Traceback (most recent call last):
  File "/bin/netuse", line 277, in <module>
    weekly()
  File "/bin/netuse", line 186, in weekly
    format="{:>5.0f}",
  File "/usr/local/netuse/termgraph.py", line 56, in chart
    print_blocks(labels[i], data[i], step, args)
  File "/usr/local/netuse/termgraph.py", line 63, in print_blocks
    blocks = int(count / step)
ZeroDivisionError: integer division or modulo by zero
分页： 19/40 第一页 上页 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 下页 最后页 [ 显示模式： 摘要 | 列表 ]