怎样在Linux下从源代码安装SQLite3,在redhat安装gearman,在make的时候,报错,怎么解决的办法?
Unix/LinuxC技术 jackxiang 2014-12-26 16:37
SQLite3是一个极轻型的独立的无服务器的SQL数据库引擎。
你不需要做任何的配置来使其工作。所有你需要的就是安装它并开始使用它。
既然是无服务器的,它被用在很多你所使用的著名的软件中,甚至你可能并不知道那些软件正在使用它。看看下面的例子所有的大公司正在使用SQLiete.PUP编程语言内嵌了SQLite数据库于其中。
如果你从来没有使用过SQLite,按照下面的文章中所提到的步骤安装在Linux上,并且创建了一个例子数据库。
下载SQLite3源代码
去SQLite下载页面,并点击“sqlite-autoconf-3070603.tar.gz”(在源代码部分),并下载到你的系统中。或者使用wget直接从服务器下载就像下面。
安装 SQLite3
Uncompress the tar.gz file and install SQLite3 as shown below.
解压tar.gz文件并像下面所示安装
tar xvfz sqlite-autoconf-3080704.tar.gz
cd sqlite-autoconf-3080704
./configure
make
make install
make安装命令后会有以下的输出。
test -z "/usr/local/bin" || mkdir -p -- "/usr/local/bin"
./libtool --mode=install /usr/bin/install -c sqlite3 /usr/local/bin/sqlite3
/usr/bin/install -c .libs/sqlite3 /usr/local/bin/sqlite3
test -z "/usr/local/include" || mkdir -p -- "/usr/local/include"
/usr/bin/install -c -m 644 'sqlite3.h' '/usr/local/include/sqlite3.h'
/usr/bin/install -c -m 644 'sqlite3ext.h' '/usr/local/include/sqlite3ext.h'
test -z "/usr/local/share/man/man1" || mkdir -p -- "/usr/local/share/man/man1"
/usr/bin/install -c -m 644 './sqlite3.1' '/usr/local/share/man/man1/sqlite3.1'
test -z "/usr/local/lib/pkgconfig" || mkdir -p -- "/usr/local/lib/pkgconfig"
/usr/bin/install -c -m 644 'sqlite3.pc' '/usr/local/lib/pkgconfig/sqlite3.pc'
提示:如果你对mysql数据库有兴趣,你也可以安装在你的系统中。
摘自:http://blog.csdn.net/qianguozheng/article/details/6731928
在redhat安装gearman,在make的时候,报错,怎么解决的办法:
[root@test gearmand-1.1.12]# make
make -j9 all-am
make[1]: Entering directory `/home/xiangdong/software/gearmand-1.1.12'
CXX libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'bool gearmand::queue::Instance::_sqlite_prepare(const std::string&, sqlite3_stmt**)':
libgearman-server/plugins/queue/sqlite/instance.cc:125: error: 'sqlite3_prepare_v2' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'gearmand_error_t gearmand::queue::Instance::init()':
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_READWRITE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_CREATE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'sqlite3_open_v2' was not declared in this scope
make[1]: *** [libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo] Error 1
make[1]: Leaving directory `/home/xiangdong/software/gearmand-1.1.12'
make: *** [all] Error 2
删除了系统原带的sqlite3 ,到官网上下一个源码,重新编译安装sqlite3。
如:
把sqlite3安装到 /usr/local/sqlite3
tar zxf sqlite3.xxxx.tar.gz
cd sqlite.3.xxxx
./configura --prefix=/usr/local/sqlite3
make && make install
cd ..
最后在编译Gearman时带上 --with-sqlite3=/usr/local/sqlite3,告诉编译器应该使用这个新的sqlite即可。
实践如下:
来自:http://zhidao.baidu.com/question/531552126.html
你不需要做任何的配置来使其工作。所有你需要的就是安装它并开始使用它。
既然是无服务器的,它被用在很多你所使用的著名的软件中,甚至你可能并不知道那些软件正在使用它。看看下面的例子所有的大公司正在使用SQLiete.PUP编程语言内嵌了SQLite数据库于其中。
如果你从来没有使用过SQLite,按照下面的文章中所提到的步骤安装在Linux上,并且创建了一个例子数据库。
下载SQLite3源代码
去SQLite下载页面,并点击“sqlite-autoconf-3070603.tar.gz”(在源代码部分),并下载到你的系统中。或者使用wget直接从服务器下载就像下面。
安装 SQLite3
Uncompress the tar.gz file and install SQLite3 as shown below.
解压tar.gz文件并像下面所示安装
tar xvfz sqlite-autoconf-3080704.tar.gz
cd sqlite-autoconf-3080704
./configure
make
make install
make安装命令后会有以下的输出。
test -z "/usr/local/bin" || mkdir -p -- "/usr/local/bin"
./libtool --mode=install /usr/bin/install -c sqlite3 /usr/local/bin/sqlite3
/usr/bin/install -c .libs/sqlite3 /usr/local/bin/sqlite3
test -z "/usr/local/include" || mkdir -p -- "/usr/local/include"
/usr/bin/install -c -m 644 'sqlite3.h' '/usr/local/include/sqlite3.h'
/usr/bin/install -c -m 644 'sqlite3ext.h' '/usr/local/include/sqlite3ext.h'
test -z "/usr/local/share/man/man1" || mkdir -p -- "/usr/local/share/man/man1"
/usr/bin/install -c -m 644 './sqlite3.1' '/usr/local/share/man/man1/sqlite3.1'
test -z "/usr/local/lib/pkgconfig" || mkdir -p -- "/usr/local/lib/pkgconfig"
/usr/bin/install -c -m 644 'sqlite3.pc' '/usr/local/lib/pkgconfig/sqlite3.pc'
提示:如果你对mysql数据库有兴趣,你也可以安装在你的系统中。
摘自:http://blog.csdn.net/qianguozheng/article/details/6731928
在redhat安装gearman,在make的时候,报错,怎么解决的办法:
[root@test gearmand-1.1.12]# make
make -j9 all-am
make[1]: Entering directory `/home/xiangdong/software/gearmand-1.1.12'
CXX libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'bool gearmand::queue::Instance::_sqlite_prepare(const std::string&, sqlite3_stmt**)':
libgearman-server/plugins/queue/sqlite/instance.cc:125: error: 'sqlite3_prepare_v2' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'gearmand_error_t gearmand::queue::Instance::init()':
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_READWRITE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_CREATE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'sqlite3_open_v2' was not declared in this scope
make[1]: *** [libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo] Error 1
make[1]: Leaving directory `/home/xiangdong/software/gearmand-1.1.12'
make: *** [all] Error 2
删除了系统原带的sqlite3 ,到官网上下一个源码,重新编译安装sqlite3。
如:
把sqlite3安装到 /usr/local/sqlite3
tar zxf sqlite3.xxxx.tar.gz
cd sqlite.3.xxxx
./configura --prefix=/usr/local/sqlite3
make && make install
cd ..
最后在编译Gearman时带上 --with-sqlite3=/usr/local/sqlite3,告诉编译器应该使用这个新的sqlite即可。
实践如下:
来自:http://zhidao.baidu.com/question/531552126.html
[实践OK]linux平台上编译安装boost库
Unix/LinuxC技术 jackxiang 2014-12-26 13:56
背景:PHP的gearman需要这Lib库,才能编译得过,做一些多任务分发时需要gearman的PHP扩展。
Download: http://sourceforge.net/projects/boost/?source=typ_redirect
阅读全文
Download: http://sourceforge.net/projects/boost/?source=typ_redirect
阅读全文
背景:自己整个T60P的电脑一直想折腾到4G,各种折腾硬是没有折腾上得去。啥ReadyFor4GB 突破 32 位 Windows 7 Vista 内存 4G 限制,啥利用富裕RAM提高系统运行速度的两种途径——RAMDRIVE和SMARTDRV。都无效果,最后一查,还是硬件没有支持,啥软件方法都白扯,
前一段时间T60p里面有条1G的内存坏了,机器总蓝屏,于是买了一条2G的换上,本子有3G内存了,上周同事从美国又给我带来一条2G的,于是把另一条1G的也换下来了,就有了4G,可是Vista系统只认到3G,于是升级BIOS,换操作系统为2003,2008,强行启用PAE,都没用,只能认到3G,到网上搜索,各种说法不一。最后还是在联想官网找到了答案,T60p不支持4G内存,主板决定的,安装什么操作系统都没戏,痛苦啊。。。。。
Memory 256M,512MB,1GB or 2GB and supports up to 4GB maximum memory
Note:Only 64-bit operating systems support more than 3GB of system memory(RAM).Inter Chipsets 945GM and945PM do not support more than 3GB system memory(RAM),even when a 64-bit operatiing system is installed.
来自:http://simon.blog.51cto.com/80/83561/
②关于T60p能不能支持4G以上内存的问题
我谷歌到的大部分答案,都是简单的“可以”。
导致了内存价钱便宜时,伤害了那些8G/16G用户……
理论状态32位的CPU,寻址2的32次方=4,294,967,296=4,294,967K=4,294M=4G
因此,以T2700为首T2字头的32位CPU群,4G是极限!且系统里见到3.5之类也是正常的。
而T7字头为64位的CPU,4G以上(128G以下)自然就木问题了!
当然,操作系统也的用64位的,否则还是那个“32位限制”的根本问题。
UPDATE: 多谢手握真相的网友,官方答复因945PM无法支持Memory Remapping!
因此T60p 硬件可以上4G,但实际最多只能用3G!
摘自:http://blog.sina.com.cn/s/blog_5921fa08010170yq.html
T60p安装SSD后出现windows7 卡(死)现象,与AHCI关系不大!
(后面会详述解决方案):
http://blog.sina.com.cn/s/blog_5921fa08010170yq.html
终于忍不住将t60p的风扇换成T500的风扇了:
http://www.nb591.com/thread-102982-1-1.html
http://www.wendangdaquan.com/Wdshow.asp?id=879ee2294b73f242336c5fe0
购买地址:https://item.taobao.com/item.htm?spm=a1z10.3-c.w4002-3869566946.40.1UnP1i&id=8524574266
安装地址:http://www.docin.com/p-394979668.html
前一段时间T60p里面有条1G的内存坏了,机器总蓝屏,于是买了一条2G的换上,本子有3G内存了,上周同事从美国又给我带来一条2G的,于是把另一条1G的也换下来了,就有了4G,可是Vista系统只认到3G,于是升级BIOS,换操作系统为2003,2008,强行启用PAE,都没用,只能认到3G,到网上搜索,各种说法不一。最后还是在联想官网找到了答案,T60p不支持4G内存,主板决定的,安装什么操作系统都没戏,痛苦啊。。。。。
Memory 256M,512MB,1GB or 2GB and supports up to 4GB maximum memory
Note:Only 64-bit operating systems support more than 3GB of system memory(RAM).Inter Chipsets 945GM and945PM do not support more than 3GB system memory(RAM),even when a 64-bit operatiing system is installed.
来自:http://simon.blog.51cto.com/80/83561/
②关于T60p能不能支持4G以上内存的问题
我谷歌到的大部分答案,都是简单的“可以”。
导致了内存价钱便宜时,伤害了那些8G/16G用户……
理论状态32位的CPU,寻址2的32次方=4,294,967,296=4,294,967K=4,294M=4G
因此,以T2700为首T2字头的32位CPU群,4G是极限!且系统里见到3.5之类也是正常的。
而T7字头为64位的CPU,4G以上(128G以下)自然就木问题了!
当然,操作系统也的用64位的,否则还是那个“32位限制”的根本问题。
UPDATE: 多谢手握真相的网友,官方答复因945PM无法支持Memory Remapping!
因此T60p 硬件可以上4G,但实际最多只能用3G!
摘自:http://blog.sina.com.cn/s/blog_5921fa08010170yq.html
T60p安装SSD后出现windows7 卡(死)现象,与AHCI关系不大!
(后面会详述解决方案):
http://blog.sina.com.cn/s/blog_5921fa08010170yq.html
终于忍不住将t60p的风扇换成T500的风扇了:
http://www.nb591.com/thread-102982-1-1.html
http://www.wendangdaquan.com/Wdshow.asp?id=879ee2294b73f242336c5fe0
购买地址:https://item.taobao.com/item.htm?spm=a1z10.3-c.w4002-3869566946.40.1UnP1i&id=8524574266
安装地址:http://www.docin.com/p-394979668.html
一个关于i++和++i的问题。
Php/Js/Shell/Go jackxiang 2014-12-19 16:10
背景:i++还是++i这个问题,我为什么记下了,又忘记了,我觉得这是一个哲学问题。
这是一个医学问题,这是一个物理问题:
Firefox下,打开一个空白页面,按下:Shift+F4,调出Js调试工具:
先后是:
1
2
2
2
原因如下:
a= i++;
则相当于 a=i;i=i+1; //alert i++ 时:相当于a=i,还是原值1。后面再alerti时相当于i=i+1了等于2.
a=++i;
则相当于 i=i+1;a=i;// alert ++i 时,相当于前面的i=i+1,所以就等于2了,而接着再alert i 时还是2.
________________________________________________________
都是i=i+1的意思,区别在于i++是i先不自加,在语句完后自加,++i先自加;
列如a=1+i++;i本来为1的话,这里a=1+1;语句完后i才加1为2;
a=1+++i的话就先i=i+1;i=2.然后a=i+1,a=3
直接使用看不出区别,都是变量i加1
在赋值时才能进行区别,
如:
y=i++ // y的值为i (先引用,后运算)
y=++i // y的值为i+1的结果 (先运算,后引用)
++i是在使用i之前先使i的值加1
i++是在使用i之后,使i的值加1
这是一个医学问题,这是一个物理问题:
Firefox下,打开一个空白页面,按下:Shift+F4,调出Js调试工具:
先后是:
1
2
2
2
原因如下:
a= i++;
则相当于 a=i;i=i+1; //alert i++ 时:相当于a=i,还是原值1。后面再alerti时相当于i=i+1了等于2.
a=++i;
则相当于 i=i+1;a=i;// alert ++i 时,相当于前面的i=i+1,所以就等于2了,而接着再alert i 时还是2.
________________________________________________________
都是i=i+1的意思,区别在于i++是i先不自加,在语句完后自加,++i先自加;
列如a=1+i++;i本来为1的话,这里a=1+1;语句完后i才加1为2;
a=1+++i的话就先i=i+1;i=2.然后a=i+1,a=3
直接使用看不出区别,都是变量i加1
在赋值时才能进行区别,
如:
y=i++ // y的值为i (先引用,后运算)
y=++i // y的值为i+1的结果 (先运算,后引用)
++i是在使用i之前先使i的值加1
i++是在使用i之后,使i的值加1
[实践OK]CentOS的Gearman安装与使用无错版,包含PHP的gearmand扩展,包括安装Gearmand及其PHP扩展,及简单task/worker,相当不容易。
Php/Js/Shell/Go jackxiang 2014-12-18 15:22
背景:用PHP做一些简单的上传是没有任何的问题,但是要做断点上传好像也是没有大问题,但要是并发的切片加断点上传可能就会有问题了哟。
第一个问题是合并问题:如果一上传就合并,PHP老半天不返回是一个方面(是PHP超时还是Nginx超时?),这样势必会造成客户端因没返回,没法再启动新的上传进程,如果用php的追加写文件内存太大还会退出的可能,用上gearmand后出现异步同时写,可能加快了传输效率的同时IO可能会比较密集(假如同一时间并发上传的人多的情况。)。
第二个问题是先后问题:如果并发时出现了传一半时最后一片先上传上来了怎么办?如果直接追加进文件是会不按顺序出错的,如果放在那儿不管,那啥时候管,这也是一个问题。
第三个问题是锁的问题:并发时如果同时两片到了,像PHP这种如何去结合锁的功能呢?据我所知有memcache的add函数是原子操作,可以利用,那就设计到锁多久,是不是又回到第一个问题,返回时间得浪费多长时间呢。
基于上面三点,看来PHP做这活不是太靠谱,于是引出了gearman这个模型,相当于异步处理,再集合PHP的memcache锁(memcache放内存,可能得用ttserver才行,协议一样的。),PHP上传逻辑处理,Nginx上传插件,才有可能做一个较为靠谱且稳定的分片,断点加多进程(多线程)上传服务搭建。
一、从源码安装gearmand遇到的各种外部代码版本及yum版本太低的导致各种编译不过的问题,历程相当的麻烦,特别是boost和这个libevent默认的yum install非常低,都给编译了,把rpm所强制删除了,最后才成功,再就是g++编译版本,得export后才能编译,否则一堆问题,都在下面有描写。
出现第一个问题及处理办法:
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'bool gearmand::queue::Instance::_sqlite_prepare(const std::string&, sqlite3_stmt**)':
libgearman-server/plugins/queue/sqlite/instance.cc:125: error: 'sqlite3_prepare_v2' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'gearmand_error_t gearmand::queue::Instance::init()':
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_READWRITE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_CREATE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'sqlite3_open_v2' was not declared in this scope
make[1]: *** [libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo] Error 1
将队列存放在sqlite3或postgresql。这货是用的sqlite存队列啊:
yum search sqlite
yum install sqlite.x86_64 sqlite-devel.x86_64
还是不行,参考:
安装:https://jackxiang.com/post/7709/ 后,
最后在编译Gearman时带上 --with-sqlite3=/usr/local/sqlite3,告诉编译器应该使用这个新的sqlite即可。
出现第二个问题及处理办法:
./libgearman-1.0/gearman.h:53:23: error: cinttypes: No such file or directory
命令:
yum install gcc44 gcc44-c++ libstdc++44-devel -y
然后在环境变量里加入:
export CC=/usr/bin/gcc44 or export CC=/usr/bin/gcc
export CXX=/usr/bin/g++44
保存退出后执行:
source /etc/profile
删除gearmand-0.34文件夹重新进行编译.
重新进行编译后执行make这步......
看来还得重新export一次新的编译器,因为昨天的关了终端,今天的又没了:
export CC=/usr/bin/gcc44 or export CC=/usr/bin/gcc //这行有问题~
export CXX=/usr/bin/g++44
g++ -o testmemcached testmemcached.cpp -lmemcached
为何还是不行?
echo $CC
/usr/bin/gcc //没变,这儿有问题,再重新设置一次,查到上面这个or有问题:export CC=/usr/bin/gcc44。
# echo $CXX
/usr/bin/g++44 //变了
重新设置,好了:
export CC=/usr/bin/gcc44
/usr/bin/gcc44
在后面有详细的说明,可以不source直接设置环境变量,因为编译后也不一定要这个版本的gcc的。
出现第三个问题的处理办法:
ibgearman-server/plugins/queue/mysql/queue.cc:430: error: 'mysql_error' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc: In function 'gearmand_error_t _mysql_queue_replay(gearman_server_st*, void*, gearmand_error_t (*)(gearman_server_st*, void*, const char*, size_t, const char*, size_t, const void*, size_t, gearman_job_priority_t, int64_t), void*)':
libgearman-server/plugins/queue/mysql/queue.cc:446: error: 'MYSQL_RES' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc:446: error: 'result' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc:447: error: 'MYSQL_ROW' was not declared in this scope
[root@test gearmand-1.1.12]# ./configure --help|grep mysql
--with-mysql=[ARG] use MySQL client library [default=yes], optionally
specify path to mysql_config
Full path to mysql_config program
看样子是想用mysql做队列queue的:
加上还是报错,去了得了,不用mysql做队列,有sqlite足够了,
--without-mysql就好了,来自:
https://bugs.launchpad.net/gearmand/+bug/1327038 说的:
出现第四个问题的解决办法:
/home/xiangdong/software/gearmand-1.1.12/bin/gearadmin.cc:129: undefined reference to `boost::program_options::options_description::m_default_line_length'
/home/xiangdong/software/gearmand-1.1.12/bin/gearadmin.cc:129: undefined reference to `boost::program_options::options_description::options_description(std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, unsigned int, unsigned int)'
bin/gearadmin.o: In function `boost::program_options::basic_command_line_parser<char>::run()':
/usr/local/include/boost/program_options/detail/parsers.hpp:107: undefined reference to `boost::program_options::detail::cmdline::get_canonical_option_prefix()'
bin/gearadmin.o: In function `boost::program_options::basic_command_line_parser<char>::extra_parser(boost::function1<std::pair<std::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&>)':
/usr/local/include/boost/program_options/detail/parsers.hpp:77: undefined reference to `boost::program_options::detail::cmdline::set_additional_parser(boost::function1<std::pair<std::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&>)'
collect2: ld returned 1 exit status
make[1]: *** [bin/gearadmin] Error 1
make[1]: Leaving directory `/home/xiangdong/software/gearmand-1.1.12'
[root@test gearmand-1.1.12]# ./configure --help|grep boost
--with-boost[=ARG] use Boost library from a standard location
--with-boost-libdir=LIB_DIR
Force given directory for boost libraries. Note that
fails and you know exactly where your boost
--with-boost-program-options[=special-lib]
use the program options library from boost - it is
--with-boost-program-options=boost_program_options-gcc-mt-1_33_1
指定boost的库:
从这儿得知在这儿呢: http://jackxiang.com/post/7706/
系统默认会将include拷贝到/usr/local/include/boost/中
将lib拷贝到/usr/local/lib下
yum install boost-devel [实践失败]
回头了解下boost的结构,rpm包是啥样的,如下所示,版本号1.33,有可能是因为lddconfig里默认配置指向这个旧版本了,如下:
vi /etc/ld.so.conf
[root@test ~]# rpm -ql boost-1.33.1-16.el5_9
/usr/lib64/*.so.* //各种so文件
/usr/lib/*.so.* //各种so文件
rpm -ql boost-devel-1.33.1-16.el5_9
/usr/include/boost 里面是各种分类目录,里面是hpp头文件
algorithm/
archive/
assign/
bind/
compatibility
config/
devel包里还有静态a文件及动态so文件:
/usr/lib/libboost_test_exec_monitor.a
/usr/lib/libboost_test_exec_monitor.so
如下实践试试:
cd /home/xiangdong/software/boost_1_57_0
./bootstrap.sh --prefix=/usr/local/boost-1.57
vi tools/build/v2/user-config.jam
文件尾部增加(没找到,直接./b2 ./b2 install 即可!):
using mpi
./b2
./b2 install
Boost headers version >= 1.39.0
[root@localdomain gearmand-1.1.12]# yum search boost
[root@localdomain gearmand-1.1.12]# yum install boost.x86_64
[root@localdomain gearmand-1.1.12]# yum install yum install boost-devel.x86_64
旧的yum源,直接干死,用源码装个试试:
出现第五个问题的解决办法:
/home/xiangdong/software/gearmand-1.1.12/libgearman-server/gearmand_con.cc:677: undefined reference to `event_initialized'
collect2: ld returned 1 exit status
libevent版本太老了,更新新的版本:
安装最新版本的libevent,并执行以下操作:(备份老版本的/usr/lib64/libevent.so)
ln -s /usr/lib64/libevent-2.0.so.5 /usr/lib64/libevent.so
删除老旧的libevent的rpm包后,安装最新的方法实践如下:
[root@test software]# cp /usr/lib64/libevent.so /usr/lib64/libevent.so.bak.old
[root@test libevent-2.0.21-stable]# tar -zxvf libevent-2.0.21-stable.tar.gz
[root@test libevent-2.0.21-stable]# cd libevent-2.0.21-stable
[root@test libevent-2.0.21-stable]# ./configure --prefix=/usr/local/libevent-2.0.21-stable
ls -al /usr/lib | grep libevent
rpm -qa|grep libevent
libevent-1.4.13-1
libevent-devel-1.4.13-1
libevent-devel-1.4.13-1
libevent-1.4.13-1
rpm -e --allmatches --nodeps libevent-1.4.13-1 libevent-devel-1.4.13-1
[root@test libevent-2.0.21-stable]# rpm -e --allmatches --nodeps libevent-1.4.13-1 libevent-devel-1.4.13-1
[root@test libevent-2.0.21-stable]#
卸载后看还有没:
[root@test libevent-2.0.21-stable]# ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 31 Dec 30 17:17 libevent-1.1a.so.1 -> /usr/lib/libevent-1.1a.so.1.0.2
-rw-r--r-- 1 root root 31596 Jan 7 2007 libevent-1.1a.so.1.0.2
rm -Rf /usr/lib/libevent-1.1a.so.1.0.2 /usr/lib/libevent-1.1a.so.1 //删除干净
[root@test libevent-2.0.21-stable]# rm -Rf /usr/lib/libevent-1.1a.so.1.0.2 /usr/lib/libevent-1.1a.so.1
[root@test libevent-2.0.21-stable]#
cd /home/xiangdong/software/libevent-2.0.21-stable //最新安装包
./configure --prefix=/usr //libevent会安装到 /usr/lib 或 /usr/local/lib 下
#./configure --prefix=/usr/local/libevent-2.0.21-stable
[root@test libevent-2.0.21-stable]# ./configure --prefix=/usr && make && make install
测试libevent是否安装成功:ls -al /usr/lib | grep libevent(或 ls -al /usr/local/lib | grep libevent)
ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 21 Dec 31 09:44 libevent-2.0.so.5 -> libevent-2.0.so.5.1.9
-rwxr-xr-x 1 root root 1065819 Dec 31 09:44 libevent-2.0.so.5.1.9
-rw-r--r-- 1 root root 1678970 Dec 31 09:44 libevent.a
lrwxrwxrwx 1 root root 26 Dec 31 09:44 libevent_core-2.0.so.5 -> libevent_core-2.0.so.5.1.9
如果libevent的安装目录为/usr/local/lib下,则还需要建立 libevent-1.4.so.2 到 /usr/lib 的软连接,这样其他程序运行时才能找到libevent库:ln -s /usr/local/lib/libevent-1.4.so.2 /usr/lib/libevent-1.4.so.2
ls /usr/lib/libevent-2.0.so.5
/usr/lib/libevent-2.0.so.5
干掉旧的libevent的残留的动态so文件:
ls -al /usr/lib64 | grep libevent
lrwxrwxrwx 1 root root 19 Dec 31 09:40 libevent-1.4.so.2 -> libevent.so.bak.old
-rwxr-xr-x 1 root root 104296 Dec 31 09:22 libevent.so.bak.old
[root@test libevent-2.0.21-stable]# rm -Rf /usr/lib64/libevent-1.4.so.2
参考来自:http://blog.sina.com.cn/s/blog_4b93170a0100mbm9.html
编译成功结果如下:
启动gearmand的方法:
[root@test gearmand-1.1.12]# whereis gearmand
gearmand: /usr/local/sbin/gearmand
[root@test ~]# mkdir -p /usr/local/gearman/log
ls /usr/local/sqlite3/bin/
sqlite3
*特别提醒,(mysql性能上可能在做队列上并不比sqlite强到哪儿去)
使用sqlite更加简单方便 :
/usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite/bin/gearman --libsqlite3-table gearman_queue -d
很遗憾,我到现在也没能编译出对MySQL的持久化
[root@test ~]# /usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite/bin/gearman --libsqlite3-table gearman_queue -d
/usr/local/sbin/gearmand: Error while initializing the queue : libsqlite3
原来是sqlite的位置不对,修改路径后就OK了:
启动成功:
[root@test sqlite3]# /usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite3/bin/gearman --libsqlite3-table gearman_queue -d
[root@test sqlite3]#
端口存在了,说明是真的启动成功了:
[root@test sqlite3]# netstat -atlunp|grep 4830
tcp 0 0 0.0.0.0:4830 0.0.0.0:* LISTEN 17820/gearmand
tcp 0 0 :::4830 :::* LISTEN 17820/gearmand
也就是说gearmand启动时候自己建立一个sqlite的表,如下:
[root@test sqlite3]# cat /usr/local/sqlite3/bin/gearman
SQLite format 3@ ''blegearman_queuegearman_queueCREATE TABLE gearman_queue ( unique_key TEXT, function_name TEXT, priority INTEGER, data BLOB, when_to_run INTEGER, PRIMARY KEY (unique_key, function_name))9M'indexsqlite_autoindex_gearman_queue_1gearman_queue
经过一陈折腾,说明这个gearmand对boost库的要求高,对libevent的版本也要求高,不是能经过yum install能解决得了的,得自己安装后指定,再就是对编译器的版本也是有要求的,也就是说相对来说其安装比较苛刻一些,如Lamp架构相比较的话,难度要高一些。
——————————————————————————————————————————————————————————————
总之,一大堆问题,这货居然还这么流行听说Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资 源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。,看来广大分发系统还真得靠它啊,其它各种小问题不断,参考:
http://www.111cn.net/sys/CentOS/65334.htm
二、PHP的gearmand扩展编译及遇到问题解决实践如下:
PHP的gearmand折腾扩展,这块试了好几个版本的扩展要么configure不过去,要么是lib里却啥,但最后还是以当前最新的版本gearman-1.1.2.tgz给解决了:
./configure --with-php-config=/usr/local/php/bin/php-config
出现如下所示的配置错误:
configure: WARNING: You will need re2c 0.13.4 or later if you want to regenerate PHP parsers.
checking for gawk... gawk
checking whether to enable gearman support... yes, shared
found in /usr/local
checking for gearman_create in -lgearman... no
configure: error: wrong libgearman version or lib not found
问题一:
gearman的PHP扩展时出现configure: WARNING: You will need re2c 0.13.4 or later if you want to regenerate PHP parsers.警告信息。
警告信息说明需要安装 re2c
执行下面命令安装:
wget http://sourceforge.net/projects/re2c/files/re2c/0.13.5/re2c-0.13.5.tar.gz/download
2014-12-31 11:01:59 (999 KB/s) - `re2c-0.13.5.tar.gz' saved [782725/782725]
tar -zxvf re2c-0.13.5.tar.gz
cd re2c-0.13.5
./configure && make && make install //安装成功,警告得到了解决,第二个依旧存在。
它的意思是好像没有找到lib,不对是找到了没有找到里面的某个叫gearman_create的函数,这个就奇怪了,找下:
[root@test /]# find . -name "*gearman*.so*"
./usr/local/lib/libgearman.so.8.0.0
./usr/local/lib/libgearman.so
./usr/local/lib/libgearman.so.8
[root@test /]# vi /etc/ld.so.conf
include ld.so.conf.d/*.conf
/lib
/lib64
/usr/lib
/usr/lib64
/usr/local/lib
/usr/local/lib
有这个位置的啊。
[root@test /]# ldconfig //重新lib的位置载入。
[root@test gearman-0.4.0]# phpize
Configuring for:
PHP Api Version: 20090626
Zend Module Api No: 20090626
Zend Extension Api No: 220090626
[root@test gearman-0.4.0]# ./configure --with-php-config=/usr/local/php/bin/php-config
问题依旧,去官网看一下呗,http://gearman.org/download/:
文字摘录:PHP
There are two PHP client/worker libraries, one which is a pure PHP extension and one which wraps the libgearman C library.
Gearman Extension
A PHP extension that wraps the libgearman C library.
Gearman PHP Extension (1.0.2) (Source)
官方的PHP扩展高V1.0.2,我这个是gearman-0.4.0太旧了,好像还有更高的gearman-1.1.2.tgz,http://pecl.php.net/package/gearman,放上官网这个上去重新试下了:
tar -zxvf gearman-1.0.2.tgz
cd gearman-1.0.2
[root@test gearman-1.0.2]# phpize
./configure --with-php-config=/usr/local/php/bin/php-config //这个没有问题
[root@test gearman-1.0.2]# make && make install
/home/xiangdong/software/gearman-1.0.2/php_gearman.c: In function ‘zm_startup_gearman’:
/home/xiangdong/software/gearman-1.0.2/php_gearman.c:4638: error: ‘GEARMAN_MAGIC_TEXT’ undeclared (first use in this function)
/home/xiangdong/software/gearman-1.0.2/php_gearman.c:4638: error: (Each undeclared identifier is reported only once
还是差啥么子玩意,换个更新的看下,gearman-1.1.2.tgz 实践OK了,如下:
Libraries have been installed in:
/home/xiangdong/software/gearman-1.1.2/modules
If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,--rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'
See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------
Build complete.
Don't forget to run 'make test'.
[root@test gearman-1.1.2]# make install
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/
真在的:
ls /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/gearman.so
/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/gearman.so
在php.ini里加上这个扩展就成了。Successful....EOF
[root@test gearman-1.1.2]# php -v
PHP 5.3.10 (cli) (built: Feb 3 2012 14:04:56)
Copyright (c) 1997-2012 The PHP Group
Zend Engine v2.3.0, Copyright (c) 1998-2012 Zend Technologies
with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator
[root@test gearman-1.1.2]# vi /usr/local/php/etc/php.ini
extension = "gearman.so"
[root@test gearman-1.1.2]# php -m|grep gearman
gearman
三、代码编写task的分发及client的及简单代码实践OK及其情况实践Ok:
cd /usr/local/gearman/
[root@test gearman]# mkdir codesTest
[root@test gearman]# cd codesTest/
[root@test codesTest]# vi myworker.php
以守护进程方式启动worker:
# nohup php myworker.php >/dev/null 2>&1 &
[root@test codesTest]# nohup php myworker.php >/dev/null 2>&1 &
[1] 31238
一个发送任务处理请求的client:
vi myclient.php
[root@test codesTest]# vi myclient.php
运行myclient.php:
[root@test codesTest]# php myclient.php "Jose"
hello, Jose
H:test.local:2
一个发出并行处理任务请求的例子tasksclient:
[root@test codesTest]# vi tasksclient.php
运行tasksclient:
[root@test codesTest]# php tasksclient.php
Completed task:: id :2 , handled result:hello, John
Completed task:: id :1 , handled result:hello, Jose
查看worker及队列情况:
(echo "workers"; sleep 0.1) | nc 192.168.109.8 4830
[root@test codesTest]# (echo "workers"; sleep 0.1) | nc 192.168.109.8 4830
34 192.168.109.8 - : sayhello logMsg
35 192.168.109.8 - :
.
查看当前队列情况(显示格式FUNCTION\tTOTAL\tRUNNING\tAVAILABLE_WORKERS):
(echo "status"; sleep 0.1) | nc 192.168.109.8 4830
[root@test codesTest]# (echo "status"; sleep 0.1) | nc 192.168.109.8 4830
sayhello 0 0 1
logMsg 0 0 1
.
监控php的守护进程(没实践), 可以开多个,并同时监控:
关于Worker守护进程的启动和监控
上面例子中直接启动worker脚本作为守护进程,无法监控到worker进程是否存活.
使用Unix进程监控supervisord则可轻松解决这个问题.
将如下配置添加到supervisord的配置中,即可实现由supervisord来启动和监控myworker.
编辑配置文件 vi /etc/supervisord.conf
[program:myworker]
command=/usr/local/php5415/bin/php myworker.php
process_name=%(program_name)s_%(process_num)02d
;修改numprocs即可同时开启多个worker进程
numprocs=1
directory=/usr/local/gearman/codesTest
autostart=true
autorestart=true
user=gearmand
stopsignal=KILL
Posted in Daemon / Worker, Gearman.
Tagged gearman.
监控这块看:
http://jingyan.baidu.com/article/375c8e198d1b1425f2a2290c.html
上面这块的PHP扩展代码及实践来自:
http://www.51itstudy.com/30114.html
http://codego.net/384693/
_________下面是摘录别的文章不一定自己配置时可完全过得过,得按自己环境作配置安装,只是用作参考!_______
Gearman的目的在于用PHP扩展分发,于是PHP扩展如何安装:
tar zxvf gearman-1.1.1.tgz
cd gearman-1.1.1
/opt/local/php/bin/phpize
./configure --with-php-config=/opt/local/php/bin/php-config --with-gearman
make
make install
编辑 php.ini
vi php.ini
增加
extension = "gearman.so"
重启php
启动gearmand 服务
gearmand -L 10.6.0.6 -p 4730 -u root -l /var/log/gearmand.log -d
其他参数请 gearmand --help
摘自:http://jicki.blog.51cto.com/1323993/1177487
阅读全文
第一个问题是合并问题:如果一上传就合并,PHP老半天不返回是一个方面(是PHP超时还是Nginx超时?),这样势必会造成客户端因没返回,没法再启动新的上传进程,如果用php的追加写文件内存太大还会退出的可能,用上gearmand后出现异步同时写,可能加快了传输效率的同时IO可能会比较密集(假如同一时间并发上传的人多的情况。)。
第二个问题是先后问题:如果并发时出现了传一半时最后一片先上传上来了怎么办?如果直接追加进文件是会不按顺序出错的,如果放在那儿不管,那啥时候管,这也是一个问题。
第三个问题是锁的问题:并发时如果同时两片到了,像PHP这种如何去结合锁的功能呢?据我所知有memcache的add函数是原子操作,可以利用,那就设计到锁多久,是不是又回到第一个问题,返回时间得浪费多长时间呢。
基于上面三点,看来PHP做这活不是太靠谱,于是引出了gearman这个模型,相当于异步处理,再集合PHP的memcache锁(memcache放内存,可能得用ttserver才行,协议一样的。),PHP上传逻辑处理,Nginx上传插件,才有可能做一个较为靠谱且稳定的分片,断点加多进程(多线程)上传服务搭建。
一、从源码安装gearmand遇到的各种外部代码版本及yum版本太低的导致各种编译不过的问题,历程相当的麻烦,特别是boost和这个libevent默认的yum install非常低,都给编译了,把rpm所强制删除了,最后才成功,再就是g++编译版本,得export后才能编译,否则一堆问题,都在下面有描写。
出现第一个问题及处理办法:
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'bool gearmand::queue::Instance::_sqlite_prepare(const std::string&, sqlite3_stmt**)':
libgearman-server/plugins/queue/sqlite/instance.cc:125: error: 'sqlite3_prepare_v2' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc: In member function 'gearmand_error_t gearmand::queue::Instance::init()':
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_READWRITE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'SQLITE_OPEN_CREATE' was not declared in this scope
libgearman-server/plugins/queue/sqlite/instance.cc:224: error: 'sqlite3_open_v2' was not declared in this scope
make[1]: *** [libgearman-server/plugins/queue/sqlite/libgearman_server_libgearman_server_la-instance.lo] Error 1
将队列存放在sqlite3或postgresql。这货是用的sqlite存队列啊:
yum search sqlite
yum install sqlite.x86_64 sqlite-devel.x86_64
还是不行,参考:
安装:https://jackxiang.com/post/7709/ 后,
最后在编译Gearman时带上 --with-sqlite3=/usr/local/sqlite3,告诉编译器应该使用这个新的sqlite即可。
出现第二个问题及处理办法:
./libgearman-1.0/gearman.h:53:23: error: cinttypes: No such file or directory
命令:
yum install gcc44 gcc44-c++ libstdc++44-devel -y
然后在环境变量里加入:
export CC=/usr/bin/gcc44 or export CC=/usr/bin/gcc
export CXX=/usr/bin/g++44
保存退出后执行:
source /etc/profile
删除gearmand-0.34文件夹重新进行编译.
重新进行编译后执行make这步......
看来还得重新export一次新的编译器,因为昨天的关了终端,今天的又没了:
export CC=/usr/bin/gcc44 or export CC=/usr/bin/gcc //这行有问题~
export CXX=/usr/bin/g++44
g++ -o testmemcached testmemcached.cpp -lmemcached
为何还是不行?
echo $CC
/usr/bin/gcc //没变,这儿有问题,再重新设置一次,查到上面这个or有问题:export CC=/usr/bin/gcc44。
# echo $CXX
/usr/bin/g++44 //变了
重新设置,好了:
export CC=/usr/bin/gcc44
/usr/bin/gcc44
在后面有详细的说明,可以不source直接设置环境变量,因为编译后也不一定要这个版本的gcc的。
出现第三个问题的处理办法:
ibgearman-server/plugins/queue/mysql/queue.cc:430: error: 'mysql_error' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc: In function 'gearmand_error_t _mysql_queue_replay(gearman_server_st*, void*, gearmand_error_t (*)(gearman_server_st*, void*, const char*, size_t, const char*, size_t, const void*, size_t, gearman_job_priority_t, int64_t), void*)':
libgearman-server/plugins/queue/mysql/queue.cc:446: error: 'MYSQL_RES' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc:446: error: 'result' was not declared in this scope
libgearman-server/plugins/queue/mysql/queue.cc:447: error: 'MYSQL_ROW' was not declared in this scope
[root@test gearmand-1.1.12]# ./configure --help|grep mysql
--with-mysql=[ARG] use MySQL client library [default=yes], optionally
specify path to mysql_config
Full path to mysql_config program
看样子是想用mysql做队列queue的:
加上还是报错,去了得了,不用mysql做队列,有sqlite足够了,
--without-mysql就好了,来自:
https://bugs.launchpad.net/gearmand/+bug/1327038 说的:
出现第四个问题的解决办法:
/home/xiangdong/software/gearmand-1.1.12/bin/gearadmin.cc:129: undefined reference to `boost::program_options::options_description::m_default_line_length'
/home/xiangdong/software/gearmand-1.1.12/bin/gearadmin.cc:129: undefined reference to `boost::program_options::options_description::options_description(std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&, unsigned int, unsigned int)'
bin/gearadmin.o: In function `boost::program_options::basic_command_line_parser<char>::run()':
/usr/local/include/boost/program_options/detail/parsers.hpp:107: undefined reference to `boost::program_options::detail::cmdline::get_canonical_option_prefix()'
bin/gearadmin.o: In function `boost::program_options::basic_command_line_parser<char>::extra_parser(boost::function1<std::pair<std::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&>)':
/usr/local/include/boost/program_options/detail/parsers.hpp:77: undefined reference to `boost::program_options::detail::cmdline::set_additional_parser(boost::function1<std::pair<std::basic_string<char, std::char_traits<char>, std::allocator<char> >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > >, std::basic_string<char, std::char_traits<char>, std::allocator<char> > const&>)'
collect2: ld returned 1 exit status
make[1]: *** [bin/gearadmin] Error 1
make[1]: Leaving directory `/home/xiangdong/software/gearmand-1.1.12'
[root@test gearmand-1.1.12]# ./configure --help|grep boost
--with-boost[=ARG] use Boost library from a standard location
--with-boost-libdir=LIB_DIR
Force given directory for boost libraries. Note that
fails and you know exactly where your boost
--with-boost-program-options[=special-lib]
use the program options library from boost - it is
--with-boost-program-options=boost_program_options-gcc-mt-1_33_1
指定boost的库:
从这儿得知在这儿呢: http://jackxiang.com/post/7706/
系统默认会将include拷贝到/usr/local/include/boost/中
将lib拷贝到/usr/local/lib下
yum install boost-devel [实践失败]
回头了解下boost的结构,rpm包是啥样的,如下所示,版本号1.33,有可能是因为lddconfig里默认配置指向这个旧版本了,如下:
vi /etc/ld.so.conf
[root@test ~]# rpm -ql boost-1.33.1-16.el5_9
/usr/lib64/*.so.* //各种so文件
/usr/lib/*.so.* //各种so文件
rpm -ql boost-devel-1.33.1-16.el5_9
/usr/include/boost 里面是各种分类目录,里面是hpp头文件
algorithm/
archive/
assign/
bind/
compatibility
config/
devel包里还有静态a文件及动态so文件:
/usr/lib/libboost_test_exec_monitor.a
/usr/lib/libboost_test_exec_monitor.so
如下实践试试:
cd /home/xiangdong/software/boost_1_57_0
./bootstrap.sh --prefix=/usr/local/boost-1.57
vi tools/build/v2/user-config.jam
文件尾部增加(没找到,直接./b2 ./b2 install 即可!):
using mpi
./b2
./b2 install
Boost headers version >= 1.39.0
[root@localdomain gearmand-1.1.12]# yum search boost
[root@localdomain gearmand-1.1.12]# yum install boost.x86_64
[root@localdomain gearmand-1.1.12]# yum install yum install boost-devel.x86_64
旧的yum源,直接干死,用源码装个试试:
出现第五个问题的解决办法:
/home/xiangdong/software/gearmand-1.1.12/libgearman-server/gearmand_con.cc:677: undefined reference to `event_initialized'
collect2: ld returned 1 exit status
libevent版本太老了,更新新的版本:
安装最新版本的libevent,并执行以下操作:(备份老版本的/usr/lib64/libevent.so)
ln -s /usr/lib64/libevent-2.0.so.5 /usr/lib64/libevent.so
删除老旧的libevent的rpm包后,安装最新的方法实践如下:
[root@test software]# cp /usr/lib64/libevent.so /usr/lib64/libevent.so.bak.old
[root@test libevent-2.0.21-stable]# tar -zxvf libevent-2.0.21-stable.tar.gz
[root@test libevent-2.0.21-stable]# cd libevent-2.0.21-stable
[root@test libevent-2.0.21-stable]# ./configure --prefix=/usr/local/libevent-2.0.21-stable
ls -al /usr/lib | grep libevent
rpm -qa|grep libevent
libevent-1.4.13-1
libevent-devel-1.4.13-1
libevent-devel-1.4.13-1
libevent-1.4.13-1
rpm -e --allmatches --nodeps libevent-1.4.13-1 libevent-devel-1.4.13-1
[root@test libevent-2.0.21-stable]# rpm -e --allmatches --nodeps libevent-1.4.13-1 libevent-devel-1.4.13-1
[root@test libevent-2.0.21-stable]#
卸载后看还有没:
[root@test libevent-2.0.21-stable]# ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 31 Dec 30 17:17 libevent-1.1a.so.1 -> /usr/lib/libevent-1.1a.so.1.0.2
-rw-r--r-- 1 root root 31596 Jan 7 2007 libevent-1.1a.so.1.0.2
rm -Rf /usr/lib/libevent-1.1a.so.1.0.2 /usr/lib/libevent-1.1a.so.1 //删除干净
[root@test libevent-2.0.21-stable]# rm -Rf /usr/lib/libevent-1.1a.so.1.0.2 /usr/lib/libevent-1.1a.so.1
[root@test libevent-2.0.21-stable]#
cd /home/xiangdong/software/libevent-2.0.21-stable //最新安装包
./configure --prefix=/usr //libevent会安装到 /usr/lib 或 /usr/local/lib 下
#./configure --prefix=/usr/local/libevent-2.0.21-stable
[root@test libevent-2.0.21-stable]# ./configure --prefix=/usr && make && make install
测试libevent是否安装成功:ls -al /usr/lib | grep libevent(或 ls -al /usr/local/lib | grep libevent)
ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 21 Dec 31 09:44 libevent-2.0.so.5 -> libevent-2.0.so.5.1.9
-rwxr-xr-x 1 root root 1065819 Dec 31 09:44 libevent-2.0.so.5.1.9
-rw-r--r-- 1 root root 1678970 Dec 31 09:44 libevent.a
lrwxrwxrwx 1 root root 26 Dec 31 09:44 libevent_core-2.0.so.5 -> libevent_core-2.0.so.5.1.9
如果libevent的安装目录为/usr/local/lib下,则还需要建立 libevent-1.4.so.2 到 /usr/lib 的软连接,这样其他程序运行时才能找到libevent库:ln -s /usr/local/lib/libevent-1.4.so.2 /usr/lib/libevent-1.4.so.2
ls /usr/lib/libevent-2.0.so.5
/usr/lib/libevent-2.0.so.5
干掉旧的libevent的残留的动态so文件:
ls -al /usr/lib64 | grep libevent
lrwxrwxrwx 1 root root 19 Dec 31 09:40 libevent-1.4.so.2 -> libevent.so.bak.old
-rwxr-xr-x 1 root root 104296 Dec 31 09:22 libevent.so.bak.old
[root@test libevent-2.0.21-stable]# rm -Rf /usr/lib64/libevent-1.4.so.2
参考来自:http://blog.sina.com.cn/s/blog_4b93170a0100mbm9.html
编译成功结果如下:
启动gearmand的方法:
[root@test gearmand-1.1.12]# whereis gearmand
gearmand: /usr/local/sbin/gearmand
[root@test ~]# mkdir -p /usr/local/gearman/log
ls /usr/local/sqlite3/bin/
sqlite3
*特别提醒,(mysql性能上可能在做队列上并不比sqlite强到哪儿去)
使用sqlite更加简单方便 :
/usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite/bin/gearman --libsqlite3-table gearman_queue -d
很遗憾,我到现在也没能编译出对MySQL的持久化
[root@test ~]# /usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite/bin/gearman --libsqlite3-table gearman_queue -d
/usr/local/sbin/gearmand: Error while initializing the queue : libsqlite3
原来是sqlite的位置不对,修改路径后就OK了:
启动成功:
[root@test sqlite3]# /usr/local/sbin/gearmand -l /usr/local/gearman/log/trace2.log --verbose INFO -p 4830 -q libsqlite3 --libsqlite3-db /usr/local/sqlite3/bin/gearman --libsqlite3-table gearman_queue -d
[root@test sqlite3]#
端口存在了,说明是真的启动成功了:
[root@test sqlite3]# netstat -atlunp|grep 4830
tcp 0 0 0.0.0.0:4830 0.0.0.0:* LISTEN 17820/gearmand
tcp 0 0 :::4830 :::* LISTEN 17820/gearmand
也就是说gearmand启动时候自己建立一个sqlite的表,如下:
[root@test sqlite3]# cat /usr/local/sqlite3/bin/gearman
SQLite format 3@ ''blegearman_queuegearman_queueCREATE TABLE gearman_queue ( unique_key TEXT, function_name TEXT, priority INTEGER, data BLOB, when_to_run INTEGER, PRIMARY KEY (unique_key, function_name))9M'indexsqlite_autoindex_gearman_queue_1gearman_queue
经过一陈折腾,说明这个gearmand对boost库的要求高,对libevent的版本也要求高,不是能经过yum install能解决得了的,得自己安装后指定,再就是对编译器的版本也是有要求的,也就是说相对来说其安装比较苛刻一些,如Lamp架构相比较的话,难度要高一些。
——————————————————————————————————————————————————————————————
总之,一大堆问题,这货居然还这么流行听说Gearman最初用于LiveJournal的图片resize功能,由于图片resize需要消耗大量计算资 源,因此需要调度到后端多台服务器执行,完成任务之后返回前端再呈现到界面。,看来广大分发系统还真得靠它啊,其它各种小问题不断,参考:
http://www.111cn.net/sys/CentOS/65334.htm
二、PHP的gearmand扩展编译及遇到问题解决实践如下:
PHP的gearmand折腾扩展,这块试了好几个版本的扩展要么configure不过去,要么是lib里却啥,但最后还是以当前最新的版本gearman-1.1.2.tgz给解决了:
./configure --with-php-config=/usr/local/php/bin/php-config
出现如下所示的配置错误:
configure: WARNING: You will need re2c 0.13.4 or later if you want to regenerate PHP parsers.
checking for gawk... gawk
checking whether to enable gearman support... yes, shared
found in /usr/local
checking for gearman_create in -lgearman... no
configure: error: wrong libgearman version or lib not found
问题一:
gearman的PHP扩展时出现configure: WARNING: You will need re2c 0.13.4 or later if you want to regenerate PHP parsers.警告信息。
警告信息说明需要安装 re2c
执行下面命令安装:
wget http://sourceforge.net/projects/re2c/files/re2c/0.13.5/re2c-0.13.5.tar.gz/download
2014-12-31 11:01:59 (999 KB/s) - `re2c-0.13.5.tar.gz' saved [782725/782725]
tar -zxvf re2c-0.13.5.tar.gz
cd re2c-0.13.5
./configure && make && make install //安装成功,警告得到了解决,第二个依旧存在。
它的意思是好像没有找到lib,不对是找到了没有找到里面的某个叫gearman_create的函数,这个就奇怪了,找下:
[root@test /]# find . -name "*gearman*.so*"
./usr/local/lib/libgearman.so.8.0.0
./usr/local/lib/libgearman.so
./usr/local/lib/libgearman.so.8
[root@test /]# vi /etc/ld.so.conf
include ld.so.conf.d/*.conf
/lib
/lib64
/usr/lib
/usr/lib64
/usr/local/lib
/usr/local/lib
有这个位置的啊。
[root@test /]# ldconfig //重新lib的位置载入。
[root@test gearman-0.4.0]# phpize
Configuring for:
PHP Api Version: 20090626
Zend Module Api No: 20090626
Zend Extension Api No: 220090626
[root@test gearman-0.4.0]# ./configure --with-php-config=/usr/local/php/bin/php-config
问题依旧,去官网看一下呗,http://gearman.org/download/:
文字摘录:PHP
There are two PHP client/worker libraries, one which is a pure PHP extension and one which wraps the libgearman C library.
Gearman Extension
A PHP extension that wraps the libgearman C library.
Gearman PHP Extension (1.0.2) (Source)
官方的PHP扩展高V1.0.2,我这个是gearman-0.4.0太旧了,好像还有更高的gearman-1.1.2.tgz,http://pecl.php.net/package/gearman,放上官网这个上去重新试下了:
tar -zxvf gearman-1.0.2.tgz
cd gearman-1.0.2
[root@test gearman-1.0.2]# phpize
./configure --with-php-config=/usr/local/php/bin/php-config //这个没有问题
[root@test gearman-1.0.2]# make && make install
/home/xiangdong/software/gearman-1.0.2/php_gearman.c: In function ‘zm_startup_gearman’:
/home/xiangdong/software/gearman-1.0.2/php_gearman.c:4638: error: ‘GEARMAN_MAGIC_TEXT’ undeclared (first use in this function)
/home/xiangdong/software/gearman-1.0.2/php_gearman.c:4638: error: (Each undeclared identifier is reported only once
还是差啥么子玩意,换个更新的看下,gearman-1.1.2.tgz 实践OK了,如下:
Libraries have been installed in:
/home/xiangdong/software/gearman-1.1.2/modules
If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
- add LIBDIR to the `LD_LIBRARY_PATH' environment variable
during execution
- add LIBDIR to the `LD_RUN_PATH' environment variable
during linking
- use the `-Wl,--rpath -Wl,LIBDIR' linker flag
- have your system administrator add LIBDIR to `/etc/ld.so.conf'
See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------
Build complete.
Don't forget to run 'make test'.
[root@test gearman-1.1.2]# make install
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/
真在的:
ls /usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/gearman.so
/usr/local/php/lib/php/extensions/no-debug-non-zts-20090626/gearman.so
在php.ini里加上这个扩展就成了。Successful....EOF
[root@test gearman-1.1.2]# php -v
PHP 5.3.10 (cli) (built: Feb 3 2012 14:04:56)
Copyright (c) 1997-2012 The PHP Group
Zend Engine v2.3.0, Copyright (c) 1998-2012 Zend Technologies
with eAccelerator v0.9.6.1, Copyright (c) 2004-2010 eAccelerator, by eAccelerator
[root@test gearman-1.1.2]# vi /usr/local/php/etc/php.ini
extension = "gearman.so"
[root@test gearman-1.1.2]# php -m|grep gearman
gearman
三、代码编写task的分发及client的及简单代码实践OK及其情况实践Ok:
cd /usr/local/gearman/
[root@test gearman]# mkdir codesTest
[root@test gearman]# cd codesTest/
[root@test codesTest]# vi myworker.php
以守护进程方式启动worker:
# nohup php myworker.php >/dev/null 2>&1 &
[root@test codesTest]# nohup php myworker.php >/dev/null 2>&1 &
[1] 31238
一个发送任务处理请求的client:
vi myclient.php
[root@test codesTest]# vi myclient.php
运行myclient.php:
[root@test codesTest]# php myclient.php "Jose"
hello, Jose
H:test.local:2
一个发出并行处理任务请求的例子tasksclient:
[root@test codesTest]# vi tasksclient.php
运行tasksclient:
[root@test codesTest]# php tasksclient.php
Completed task:: id :2 , handled result:hello, John
Completed task:: id :1 , handled result:hello, Jose
查看worker及队列情况:
(echo "workers"; sleep 0.1) | nc 192.168.109.8 4830
[root@test codesTest]# (echo "workers"; sleep 0.1) | nc 192.168.109.8 4830
34 192.168.109.8 - : sayhello logMsg
35 192.168.109.8 - :
.
查看当前队列情况(显示格式FUNCTION\tTOTAL\tRUNNING\tAVAILABLE_WORKERS):
(echo "status"; sleep 0.1) | nc 192.168.109.8 4830
[root@test codesTest]# (echo "status"; sleep 0.1) | nc 192.168.109.8 4830
sayhello 0 0 1
logMsg 0 0 1
.
监控php的守护进程(没实践), 可以开多个,并同时监控:
关于Worker守护进程的启动和监控
上面例子中直接启动worker脚本作为守护进程,无法监控到worker进程是否存活.
使用Unix进程监控supervisord则可轻松解决这个问题.
将如下配置添加到supervisord的配置中,即可实现由supervisord来启动和监控myworker.
编辑配置文件 vi /etc/supervisord.conf
[program:myworker]
command=/usr/local/php5415/bin/php myworker.php
process_name=%(program_name)s_%(process_num)02d
;修改numprocs即可同时开启多个worker进程
numprocs=1
directory=/usr/local/gearman/codesTest
autostart=true
autorestart=true
user=gearmand
stopsignal=KILL
Posted in Daemon / Worker, Gearman.
Tagged gearman.
监控这块看:
http://jingyan.baidu.com/article/375c8e198d1b1425f2a2290c.html
上面这块的PHP扩展代码及实践来自:
http://www.51itstudy.com/30114.html
http://codego.net/384693/
_________下面是摘录别的文章不一定自己配置时可完全过得过,得按自己环境作配置安装,只是用作参考!_______
Gearman的目的在于用PHP扩展分发,于是PHP扩展如何安装:
tar zxvf gearman-1.1.1.tgz
cd gearman-1.1.1
/opt/local/php/bin/phpize
./configure --with-php-config=/opt/local/php/bin/php-config --with-gearman
make
make install
编辑 php.ini
vi php.ini
增加
extension = "gearman.so"
重启php
启动gearmand 服务
gearmand -L 10.6.0.6 -p 4730 -u root -l /var/log/gearmand.log -d
其他参数请 gearmand --help
摘自:http://jicki.blog.51cto.com/1323993/1177487
阅读全文
[实践OK] 百度云解析之vps安装centOS7 系统下利用iptables配置IP地址白名单放行百度云CDN加速(百度云加速)IP地址群。
Unix/LinuxC技术 jackxiang 2014-12-17 21:42
背景:使用vps性能不是太好,于是否有恶意的访问增加流量,而此时呢,想用云加速,但一加速就被iptables分析日志干成黑名单了,有时一访问太快了给nginx拒绝了,实现方法见Url:http://jackxiang.com/post/7671/ 。如何防止误伤到去加速呢,百度提供出了他们的IP地址,我们可以用白名单写入到iptables里于是就好了。
把NS指向百度的:修改DNS地址到 ns1.bdydns.cnns2.bdydns.cn
nslookup用法:怎么查看一个网站域名的NS服务器地址
nslookup,然后空格,加上一个“/”斜杠,再加上一个问号,就能出现对应指令的所有参数和使用方法。
我们如果想看一个域名的NS值,最简便的方法是在nslookup后面直接跟上域名,注意不要带http://,就会出现这个域名对应的NS记录值。
nslookup www.jackxiang.com
服务器: dnscache33
Address: 127.0.0.1
非权威应答:
名称: ns1.bdydns.cn
Addresses: 180.97.36.63
111.206.223.119
Aliases: www.jackxiang.com
后面有兄弟邮件询问这个,我作了下简单回复:
Dear:
一般不建议网络使用白名单,因为有很多位置的IP你没法判定完全,如来自美国、法国
一般使用黑名单的较多,谁ddos,就拉黑谁,百度的所谓cdn也就是他从一些自己的IP
机器下面来抓你服务器的页面,后存起来,如果是最新的用户就不用访问你的服务器。
在 2015-09-02 15:32:16,"木秀于林" <8047105XX@qq.com> 写道:
你好向东!
[实践OK] 云vps安装centOS7 系统下利用iptables配置IP地址白名单放行百度云CDN加速(百度云加速)IP地址群
看到你发布的这篇文章很不错,就是研究了半天没搞定,
我用了百度云加速,现在网站访问除了问题,百度客服说服务器拦截了百度IP,空间商说没有防火墙,空间商让我在AMH面板安装AMNetwork试试,安装后在面板添加代码怎么也搞不定,显示AMNetwork : 防火墙配置失败,请检查更改规则是否正确。
我的QQ号8047105XX
在您有空的时候希望帮一下,谢谢了!
————————————————————————————————————————————————————————————————
实践证明:
https://jackxiang.com 没法加速Https(不加速透传也成),不想加速,只加速:http://jackxiang.com 和http://www.jackxiang.com都是没有问题,但我要管理用https,经过加速后没法访问,这块暂时不用云加速。
关于iptable如何在开机启动和crontab里放入自动把某些IP及端口打开或扔进防火墙的链接如下:
http://jackxiang.com/post/7782/
编辑iptables配置文件,将文件内容更改为如下,则具备了ip地址白名单功能
#vim /etc/sysconfig/iptables
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-N whitelist
-A whitelist -s 1.2.3.0/24 -j ACCEPT
-A whitelist -s 4.5.6.7 -j ACCEPT
-A INPUT -m state --state RELATED,ESTABLISHED -j whitelist
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j whitelist
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j whitelist
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
6~8 行是添加白名单列表,可以是ip段或者单个ip地址
10~12行 注意的是“-j whitelist”而不是“-j ACCEPT”,前者将该端口访问权限限制在白名单内,后者为不限制
13行 任何ip地址都能ping通该主机,因为“-j ACCEPT”没有做相应限制
配置完毕后,运行命令重启防火墙使规则生效
#systemctl restart iptables.service
上述摘自:http://blog.chinaunix.net/uid-13344516-id-4573922.html
实践如下:
百度云加速列表写成iptables白名单如下,这样就可以防止iptables分析Http请求日志时把它过滤掉:
好像会报254错,但写成24就没错了:
百度去加速的白名单来源:
http://yunjiasu.baidu.com/website/node/#domain=jackxiang.com
jackxiang.com 分配到的节点
地点 线路 IP
济南 联通 119.188.132.68
济南 联通 119.188.132.67
石家庄 联通 61.182.137.6
西安 电信 117.34.28.77
西安 电信 117.34.28.78
苏州 电信 61.155.149.78
苏州 电信 61.155.149.79
南宁 电信 222.216.190.62
南宁 电信 222.216.190.63
百度云加速所有的节点IP
地点 线路 IP段
佛山 电信 183.60.235.0 ~ 183.60.235.254
石家庄 联通 61.182.137.0 ~ 61.182.137.254
南宁 电信 222.216.190.0 ~ 222.216.190.254
济南 联通 119.188.14.0 ~ 119.188.14.254
苏州 电信 61.155.149.0 ~ 61.155.149.254
济南 联通 119.188.132.0 ~ 119.188.132.254
西安 电信 117.34.28.0 ~ 117.34.28.254
郑州 联通 42.236.7.0 ~ 42.236.7.254
关于ssl免费版本不支持的问题回复 AddTime:2015-02-03:
我问题:
https://jackxiang.com 没法加速Https(不加速透传也成),不想加速,只加速:http://jackxiang.com 是没有问题,但我要管理用https,你们没有给我转过支。
回复如下:
您好,目前的免费版本是不支持https的,后续收费版才会支持。
————————————EOF———————————————
把NS指向百度的:修改DNS地址到 ns1.bdydns.cnns2.bdydns.cn
nslookup用法:怎么查看一个网站域名的NS服务器地址
nslookup,然后空格,加上一个“/”斜杠,再加上一个问号,就能出现对应指令的所有参数和使用方法。
我们如果想看一个域名的NS值,最简便的方法是在nslookup后面直接跟上域名,注意不要带http://,就会出现这个域名对应的NS记录值。
nslookup www.jackxiang.com
服务器: dnscache33
Address: 127.0.0.1
非权威应答:
名称: ns1.bdydns.cn
Addresses: 180.97.36.63
111.206.223.119
Aliases: www.jackxiang.com
后面有兄弟邮件询问这个,我作了下简单回复:
Dear:
一般不建议网络使用白名单,因为有很多位置的IP你没法判定完全,如来自美国、法国
一般使用黑名单的较多,谁ddos,就拉黑谁,百度的所谓cdn也就是他从一些自己的IP
机器下面来抓你服务器的页面,后存起来,如果是最新的用户就不用访问你的服务器。
在 2015-09-02 15:32:16,"木秀于林" <8047105XX@qq.com> 写道:
你好向东!
[实践OK] 云vps安装centOS7 系统下利用iptables配置IP地址白名单放行百度云CDN加速(百度云加速)IP地址群
看到你发布的这篇文章很不错,就是研究了半天没搞定,
我用了百度云加速,现在网站访问除了问题,百度客服说服务器拦截了百度IP,空间商说没有防火墙,空间商让我在AMH面板安装AMNetwork试试,安装后在面板添加代码怎么也搞不定,显示AMNetwork : 防火墙配置失败,请检查更改规则是否正确。
我的QQ号8047105XX
在您有空的时候希望帮一下,谢谢了!
————————————————————————————————————————————————————————————————
实践证明:
https://jackxiang.com 没法加速Https(不加速透传也成),不想加速,只加速:http://jackxiang.com 和http://www.jackxiang.com都是没有问题,但我要管理用https,经过加速后没法访问,这块暂时不用云加速。
关于iptable如何在开机启动和crontab里放入自动把某些IP及端口打开或扔进防火墙的链接如下:
http://jackxiang.com/post/7782/
编辑iptables配置文件,将文件内容更改为如下,则具备了ip地址白名单功能
#vim /etc/sysconfig/iptables
*filter
:INPUT ACCEPT [0:0]
:FORWARD ACCEPT [0:0]
:OUTPUT ACCEPT [0:0]
-N whitelist
-A whitelist -s 1.2.3.0/24 -j ACCEPT
-A whitelist -s 4.5.6.7 -j ACCEPT
-A INPUT -m state --state RELATED,ESTABLISHED -j whitelist
-A INPUT -m state --state NEW -m tcp -p tcp --dport 22 -j whitelist
-A INPUT -m state --state NEW -m tcp -p tcp --dport 8080 -j whitelist
-A INPUT -p icmp -j ACCEPT
-A INPUT -i lo -j ACCEPT
-A INPUT -j REJECT --reject-with icmp-host-prohibited
-A FORWARD -j REJECT --reject-with icmp-host-prohibited
COMMIT
6~8 行是添加白名单列表,可以是ip段或者单个ip地址
10~12行 注意的是“-j whitelist”而不是“-j ACCEPT”,前者将该端口访问权限限制在白名单内,后者为不限制
13行 任何ip地址都能ping通该主机,因为“-j ACCEPT”没有做相应限制
配置完毕后,运行命令重启防火墙使规则生效
#systemctl restart iptables.service
上述摘自:http://blog.chinaunix.net/uid-13344516-id-4573922.html
实践如下:
百度云加速列表写成iptables白名单如下,这样就可以防止iptables分析Http请求日志时把它过滤掉:
好像会报254错,但写成24就没错了:
百度去加速的白名单来源:
http://yunjiasu.baidu.com/website/node/#domain=jackxiang.com
jackxiang.com 分配到的节点
地点 线路 IP
济南 联通 119.188.132.68
济南 联通 119.188.132.67
石家庄 联通 61.182.137.6
西安 电信 117.34.28.77
西安 电信 117.34.28.78
苏州 电信 61.155.149.78
苏州 电信 61.155.149.79
南宁 电信 222.216.190.62
南宁 电信 222.216.190.63
百度云加速所有的节点IP
地点 线路 IP段
佛山 电信 183.60.235.0 ~ 183.60.235.254
石家庄 联通 61.182.137.0 ~ 61.182.137.254
南宁 电信 222.216.190.0 ~ 222.216.190.254
济南 联通 119.188.14.0 ~ 119.188.14.254
苏州 电信 61.155.149.0 ~ 61.155.149.254
济南 联通 119.188.132.0 ~ 119.188.132.254
西安 电信 117.34.28.0 ~ 117.34.28.254
郑州 联通 42.236.7.0 ~ 42.236.7.254
关于ssl免费版本不支持的问题回复 AddTime:2015-02-03:
我问题:
https://jackxiang.com 没法加速Https(不加速透传也成),不想加速,只加速:http://jackxiang.com 是没有问题,但我要管理用https,你们没有给我转过支。
回复如下:
您好,目前的免费版本是不支持https的,后续收费版才会支持。
————————————EOF———————————————
今天不小心在linux下执行了一下rm -Rf /*,有所感悟。
Unix/LinuxC技术 jackxiang 2014-12-15 20:13
我上午还在说产品啥的弱点,下午就发现Linux一个视频文件怎么删除不掉,问tencent PHP群里,一兄弟给出了一个:rm -Rf /* ,当时没过脑子,没细看,给贴进去删了,出问题了,还好及时ctrl C,庆幸的是把bin目录删除了,差点就重装(ssh连接不上面没退出,scp还在),从别的测试机直接拷贝过来才好了,真是好险,这就是我的弱点,差点惹出大事,就是剪刀手没多过一过脑子,真心不容易啊。
-bash: ls:command not found
/etc/sysconfig/bash-prompt-xterm:line 1:grep: command not found
/etc/sysconfig/bash-prompt-xterm:line 1:cut: command not found
/etc/sysconfig/bash-prompt-xterm:line 1:awk: command not found
一cd到/,我x,全没了,一身冷汗,vim还在,cd还能cd,这个cd是内核实现的:
type命令可以知道,cd命令是builtin形式的命令,那么按我的理解应该是在内核中实现了:
type cd
cd is a shell builtin
ls就不一样的用了alian:
type ls
ls is aliased to `ls --color=tty'
x哥说:别退出来, 赶紧备份东西吧. 我是说别退出ssh
ext2的, 好像有些文件是可以恢复的,先别退出SSH, 有什么数据都先备份出来吧, @@
我记得lsof也可以找回部分文件,
但前提好像是要多个人打开同一个文件的样子.
解决办法:
我还找了下张宴兄弟的那篇关于恢复文章:http://zyan.cc/linux_ext3_undelete/
我当时还算镇定,大不了重装,此时已经下班,同事叫我开走了,我说我搞出问题了,他过来找了个椅子坐我旁边,大致5分钟,我此时还有一怕,vpn经常挂掉,会退出,我祈祷别给我ssh挂了,挂了真挂了。还好没有挂,至少在此时没有挂,我让他走,他找了个凳子坐我旁边,我就开始摸索,其实这种事情,当年在腾讯也发生过类似的,但后来是重新装了系统,回想一下,也就作最坏打算了,开整,我整个一会,说要不兄弟先回去吧,他没动,那就接着整:
经过命令提示,初步判断是bin目录有问题,因为vi还能使用,vi了下/etc/shadow(重开ssh连接不上了),但还在,PATH目录:
/etc/profile 还在,/root/.bash_profile还在,经过whereis ls :
whereis ls
ls: /bin/ls 判定是bin给删除了,还好就是bin文件给删除了,我直接cd / ,(此时这个目录一个目录都没有啊,我是硬着头皮拷贝的啊,我还准备用sz rz的,要是这个scp挂了,当时还好想想目录拷贝要加-r,我估计scp要真给挂了,一个个拷贝要死人的。)
于是,从其他机器拷贝一样的bin到这儿,注意:64位linux一样的版本,一样的虚拟环境机器才行。
输入密码,拷贝完毕,好了,好险,还好。
最后,兄弟开个玩笑,我信了:
Jack-回忆未来 2014/12/15 星期一 20:30:01
这个群让我把系统删除的兄弟,我已经修好了,老天保佑,还好只是/bin给干掉了。你让我进步了,写这儿了:https://jackxiang.com/post/7690/
OMG-jiXXXXX 2014/12/15 星期一 20:32:19
他也就是开个玩笑,没有损失就好
share
好坏 2014/12/15 星期一 20:32:41
bob omg
2014/12/15 星期一 20:32:46
兄弟, 真心不是要害你, 发了之后,我还坏坏的一笑,可惜你没懂我
问苍天 2014/12/15 星期一 20:33:32
rm -rf这种命令你看都没看?
Jack-回忆未来 2014/12/15 星期一 20:35:08
这事情都怪兄弟我,手太快了,贴过去了,
等我再看到你那个坏笑,我已经ctrl+C了。
SuperWoMan - MIG 2014/12/15 星期一 20:35:19
流汗
没文化,真可怕
Jack-回忆未来 2014/12/15 星期一 20:42:08
说实话,当时我也蒙了,但我还是快速镇定了下来,没事就好,皆大欢喜,其实我估计我那个系统可能也不是太纯了,否则,删除不掉这种事情不会发生的,我都777了还是删除有问题,我还是相信兄弟们的力量的,以后对于小问题开玩笑,大问题尽量不要开啊,我没文化滴,或文化程度低,别忽悠俺。
mfsh**[ECC]
程序员真是一个既忠诚又花心的职业
bob omg 2014/12/15 星期一 20:53:55
兄弟, 。。。 啥也不说了
bob omg 2014/12/15 星期一 20:55:28
回头请你吃饭
Jack-回忆未来 2014/12/15 星期一 20:56:08
博文更新了下,我大致写了下过程,
啥也不说了,当年徐达和常遇春用自己的军事行动给他王保保上了一堂军事理论课,兄弟给我上了生动的一课,我想我快成名将了。
编者按:吃饭就免了,真要请随时打俺电话、微信、QQ,:-)。
x哥:
一个rm命令引发的创业故事
前儿:
rm -Rf ./* 差了一个点吧
______________________________________________________________________________________________
yang-TEG 2014/12/15 星期一 21:48:54
在一个web系统的config(k-v字段的配置表)表里面更新某个配置,执行了update config set value='xxx' 。。。没有加where,没有加limit, 改了90多条配置,然后系统挂了....
yang-ECC
2014/12/15 星期一 21:33:51
delete * 干过的。。。要吗
阅读全文
-bash: ls:command not found
/etc/sysconfig/bash-prompt-xterm:line 1:grep: command not found
/etc/sysconfig/bash-prompt-xterm:line 1:cut: command not found
/etc/sysconfig/bash-prompt-xterm:line 1:awk: command not found
一cd到/,我x,全没了,一身冷汗,vim还在,cd还能cd,这个cd是内核实现的:
type命令可以知道,cd命令是builtin形式的命令,那么按我的理解应该是在内核中实现了:
type cd
cd is a shell builtin
ls就不一样的用了alian:
type ls
ls is aliased to `ls --color=tty'
x哥说:别退出来, 赶紧备份东西吧. 我是说别退出ssh
ext2的, 好像有些文件是可以恢复的,先别退出SSH, 有什么数据都先备份出来吧, @@
我记得lsof也可以找回部分文件,
但前提好像是要多个人打开同一个文件的样子.
解决办法:
我还找了下张宴兄弟的那篇关于恢复文章:http://zyan.cc/linux_ext3_undelete/
我当时还算镇定,大不了重装,此时已经下班,同事叫我开走了,我说我搞出问题了,他过来找了个椅子坐我旁边,大致5分钟,我此时还有一怕,vpn经常挂掉,会退出,我祈祷别给我ssh挂了,挂了真挂了。还好没有挂,至少在此时没有挂,我让他走,他找了个凳子坐我旁边,我就开始摸索,其实这种事情,当年在腾讯也发生过类似的,但后来是重新装了系统,回想一下,也就作最坏打算了,开整,我整个一会,说要不兄弟先回去吧,他没动,那就接着整:
经过命令提示,初步判断是bin目录有问题,因为vi还能使用,vi了下/etc/shadow(重开ssh连接不上了),但还在,PATH目录:
/etc/profile 还在,/root/.bash_profile还在,经过whereis ls :
whereis ls
ls: /bin/ls 判定是bin给删除了,还好就是bin文件给删除了,我直接cd / ,(此时这个目录一个目录都没有啊,我是硬着头皮拷贝的啊,我还准备用sz rz的,要是这个scp挂了,当时还好想想目录拷贝要加-r,我估计scp要真给挂了,一个个拷贝要死人的。)
于是,从其他机器拷贝一样的bin到这儿,注意:64位linux一样的版本,一样的虚拟环境机器才行。
输入密码,拷贝完毕,好了,好险,还好。
最后,兄弟开个玩笑,我信了:
Jack-回忆未来 2014/12/15 星期一 20:30:01
这个群让我把系统删除的兄弟,我已经修好了,老天保佑,还好只是/bin给干掉了。你让我进步了,写这儿了:https://jackxiang.com/post/7690/
OMG-jiXXXXX 2014/12/15 星期一 20:32:19
他也就是开个玩笑,没有损失就好
share
好坏 2014/12/15 星期一 20:32:41
bob omg
2014/12/15 星期一 20:32:46
兄弟, 真心不是要害你, 发了之后,我还坏坏的一笑,可惜你没懂我
问苍天 2014/12/15 星期一 20:33:32
rm -rf这种命令你看都没看?
Jack-回忆未来 2014/12/15 星期一 20:35:08
这事情都怪兄弟我,手太快了,贴过去了,
等我再看到你那个坏笑,我已经ctrl+C了。
SuperWoMan - MIG 2014/12/15 星期一 20:35:19
流汗
没文化,真可怕
Jack-回忆未来 2014/12/15 星期一 20:42:08
说实话,当时我也蒙了,但我还是快速镇定了下来,没事就好,皆大欢喜,其实我估计我那个系统可能也不是太纯了,否则,删除不掉这种事情不会发生的,我都777了还是删除有问题,我还是相信兄弟们的力量的,以后对于小问题开玩笑,大问题尽量不要开啊,我没文化滴,或文化程度低,别忽悠俺。
mfsh**[ECC]
程序员真是一个既忠诚又花心的职业
bob omg 2014/12/15 星期一 20:53:55
兄弟, 。。。 啥也不说了
bob omg 2014/12/15 星期一 20:55:28
回头请你吃饭
Jack-回忆未来 2014/12/15 星期一 20:56:08
博文更新了下,我大致写了下过程,
啥也不说了,当年徐达和常遇春用自己的军事行动给他王保保上了一堂军事理论课,兄弟给我上了生动的一课,我想我快成名将了。
编者按:吃饭就免了,真要请随时打俺电话、微信、QQ,:-)。
x哥:
一个rm命令引发的创业故事
前儿:
rm -Rf ./* 差了一个点吧
______________________________________________________________________________________________
yang-TEG 2014/12/15 星期一 21:48:54
在一个web系统的config(k-v字段的配置表)表里面更新某个配置,执行了update config set value='xxx' 。。。没有加where,没有加limit, 改了90多条配置,然后系统挂了....
yang-ECC
2014/12/15 星期一 21:33:51
delete * 干过的。。。要吗
阅读全文
[实践OK]Linux上Raspberry pi下通过ssh命令行启动display图形界面浏览器并展现出来的方法,树莓派也实践Ok,见正文。
Unix/LinuxC技术 jackxiang 2014-12-15 11:02
背景:我是想在ssh下启动xwindows下的chrome并打开某个链接,用命令行启动会有问题。
我启动的是android 模拟器。 报SDL init faillure,原因是 no available video device
图形程序启动要指定DISPLAY吧
_______________________
怎么搞定的,命令行下,我想通过ssh启动xwindows下的chrome并打开某个链接也有这个问题。
要指定DISPLAY 环境变量。
我是通过vnc连上的。 先在vnc里面看看DISPLAY环境变量是啥。 我的是:1
然后运行前 指定DISPLAY=:1就可以了。
那如果不是vnc呢?怎么搞,echo $DISPLAY ?
直接在linux下用ssh连接,不是界面这个项是空的:
但是开启了vnc后,在界面里打开terminal有这个:
开启方法:https://jackxiang.com/post/7303/
DISPLAY的结果如下:
上面是我vps的vpn,下面我使用Raspberry Pi来调用自带的显示器,注意不是Raspberry Pi下的vpn呢,是液晶物理显示器,如何指定DISPLAY来通过secureCRT下的ssh打开后,设置DISPLAY环境变量后,在液晶里显示,实践OK如下:
后来安装了许多软件,后面发现其DISPLAY变量出现变化,在Raspberry Pi上接上键盘后发现变量不是上面这样,后来这样设置Ok:
此时,物理的液晶屏里会打开chrome浏览器,并试图打开jackxiang.com这个网站。
如果su成root就不行了,为什么呢?我估计是因为启动时就是以Raspberry Pi的Pi用户,而su后呢,成root了,这个显示不是root的,还是Pi的,所以不行。
新版的Raspberry pi有自带的键盘,但此键盘有一个问题,那就是键盘里的符号有些缺,于是,得这样写好脚本再在屏幕上执行:
pi@raspberrypi:~$ cat env.sh
env|grep DISPLAY > env.txt
在屏幕上执行:
sh ./env.sh
cat evn.txt
pi@raspberrypi:~$ cat env.txt
DISPLAY=:0.0
————————————————————————————————————————————————————————
在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量
DISPLAY 环境变量格式如下hostname: displaynumber.screennumber,我们需要知道,在某些机器上,可能有多个显示设备共享使用同一套输入设备,例如在一台PC上连接两台CRT显示器,但是它们只共享使用一个键盘和一个鼠标。这一组显示设备就拥有一个共同的displaynumber,而这组显示设备中的每个单独的设备则拥有自己单独的 screennumber。displaynumber和screennumber都是从零开始的数字。这样,对于我们普通用户来说, displaynumber、screennumber就都是0。
hostname指Xserver所在的主机主机名或者ip地址, 图形将显示在这一机器上, 可以是启动了图形界面的Linux/Unix机器, 也可以是安装了Exceed, X-Deep/32等Windows平台运行的Xserver的Windows机器.如果Host为空, 则表示Xserver运行于本机, 并且图形程序(Xclient)使用unix socket方式连接到Xserver, 而不是TCP方式.
使用TCP方式连接时, displaynumber为连接的端口减去6000的值, 如果displaynumber为0, 则表示连接到6000端口;
使用unix socket方式连接时则表示连接的unix socket的路径,如果displaynumber为0, 则表示连接到/tmp/.X11-unix/X0 .
creennumber则几乎总是0.
来自:http://blog.sina.com.cn/s/blog_8f5296d50100xa0m.html
详细:http://blog.chinaunix.net/uid-23072872-id-3388906.html
我启动的是android 模拟器。 报SDL init faillure,原因是 no available video device
图形程序启动要指定DISPLAY吧
_______________________
怎么搞定的,命令行下,我想通过ssh启动xwindows下的chrome并打开某个链接也有这个问题。
要指定DISPLAY 环境变量。
我是通过vnc连上的。 先在vnc里面看看DISPLAY环境变量是啥。 我的是:1
然后运行前 指定DISPLAY=:1就可以了。
那如果不是vnc呢?怎么搞,echo $DISPLAY ?
直接在linux下用ssh连接,不是界面这个项是空的:
但是开启了vnc后,在界面里打开terminal有这个:
开启方法:https://jackxiang.com/post/7303/
DISPLAY的结果如下:
上面是我vps的vpn,下面我使用Raspberry Pi来调用自带的显示器,注意不是Raspberry Pi下的vpn呢,是液晶物理显示器,如何指定DISPLAY来通过secureCRT下的ssh打开后,设置DISPLAY环境变量后,在液晶里显示,实践OK如下:
后来安装了许多软件,后面发现其DISPLAY变量出现变化,在Raspberry Pi上接上键盘后发现变量不是上面这样,后来这样设置Ok:
此时,物理的液晶屏里会打开chrome浏览器,并试图打开jackxiang.com这个网站。
如果su成root就不行了,为什么呢?我估计是因为启动时就是以Raspberry Pi的Pi用户,而su后呢,成root了,这个显示不是root的,还是Pi的,所以不行。
新版的Raspberry pi有自带的键盘,但此键盘有一个问题,那就是键盘里的符号有些缺,于是,得这样写好脚本再在屏幕上执行:
pi@raspberrypi:~$ cat env.sh
env|grep DISPLAY > env.txt
在屏幕上执行:
sh ./env.sh
cat evn.txt
pi@raspberrypi:~$ cat env.txt
DISPLAY=:0.0
————————————————————————————————————————————————————————
在Linux/Unix类操作系统上, DISPLAY用来设置将图形显示到何处. 直接登陆图形界面或者登陆命令行界面后使用startx启动图形, DISPLAY环境变量将自动设置为:0:0, 此时可以打开终端, 输出图形程序的名称(比如xclock)来启动程序, 图形将显示在本地窗口上, 在终端上输入printenv查看当前环境变量
DISPLAY 环境变量格式如下hostname: displaynumber.screennumber,我们需要知道,在某些机器上,可能有多个显示设备共享使用同一套输入设备,例如在一台PC上连接两台CRT显示器,但是它们只共享使用一个键盘和一个鼠标。这一组显示设备就拥有一个共同的displaynumber,而这组显示设备中的每个单独的设备则拥有自己单独的 screennumber。displaynumber和screennumber都是从零开始的数字。这样,对于我们普通用户来说, displaynumber、screennumber就都是0。
hostname指Xserver所在的主机主机名或者ip地址, 图形将显示在这一机器上, 可以是启动了图形界面的Linux/Unix机器, 也可以是安装了Exceed, X-Deep/32等Windows平台运行的Xserver的Windows机器.如果Host为空, 则表示Xserver运行于本机, 并且图形程序(Xclient)使用unix socket方式连接到Xserver, 而不是TCP方式.
使用TCP方式连接时, displaynumber为连接的端口减去6000的值, 如果displaynumber为0, 则表示连接到6000端口;
使用unix socket方式连接时则表示连接的unix socket的路径,如果displaynumber为0, 则表示连接到/tmp/.X11-unix/X0 .
creennumber则几乎总是0.
来自:http://blog.sina.com.cn/s/blog_8f5296d50100xa0m.html
详细:http://blog.chinaunix.net/uid-23072872-id-3388906.html
错误控制台是开发工具,默认不会打开的。你装了什么扩展出现的这个问题啊?或者做了什么设置?在工具--附加组件里查看下安装的插件和扩展工具 。
工具-选项里-主要-管理助加主件-在那里找到你安装的删除或禁用:
我的是一个叫:All-in-One Gestures的禁用就好了。后又打开,它又弹出来了,说明真是这个插件引起的。
来自:http://zhidao.baidu.com/question/1859847570413928187.html
工具-选项里-主要-管理助加主件-在那里找到你安装的删除或禁用:
我的是一个叫:All-in-One Gestures的禁用就好了。后又打开,它又弹出来了,说明真是这个插件引起的。
来自:http://zhidao.baidu.com/question/1859847570413928187.html
请问在脚本中mv,默认会覆盖目标文件么?不提示直接mv覆盖参数是啥。
Unix/LinuxC技术 jackxiang 2014-12-11 14:32
Linux下挪动会提示,
你会发现是这样的,会有提示,为何,如下:
alias|grep -F mv
alias mv='mv -i'
加-f就好了。
mv -f
mv -i
看你的mv用的是那个了,一般我都会明确写上参数的。
-f, --force do not prompt before overwriting
-i, --interactive prompt before overwrite
摘录:http://bbs.chinaunix.net/thread-1037808-1-1.html
参考:http://blog.chinaunix.net/uid-23683795-id-2391087.html
你会发现是这样的,会有提示,为何,如下:
alias|grep -F mv
alias mv='mv -i'
加-f就好了。
mv -f
mv -i
看你的mv用的是那个了,一般我都会明确写上参数的。
-f, --force do not prompt before overwriting
-i, --interactive prompt before overwrite
摘录:http://bbs.chinaunix.net/thread-1037808-1-1.html
参考:http://blog.chinaunix.net/uid-23683795-id-2391087.html
chrome ff 都是用npapi写的插件,ie是activex做的,
中转站分片上传,秒传,切割的逻辑也是在同一个插件里面做的
从2014年1月起chrome将不再支持NPAPI插件
以前还有微信的摇一摇图片到手机,用firebreath 做插件,跨浏览器,跨平台。
阅读全文
中转站分片上传,秒传,切割的逻辑也是在同一个插件里面做的
从2014年1月起chrome将不再支持NPAPI插件
以前还有微信的摇一摇图片到手机,用firebreath 做插件,跨浏览器,跨平台。
阅读全文
C 语言中的指针和内存泄漏,程序员最值得关注的10个C开源项目。
Unix/LinuxC技术 jackxiang 2014-12-10 23:36
C 语言中的指针和内存泄漏:
http://www.admin10000.com/document/5590.html
程序员最值得关注的10个C开源项目:
http://www.admin10000.com/document/5368.html
近100个C语言基础算法案例(初级篇):
http://www.admin10000.com/document/5497.html
关于C语言 我喜欢和讨厌的十件事:
http://www.admin10000.com/document/3303.html
http://www.admin10000.com/document/5590.html
程序员最值得关注的10个C开源项目:
http://www.admin10000.com/document/5368.html
近100个C语言基础算法案例(初级篇):
http://www.admin10000.com/document/5497.html
关于C语言 我喜欢和讨厌的十件事:
http://www.admin10000.com/document/3303.html
如何让exec()自己运行,php页面继续运行,让PHP不再阻塞。
Php/Js/Shell/Go jackxiang 2014-12-10 14:50
背景:用Nginx上传插件实现大文件分片上传后,处理子程序的程序需要每次对分片进行合并,但又不想耗费PHP太多内存,只好让shell来干这事儿,同时呢,又不想让PHP用exec合并文件时出现等待,怎么办?
在php中,如果出现exec();那么php是先运行完exec中的外部命令,然后继续执行接下来的php语句的。有什么办法让exec自己在那运行,php语句不等待,自己运行下去,让浏览器不用等待。谢谢。
Note:
如何程序使用此函数启动,为了能保持在后台运行,此程序必须将输出重定向到文件或其它输出流。 否则会导致 PHP 挂起,直至程序执行结束。
exec("命令 > null");
来自:http://zhidao.baidu.com/link?url=sqz2GSYfd3fJWE5F7F_2AR15zpj6VNe-9jc1pMNmmj-3MB5KHOnbzOB_9Dls43TqL1zH0PZmdZuN1AXSc_Xj-_
——————————————————————————————————————————————————————————————
请问在php程序里如何非阻塞地执行另一个.php脚本?
我们知道在命令行里可以用php XX.php调用一个php脚本,
但是在php程序里怎样调用另一个.php脚本呢?
要求有两个:
(1) 非阻塞式的。即主程序执行调用其他脚本的语句后,继续执行下面的语句而不阻塞。
(2) 能否把一些主程序的对象作为参数传给被调用的脚本?可以以变通的方式。
exec("php XX.php")函数貌似不行,因为exec()是阻塞的。
请大家想想办法,如何满足以上这两个解决问题?谢谢!
刚看了看Process Control Functions的说明(英文的没看太明白).不过看到了pcntl_fork()复制进程.
这个和Perl的fork()差不多能实现.不过Process Control Functions不能在windows下使用啊,只能在unix或linux下用.比较不爽啊!!!!!
示範 1.pcntl_fork() example
主进程执行当前程序,让子进程去调用另一个php脚本吧,这不就不阻塞了吗!!!
来自:http://bbs.phpchina.com/thread-23687-1-1.html
当PHP作为后端处理需要完成一些长时间处理,为了快速响应页面请求,不作结果返回判断的情况下,可以有如下措施:
一、若你使用的是FastCGI模式,使用fastcgi_finish_request()能马上结束会话,但PHP线程继续在跑。
这个例子输出结果可看到输出program start.后会话就返回了,所以debug那个输出浏览器是接收不到的,而log.txt文件能完整接收到三个完成时间。
二、使用fsockopen的非阻塞模式请求另外的网址
三、使用Gearman
Gearman是一个具有php扩展的分布式异步处理框架,能处理大批量异步任务。
摘自:http://blog.4wer.com/php-nonblock
PHP中实现非阻塞模式:
http://blog.csdn.net/linvo/article/details/5466046
在php中,如果出现exec();那么php是先运行完exec中的外部命令,然后继续执行接下来的php语句的。有什么办法让exec自己在那运行,php语句不等待,自己运行下去,让浏览器不用等待。谢谢。
Note:
如何程序使用此函数启动,为了能保持在后台运行,此程序必须将输出重定向到文件或其它输出流。 否则会导致 PHP 挂起,直至程序执行结束。
exec("命令 > null");
来自:http://zhidao.baidu.com/link?url=sqz2GSYfd3fJWE5F7F_2AR15zpj6VNe-9jc1pMNmmj-3MB5KHOnbzOB_9Dls43TqL1zH0PZmdZuN1AXSc_Xj-_
——————————————————————————————————————————————————————————————
请问在php程序里如何非阻塞地执行另一个.php脚本?
我们知道在命令行里可以用php XX.php调用一个php脚本,
但是在php程序里怎样调用另一个.php脚本呢?
要求有两个:
(1) 非阻塞式的。即主程序执行调用其他脚本的语句后,继续执行下面的语句而不阻塞。
(2) 能否把一些主程序的对象作为参数传给被调用的脚本?可以以变通的方式。
exec("php XX.php")函数貌似不行,因为exec()是阻塞的。
请大家想想办法,如何满足以上这两个解决问题?谢谢!
刚看了看Process Control Functions的说明(英文的没看太明白).不过看到了pcntl_fork()复制进程.
这个和Perl的fork()差不多能实现.不过Process Control Functions不能在windows下使用啊,只能在unix或linux下用.比较不爽啊!!!!!
示範 1.pcntl_fork() example
主进程执行当前程序,让子进程去调用另一个php脚本吧,这不就不阻塞了吗!!!
来自:http://bbs.phpchina.com/thread-23687-1-1.html
当PHP作为后端处理需要完成一些长时间处理,为了快速响应页面请求,不作结果返回判断的情况下,可以有如下措施:
一、若你使用的是FastCGI模式,使用fastcgi_finish_request()能马上结束会话,但PHP线程继续在跑。
这个例子输出结果可看到输出program start.后会话就返回了,所以debug那个输出浏览器是接收不到的,而log.txt文件能完整接收到三个完成时间。
二、使用fsockopen的非阻塞模式请求另外的网址
三、使用Gearman
Gearman是一个具有php扩展的分布式异步处理框架,能处理大批量异步任务。
摘自:http://blog.4wer.com/php-nonblock
PHP中实现非阻塞模式:
http://blog.csdn.net/linvo/article/details/5466046
nginx运行无扩展名或非PHP扩展名文件的配置方法
Php/Js/Shell/Go jackxiang 2014-12-8 13:52
背景:项目之前是在jsp下,现在想切换成php,如何在nginx中配置运行无扩展名的php文件,或运行不是.php扩展名的文件呢?本文为大家介绍的方法,你可以参考下。
根据下面实践好像不行,出现403:"GET /ICU_UP/clientupload.jsp HTTP/1.0" 403 35
于是修改成urlrewrite格式,如下:
/ICU_UP/clientupload.jsp
转写成:
/ICU_UP/clientupload.php
阅读全文
根据下面实践好像不行,出现403:"GET /ICU_UP/clientupload.jsp HTTP/1.0" 403 35
于是修改成urlrewrite格式,如下:
/ICU_UP/clientupload.jsp
转写成:
/ICU_UP/clientupload.php
阅读全文
用IPTABLES封锁某IP的简单用法
Unix/LinuxC技术 jackxiang 2014-12-7 10:37
背景:nginx流量大增,发现有人在刷,于是给通过iptables屏蔽下,没想到没写端口,导致ssh都连接不上,于是否重启开ping -t服务,趁那一瞬间ping通后还没开iptables,立即ssh上去关掉脚本crontab,关掉iptables服务,后修改只屏蔽80端口,如下:iptables -I INPUT -s 210.245.191.162 -p TCP --dport 80 -j DROP; 脚本见:http://jackxiang.com/post/7671/
阅读全文
阅读全文
linux下,Iptable加过滤IP时提示:iptables: Resource temporarily unavailable.的解决办法
Unix/LinuxC技术 jackxiang 2014-12-6 21:39
背景:过滤蜘蛛程序,iptables出现:
root@119.10.6.**:/usr/local/scripts# sh getRidOfSpam.sh
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable解决方法
由于线程数目超出了最大值。
root用户下查看oracle用户可用的线程数目
vi /etc/security/limits.conf
显示内容类似如下:
iptables soft nproc 2046
iptables hard nproc 16384
nproc就是"max user processes", 修改soft的数目即可。
lsof | grep iptables | wc -l
PHP的php-fpm进程打开文件居然有这么多,太恐怖了,重启一下先:
lsof | grep iptables | wc -l
21
lsof | grep php | wc -l
12970
lsof | grep nginx | wc -l
776
lsof | grep mysql | wc -l
134
查看打开文件的具体信息:
lsof | grep iptables > iptables.txt
参看:http://blog.itpub.net/12457158/viewspace-753400/
————————————————————————————————————————
ulimit -n 65535 解决,但重启无效的解决办法:
linux下,Iptable加过滤IP时提示:iptables: Resource temporarily unavailable.的解决办法
使用ulimit -a 可以查看当前系统的所有限制值,使用ulimit -n 可以查看当前的最大打开文件数。
新装的linux默认只有1024,当作负载较大的服务器时,很容易遇到error: too many open files。因此,需要将其改大。
使用 ulimit -n 65535 可即时修改,但重启后就无效了。(注ulimit -SHn 65535 等效 ulimit -n 65535,-S指soft,-H指hard)
有如下三种修改方式:
1.在/etc/rc.local 中增加一行 ulimit -n 65535
2.在/etc/profile 中增加一行 ulimit -n 65535
3.在/etc/security/limits.conf最后增加如下两行记录
* soft nofile 65535
* hard nofile 65535
具体使用哪种,试试哪种有效吧,我在 CentOS中使用第1种方式无效果,使用第3种方式有效果,而在Debian中使用第2种有效果
——————————————————————————————————————————————————————————————
一)临时改变:
设置各linux 用户的最大进程数,下面我把某linux用户的最大进程数设为10000个:
ulimit -u 10000
ulimit -a
root@119.10.6.**:~# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 46661
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 65535 (因为是tcp协议 要打开套接字,要打开文件句柄,而单进程的最大打开文件句柄操作系统是有限制的,默认是1024)
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) unlimited
cpu time (seconds, -t) unlimited
max user processes (-u) 10000
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
二)永久性改变
解除 Linux 系统的最大进程数和最大文件打开数限制:
vi /etc/security/limits.conf
# 添加如下的行
* soft noproc 11000 #软连接
* hard noproc 11000 #硬连接
* soft nofile 4100
* hard nofile 4100
说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数
root@119.10.6.**:/usr/local/scripts# sh getRidOfSpam.sh
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable.
iptables: Resource temporarily unavailable解决方法
由于线程数目超出了最大值。
root用户下查看oracle用户可用的线程数目
vi /etc/security/limits.conf
显示内容类似如下:
iptables soft nproc 2046
iptables hard nproc 16384
nproc就是"max user processes", 修改soft的数目即可。
lsof | grep iptables | wc -l
PHP的php-fpm进程打开文件居然有这么多,太恐怖了,重启一下先:
lsof | grep iptables | wc -l
21
lsof | grep php | wc -l
12970
lsof | grep nginx | wc -l
776
lsof | grep mysql | wc -l
134
查看打开文件的具体信息:
lsof | grep iptables > iptables.txt
参看:http://blog.itpub.net/12457158/viewspace-753400/
————————————————————————————————————————
ulimit -n 65535 解决,但重启无效的解决办法:
linux下,Iptable加过滤IP时提示:iptables: Resource temporarily unavailable.的解决办法
使用ulimit -a 可以查看当前系统的所有限制值,使用ulimit -n 可以查看当前的最大打开文件数。
新装的linux默认只有1024,当作负载较大的服务器时,很容易遇到error: too many open files。因此,需要将其改大。
使用 ulimit -n 65535 可即时修改,但重启后就无效了。(注ulimit -SHn 65535 等效 ulimit -n 65535,-S指soft,-H指hard)
有如下三种修改方式:
1.在/etc/rc.local 中增加一行 ulimit -n 65535
2.在/etc/profile 中增加一行 ulimit -n 65535
3.在/etc/security/limits.conf最后增加如下两行记录
* soft nofile 65535
* hard nofile 65535
具体使用哪种,试试哪种有效吧,我在 CentOS中使用第1种方式无效果,使用第3种方式有效果,而在Debian中使用第2种有效果
——————————————————————————————————————————————————————————————
一)临时改变:
设置各linux 用户的最大进程数,下面我把某linux用户的最大进程数设为10000个:
ulimit -u 10000
ulimit -a
root@119.10.6.**:~# ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 46661
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 65535 (因为是tcp协议 要打开套接字,要打开文件句柄,而单进程的最大打开文件句柄操作系统是有限制的,默认是1024)
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) unlimited
cpu time (seconds, -t) unlimited
max user processes (-u) 10000
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
二)永久性改变
解除 Linux 系统的最大进程数和最大文件打开数限制:
vi /etc/security/limits.conf
# 添加如下的行
* soft noproc 11000 #软连接
* hard noproc 11000 #硬连接
* soft nofile 4100
* hard nofile 4100
说明:* 代表针对所有用户,noproc 是代表最大进程数,nofile 是代表最大文件打开数
背景:
国内新网的云v5的vps在ping出现请求超时,对方技术说是网络流量超了,装了很多看网路是否真的超了5M,查看:
http://jackxiang.com/post/7671/ 于是否装一个看看并发数的,看流量到底在哪儿出现超了5M/s的,于是安一个status很有必要。
修改nginx配置文件,添加监控状态配置,在nginx.conf的server块中添加如下代码:
这段代码是加在默认的server里的,
假设默认server的配置为
listen 127.0.0.1:80;
server_name 127.0.0.1;
那么访问nginx的状态,就可以通过 curl 127.0.0.1/nginx_status访问了
阅读全文
国内新网的云v5的vps在ping出现请求超时,对方技术说是网络流量超了,装了很多看网路是否真的超了5M,查看:
http://jackxiang.com/post/7671/ 于是否装一个看看并发数的,看流量到底在哪儿出现超了5M/s的,于是安一个status很有必要。
修改nginx配置文件,添加监控状态配置,在nginx.conf的server块中添加如下代码:
这段代码是加在默认的server里的,
假设默认server的配置为
listen 127.0.0.1:80;
server_name 127.0.0.1;
那么访问nginx的状态,就可以通过 curl 127.0.0.1/nginx_status访问了
阅读全文