向东博客 专注WEB应用 构架之美 --- 构架之美，在于尽态极妍 | 应用之美，在于药到病除|赢在IT，Playin' with IT,Focus on Killer Application,Marketing Meets Technology.

问题的提出是源于 这位兄弟的BLOG，在他的这个实现中，Python具有相当不错的性能，不但优于帖子中的C实现性能，也优于随后的跟贴中众多的C++实现的性能。

在经过了多次尝试，我还是很难找出一个优于Python性能的实现。这不是一件正常的事情，Python的性能注定不会优于C/C++，这是因为Python是解释执行的，解释的过程必然会消耗CPU时间，所以我查阅了Python的源码试图找出为何Python对于这个任务有如此好的性能的原因。

任务描述如下

对于一个78W行的文本文件，每一行是一个Email地址，文件中存在有重复的行，任务的要求是尽可能快的从这个文本文件生成一个无重复的Email的文本文件

一些相关的实现，可以参看这个地址
有如下的三个问题需要注意

对于这种大量的字符串比较，直接使用字符串比较函数是严重妨碍性能的
IO性能是要注意的
尽可能的少使用占用内存
在我的尝试中，发现重复调用 ofstream::operator<< 是比较影响性能的，而使用 fprintf或使用copy 等 STL 算法输出到则性能好的多。使用一种好的Hash算法是影响程序性能的关键。任务中的EMail字符串总是具有[a-z]*[0-9]*@([a-z]*\.)+[a-z]* 的形式，例如 joson123@sina.com.cn joson72345@sina.com.cn 的格式。

在$PySrc/Objects/dictobject.c 中，对Python的Hash机制作了一些描述，总的来说，Python的Hash机制对于这种连续型的字符串有相当好的离散度，对于这个 78W 例子，python_hash() % 780000能够很均匀的分散到各个值，最大的冲突数为 8。 以下是按照类似 Python的 Hash算法实现的 C++ 版本的结果

E:\Workspace\Temp\Email>my 经过了1687.5000毫秒 E:\Workspace\Temp\Email>my 经过了1718.7500毫秒 E:\Workspace\Temp\Email>my 经过了1671.8750毫秒 E:\Workspace\Temp\Email>my 经过了1656.2500毫秒 E:\Workspace\Temp\Email>py_email.py 2.82014641526 E:\Workspace\Temp\Email>py_email.py 2.74879181572 E:\Workspace\Temp\Email>py_email.py 2.76348586203 E:\Workspace\Temp\Email>dir *.txt 2006-03-28  13:09        19,388,869 email.txt 2006-03-29  22:51        17,779,266 email_new.txt (py_email.py 写出) 2006-03-29  22:50        17,779,266 email_new_my.txt (my.exe 写出)
py_email.py 的实现参看这里 my.cpp 实现如下 使用 cl /O2 /EHsc /D_CRT_SECURE_NO_DEPRECATE my.cpp 编译
#include <cstdio> #include <windows.h>  using namespace std; #define c_mul(a, b) (a * b & 0xFFFFFFFF) size_t python_hash(const char * str) {   size_t value = str[0] << 7;   size_t len = 0;   while(*str != 0)   {     value = c_mul(1000003, value) ^ *str++;     len++;   }   value = value ^ len;   if (value == (size_t)-1)   value = (size_t)-2;   return value; } size_t hash(const char * str, size_t seed = 1) {   size_t h = 0, g;    size_t len = 0;   while (*str)  {      h = (h << 4) + *str++;      if ((g = (h & 0xF0000000))) {        h = h ^ (g >> 24);        h = h ^ g;        h = h ^ seed;     }      len++;   }    return h;  } #define MAX_TABLE_SIZE (780000) #define MAX_CONFI 9 struct hash_item {   size_t items[MAX_CONFI];   size_t item_count;   hash_item()   {     item_count = 0;   }   bool check_has(const char * str)   {     size_t key = hash(str);     for(size_t i = 0; i < item_count; i++)     {       if (items[i] == key)       return true;     }     items[item_count++] = key;     return false;   } }; int main( void ) {   __int64 t1, t2;   GetSystemTimeAsFileTime( (LPFILETIME)&t1 );   FILE * fin = fopen("email.txt", "r");   FILE * fout = fopen("email_new_my.txt", "w+");   size_t hash_key_a = 0;   size_t hash_key_b = 0;   size_t pos_x = 0;   size_t pos_y = 0;   const char * buffer = NULL;   char line[255];   fgets(line, 255, fin);   hash_item * table = new hash_item[MAX_TABLE_SIZE];   while(!feof(fin))   {     buffer = line;     hash_key_a = python_hash(buffer);     pos_x = hash_key_a % MAX_TABLE_SIZE;     if (!table[pos_x].check_has(buffer))       fprintf(fout, "%s", buffer);       fgets(line, 255, fin);   }   GetSystemTimeAsFileTime( (LPFILETIME)&t2 );   printf( "经过了%I64d.%04I64d毫秒\n", (t2-t1)/10000, (t2-t1)%10000 );   fclose(fin);   fclose(fout);   delete [] table; }


[url=http://wiki.woodpecker.org.cn/moin/BPUG]啄木鸟Python开源社区 [/url]

    我的感觉是一般的女生好像都可以同时和很多男生交往的，然后选出适合自己眼光和条件的并且人品还不错的男生做男朋友；可是男生哪还有那说法！？追一个女生都要付出很多经历和真正的感情的，而且对待自己追的女生稍有懈怠，人家女生就找别的条件好的男生了，现在竞争这么激烈，那还有什么同时和好几个女生交往的说法！所以女生找男朋友或老公还是比男生找女朋友或老婆容易的多，并且长久的多

窃喜十一回家，三杯两盏淡酒. 问心问情，叶落有声，明镜止水，我心亦然。做好准备，回家了。。。

如何给按钮加上链接功能
解决思路：
按钮属于控件级的对象，优先级比较高，所以不能象图片或文本一样直接加链接，只能通过按钮的单击事件调用脚本的方式来实现。
具体步骤：
   1.在原窗口打开链接

   <input type="button"  
value="闪吧" onClick="location=’http://www.flash8.net’">
   <button onClick="location.href=’http://www.flash8.net’">闪吧</button>
   <form action="http://www.flash8.net"><input type="submit" value="打开链接"></form>

   2.在新窗口中打开链接

   <input type="button"  
value="闪吧" onClick="window.open(’http://www.flash8.net’)">
   <button onClick="window.open(’http://www.flash8.net’)">闪吧</button>
   <form action="http://www.flash8.net"  
target="_blank"><input type="submit" value="打开链接"></form>

注意：onClick调用的代码里的引号在只有一重时可以单双嵌套，超过两重就必须用"\"号转义且转义的引号必须跟里层的引号一致，如：

<button onClick="this.innerHTML=’<font color=\’red\’>http://www.flash8.net</font>’">闪吧</button>

或

<button onClick=’this.innerHTML="<font color=\"red\">http://www.flash8.net</font>"’>闪吧</button>

而下面都是错误的写法：

<button onClick="this.innerHTML=’<font color=’red’>http://www.flash8.net</font>’">闪吧</button>

<button onClick="this.innerHTML=’<font color="red">http://www.flash8.net</font>’">闪吧</button>

<button onClick="this.innerHTML=’<font color=\"red\">http://www.flash8.net</font>’">闪吧</button>

提示：大部分属于window或document对象的方法和属性都可以省略前缀window或document，比如说本例中的location.href(location.href又可以简写为location，因为location的默认对象为href)就是window.location.href或document.location.href的省略式写法。
技巧：本例中还可以用下面的方法来代替location.href
location.replace(url)
location.assign(url)
navigate(url)
特别提示
第一步中的代码运行后，单击按钮将跳转到链接目标。而第二步的在单击按钮后将在新窗口中打开链接。

特别说明

本例主要是通过用onClick捕获用户在按钮上的单击事件，然后调用location对象的href方法或window对象的open方法来打开链接。另外一个技巧是通过提交表单来实现链接功能，按钮必须是type=submit类型的按钮，表单的action值就是链接目标，target值就是链接打开的目标方式。

               9.1号搬回学校，第一天骑车上班，一路上飙车很快，尽管自行车，但是哈哈还是很快的，没想到晚上回校的时候在路过北主楼的时候，由于教室射出的灯光晃眼，于是不小心给撞减速带上了，于是给来了个人车共摔了一跤，于是膝盖给摔伤了。。。还好是掉了点皮。
追究其原因：
1.它奶奶的学校就不安个路灯啊。。。。（记得以前按装过，现在坏了就不安装了，要是及时安装好了我还会撞上减速带吗？我晕。。）
2.我骑车慢点可能要好点。
3.车轮子太小，没有稳定性。。

http://www.happycun.com/blog/login.php

find . -name "changeusr*"
find . -type d -name "app*" 查找目录

阅读全文

现在用document.images.length来判断图片个数

      经过昨天各位同学的帮忙，我现在能在中央民族大学二十七号楼的研究生宿舍很安静的上网，成功回到学校，要感谢以下人：老游，小盘，妖怪，东哥，车夫，中天路，丰奎兄，在此在农业科学院渡过了一个很愉快的三个月，在此，昨天帮我搬东西，我都没怎么动手，再次谢谢他们。。。。呵呵。。。

小情歌
词曲:吴青峰
演唱:苏打绿
苏打绿-小情歌
这是一首简单的小情歌
唱着人们心肠的曲折
我想我很快乐
当有你的温热
脚边的空气转了
唱着我们心头的白鸽
我想我很适合
当一个歌颂者
青春在风中飘着
你知道就算大雨让这座城市颠倒
我会给你怀抱
受不了看见你背影来到
写下我度秒如年难捱的离骚
就算整个世界被寂寞绑票
我也不会奔跑
逃不了最后谁也都苍老
写下我时间和琴声交错的城堡
最后谁也都苍老

$ sed '/test/'d example-----删除example文件所有包含test的行。


1. Sed简介
sed是一种在线编辑器，它一次处理一行内容。处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。以下介绍的是Gnu版本的Sed 3.02。

2. 定址
可以通过定址来定位你所希望编辑的行，该地址用数字构成，用逗号分隔的两个行数表示以这两行为起止的行的范围（包括行数表示的那两行）。如1，3表示1，2，3行，美元符号($)表示最后一行。范围可以通过数据，正则表达式或者二者结合的方式确定 。

3. Sed命令
调用sed命令有两种形式：

sed [options] 'command' file(s)

sed [options] -f scriptfile file(s)


a\
在当前行后面加入一行文本。

b lable
分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。

c\
用新的文本改变本行的文本。

d
从模板块（Pattern space）位置删除行。

D
删除模板块的第一行。

i\
在当前行上面插入文本。

h
拷贝模板块的内容到内存中的缓冲区。

H
追加模板块的内容到内存中的缓冲区

g
获得内存缓冲区的内容，并替代当前模板块中的文本。

G
获得内存缓冲区的内容，并追加到当前模板块文本的后面。

l
列表不能打印字符的清单。

n
读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。

N
追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。

p
打印模板块的行。

P（大写）
打印模板块的第一行。

q
退出Sed。

r file
从file中读行。

t label
if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。

T label
错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。

w file
写并追加模板块到file末尾。

W file
写并追加模板块的第一行到file末尾。

!
表示后面的命令对所有没有被选定的行发生作用。

s/re/string
用string替换正则表达式re。

=
打印当前行号码。

#
把注释扩展到下一个换行符以前。

以下的是替换标记
g表示行内全面替换。

p表示打印行。

w表示把行写入一个文件。

x表示互换模板块中的文本和缓冲区中的文本。

y表示把一个字符翻译为另外的字符（但是不用于正则表达式）

4. 选项
-e command, --expression=command
允许多台编辑。

-h, --help
打印帮助，并显示bug列表的地址。

-n, --quiet, --silent
取消默认输出。

-f, --filer=script-file
引导sed脚本文件名。

-V, --version
打印版本和版权信息。

5. 元字符集
^
锚定行的开始 如：/^sed/匹配所有以sed开头的行。

$
锚定行的结束 如：/sed$/匹配所有以sed结尾的行。

.
匹配一个非换行符的字符 如：/s.d/匹配s后接一个任意字符，然后是d。

*
匹配零或多个字符 如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。

[]
匹配一个指定范围内的字符，如/[Ss]ed/匹配sed和Sed。

[^]
匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。

\(..\)
保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。

&
保存搜索字符用来替换其他字符，如s/love/**&**/，love这成**love**。

\<
锚定单词的开始，如:/\
\>
锚定单词的结束，如/love\>/匹配包含以love结尾的单词的行。

x\{m\}
重复字符x，m次，如：/0\{5\}/匹配包含5个o的行。

x\{m,\}
重复字符x,至少m次，如：/o\{5,\}/匹配至少有5个o的行。

x\{m,n\}
重复字符x，至少m次，不多于n次，如：/o\{5,10\}/匹配5--10个o的行。

6. 实例
删除：d命令
$ sed '2d' example-----删除example文件的第二行。

$ sed '2,$d' example-----删除example文件的第二行到末尾所有行。

$ sed '$d' example-----删除example文件的最后一行。

$ sed '/test/'d example-----删除example文件所有包含test的行。

替换：s命令
$ sed 's/test/mytest/g' example-----在整行范围内把test替换为mytest。如果没有g标记，则只有每行第一个匹配的test被替换成mytest。

$ sed -n 's/^test/mytest/p' example-----(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。

$ sed 's/^192.168.0.1/&localhost/' example-----&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加localhost，变成192.168.0.1localhost。

$ sed -n 's/\(love\)able/\1rs/p' example-----love被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。

$ sed 's#10#100#g' example-----不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。

选定行的范围：逗号
$ sed -n '/test/,/check/p' example-----所有在模板test和check所确定的范围内的行都被打印。

$ sed -n '5,/^test/p' example-----打印从第五行开始到第一个包含以test开始的行之间的所有行。

$ sed '/test/,/check/s/$/sed test/' example-----对于模板test和west之间的行，每行的末尾用字符串sed test替换。

多点编辑：e命令
$ sed -e '1,5d' -e 's/test/check/' example-----(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除1至5行，第二条命令用check替换test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。

$ sed --expression='s/test/check/' --expression='/love/d' example-----一个比-e更好的命令是--expression。它能给sed表达式赋值。

从文件读入：r命令
$ sed '/test/r file' example-----file里的内容被读进来，显示在与test匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。

写入文件：w命令
$ sed -n '/test/w file' example-----在example中所有包含test的行都被写入file里。

追加命令：a命令
$ sed '/^test/a\\--->this is a example' example<-----'this is a example'被追加到以test开头的行后面，sed要求命令a后面有一个反斜杠。

插入：i命令
$ sed '/test/i\\

new line

-------------------------' example

如果test被匹配，则把反斜杠后面的文本插入到匹配行的前面。

下一个：n命令
$ sed '/test/{ n; s/aa/bb/; }' example-----如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续。

变形：y命令
$ sed '1,10y/abcde/ABCDE/' example-----把1--10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令。

退出：q命令
$ sed '10q' example-----打印完第10行后，退出sed。

保持和获取：h命令和G命令
$ sed -e '/test/h' -e '$G example-----在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。在这个例子里，匹配test的行被找到后，将存入模式空间，h命令将其复制并存入一个称为保持缓存区的特殊缓冲区内。第二条语句的意思是，当到达最后一行后，G命令取出保持缓冲区的行，然后把它放回模式空间中，且追加到现在已经存在于模式空间中的行的末尾。在这个例子中就是追加到最后一行。简单来说，任何包含test的行都被复制并追加到该文件的末尾。

保持和互换：h命令和x命令
$ sed -e '/test/h' -e '/check/x' example -----互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。

7. 脚本
Sed脚本是一个sed的命令清单，启动Sed时以-f选项引导脚本文件名。Sed对于脚本中输入的命令非常挑剔，在命令的末尾不能有任何空白或文本，如果在一行中有多个命令，要用分号分隔。以#开头的行为注释行，且不能跨行。

8. 小技巧
在sed的命令行中引用shell变量时要使用双引号，而不是通常所用的单引号。下面是一个根据name变量的内容来删除named.conf文件中zone段的脚本：

name='zone\ "localhost"'
sed "/$name/,/};/d" named.conf

阅读全文

<html>
<head>
<script language="javascript">
function showPic(FilePathValue,strShowImgDivID,strW,strH)  
{  
   var Pic = document.getElementById(strShowImgDivID);
   Pic.innerHTML="<img src='"+FilePathValue+"' width='"+strW+"' height='"+strH+"' border='0'>";  
}  
</script>  
</head>
<body>
<input type="file" onChange="showPic(this.value,'div1',200,200);">
<div id="div1"></div>
</body>
</html>

[漫天飞絮]太多时间没有写日记了，开始写日记，但是用本子，而不是博客，博客写技术文章，不谈情感，不外露，不对现实事情发表评论，感觉工作了，太累了，只是想自己喂给一下自己纷乱的思绪，在这孤单角色里，回首都是回忆，9月1号搬家了，回学校了，哈哈，回去读书的感觉，唯一感觉自己不是学生了，是工作的人了呵呵，还好有上研的老乡给我找了个房子，看不出在这一次我接受她的帮忙，本来就不该搬出去，既然知道了，我就回去了，呵呵，搬出来的结果就是花钱，伤心，破费。。。。

     太阳出来了，据说今天很暖和，偌大的屋子里，踩在依然木质的地板上，却阴冷的要命。昨晚第N次没有回家里，没有打开床头的台灯，没有打开手边city fm的广播，没有打开空调，没有回家洗澡，更没有回家睡觉——因为finally，终于搬家了。

NiGHT，又回到这个地方，空荡荡的房间，又一次打开空调打开广播坐在我的榻榻米上打开电脑，听到这首云雾中的高速公路，对白一遍一遍地放，空荡荡的房间都能听到回声。很奇怪，为什么对这房子都有留恋。收拾东西的几天，才发现我的东西那么那么多，装了n箱也没装完，扔掉了很多，带走的更多，留下的更多更多。。。

好些天没有看樱桃小丸子（真人版）了。有一段时间好像都已经迷上了小兰和新一的感情，对这动画片的喜欢，从侦探故事转为感情故事，所以才更加喜欢看剧场版——每一次都是不经意的生离死别和久别重逢。。。

累了。。。

这高速路上的云雾何时才能消散。。。