[实践OK]DD命令复制磁盘文件,服务器磁盘坏块检查,Linux下分割、合并文件——dd和cat,linux dd指令用法中参数bs,count,linux dd磁盘坏块修复。

jackxiang 2013-4-18 17:15 | |
DD命令复制磁盘文件:
linux下使用dd命令复制磁盘
# dd if=/dev/sdc of=/dev/sdd bs=2M status=progress



服务器磁盘坏块检查:


badblocks -s -v /dev/sdb  
实践如下:

====================================================
linux dd指令用法中参数bs,count:
bs=600 count=1,备份第一块为600个字节的区域
若显示0+0,表示备份的空间不到一块指定大小的区域.(大小默认好象为512个字节)
bs=512 count=2,备份前2块总共为1024个字节的区域
屏幕上显示2+1,表示备份了2个块,1表示文件被整个备份了
屏幕上显示2+0,表示备份了2个块,0表示文件没被整个备份

cat /tmp/sdbbadblocks.log
774968152 774968153 774968154 774968155 774968900 774968901 774968902 774968903 774969648 774969649 774969650 774969651 774970396 774970397 774970398 774970399 774971144 774971145 774971146 774971147 774971892 774971893 774971894 774971895 774973516 774973517 774973518 774973519
写入:
badblocks -w -f /dev/sda 774968152 774968153 774968154 774968155 774968900 774968901 774968902 774968903 774969648 774969649 774969650 774969651 774970396 774970397 774970398 774970399 774971144 774971145 774971146 774971147 774971892 774971893 774971894 774971895 774973516 774973517 774973518 774973519

badblocks是Linux下常用的坏道修复工具。当你觉得硬盘上可能有坏道,或者是SMART数据显示有坏道的时候,都可以用badblocks来检查一下。

假设我们要检查的硬盘是/dev/sdb

$sudo badblocks -s -v -o sdbbadblocks.log /dev/sdb

这样就可以对硬盘进行只读扫描,自动获取硬盘块数目并扫描全部块,将扫描日志输出到屏幕同时记录在sdbbadblocks.log文件中。

由于扫描速度比较低,一次不一定能扫完,可以分多次进行。

sudo badblocks -s -v -o sdbbadblocks.log /dev/sdb END START

将END和START换成结束和开始的块的编号就可以了。

如果找到了坏道,可以进行写入扫描进行修复。写入扫描遇到坏道的时候会自动重映射。写入扫描会覆盖原有数据,所以请先备份。写入扫描速度很低,所以应该只扫描只读扫描时候发现错误的部分。

$sudo badblocks -w -s /dev/sdb END START

背景:Unix上传文件如果是分块断点上传,需要合并文件,如果是想做测试,需要分割文件。
我們得到了一个文件/root/sdb.bad :

16435904

sdb 有1个坏块

先用dd尽量备份坏块

6.dd if=/dev/sdb bs=4096 skip=16435904 of=/tmp/15435904.dat count=1

如果显示读取字节数是0就多试几次, 不行就可能丢失此块数据, 倒是不用担心,一般不会有太大问题.

用badblocks的写测试功能,对这些坏块进行重写(注意! -w写测试会覆盖数据):

7.badblocks -w -f /dev/sdb2 16435904 16435904

如果前面的操作有成功的备份/tmp/15435904.dat, 就把它写回:

8.dd if=/tmp/15435904.dat of=/dev/sdb seek=15435904 bs=4096 count=1

其实我们不需要等待badblocks扫描完成, 就可以进行修复。

badblocks是对块设备进行处理, 所以可以实现对挂载中的系统进行处理。

在修复前后,利用smartctl 对磁盘进行long测试

# smartctl -l selftest /dev/sdb

dd的作用是转换和拷贝文件,我们可以利用它来分割文件,相关的选项如下:
if=filename:输入的文件名
of=finename:输出的文件名
bs=bytes:一次读写的字节数,默认是512bytes
skip=blocks:拷贝前,跳过的输入文件的前blocks块,块的大小有bs决定
count=blocks:只拷贝输入文件的前blocks块

例如,现在有一个文件file,大小为116616字节:
[plain] view plaincopy
[root]# du -b file  
116616  file  
将其分割为两文件file1和file2,那我们就设置每块为1024字节,将file的前60块放入file1,余下的放入file2:
[plain] view plaincopy
[root]# dd if=file bs=1024 count=60 skip=0  of=file1  
[root]# dd if=file bs=1024 count=60 skip=60 of=file2  
然后用cat将两个文件合并为file.bak,要注意文件的顺序:
[plain] view plaincopy
[root]# cat file1 file2 > file.bak  
可以用md5sum验证一下file和file.bak:
[plain] view plaincopy
[root]# md5sum file  
3ff53f7c30421ace632eefff36148a70  file  
[root]# md5sum file.bak  
3ff53f7c30421ace632eefff36148a70  file.bak  
可以证明两个文件时完全相同的。

为了方便分割、合并文件,我写了两个脚本:
ddf.sh:
[python] view plaincopy
#ddf.sh:分割文件,分割后的文件以数字结尾,例如file分割为两个文件:file1和file2  
#!/bin/sh  
  
#使用脚本是第一参数是要分割的文件名  
Filename=$1    
Filesize=0  
  
Path=`pwd`  
  
#验证文件名是否正确,然后计算文件的大小  
if [ -z $Filename ];then  
    echo "Error:The file name can not be empty"  
    exit  
fi  
if [ -e $Filename ];then  
    Filesize=`du -b $Filename | awk '{print $1}'`  
    if [ $Filesize == 0 ];then  
        echo "Error:The File size is zero!"  
        exit  
    fi  
    echo "The file size is $Filesize Byte"  
    echo "Plese enter the subfile size(KB):"  
else  
    echo "Error:$Filename does not exist!"  
    exit  
fi  
  
#输入分割后每个文件的大小,单位是KB  
read Subfilesize  
if [ -z $Subfilesize ];then  
    echo "Error:Input can not be empty"  
    exit  
fi  
  
echo $Subfilesize | grep '^[0-9]\+$' >> /dev/null  
if [ $? -ne 0 ];then  
    echo "Error:The Input is not a number!"  
    exit  
elif [ $Subfilesize -eq 0 ];then  
    echo "Error:The Subfile size is zero!"  
    exit  
fi  
  
#计算需要分割为几个文件  
SubfileByte=`expr $Subfilesize \* 1024`  
Subfilenum=`expr $Filesize / $SubfileByte`  
if [ `expr $Filesize % $Subfilesize` -ne 0 ];then  
    Subfilenum=`expr $Subfilenum + 1`  
fi  
  
#将文件分割  
echo "$Filename will be divided into $Subfilenum"  
i=1  
skipnum=0  
while [ $i -le $Subfilenum ]  
do  
    echo "$Filename$i"  
    dd if=$Filename of="$Path/$Filename$i" bs=1024 count=$Subfilesize skip=$skipnum  
    i=`expr $i + 1`  
    skipnum=`expr $skipnum + $Subfilesize`  
done  
echo "$Filename has been divided into $Subfilenum"  
echo "Done !"  

caf.sh:
[python] view plaincopy
#caf.sh:合并文件,需要合并的文件要放在一个文件夹里  
#       文件名分为两个部分,第一部分都相同,第二部分必须是从1开始的连续数字,例如file1,file2,file3  
#       合并后的文件名为file.bak  
#!/bin/sh  
  
#输入文件名的第一部分  
echo "Please enter file name:"  
read Filename  
if [ -z $Filename ];then  
    echo "Error:File name can not be empty"  
    exit  
fi  
  
#输入待合并文件的个数  
echo "Please enter the number of subfiles:"  
read Subfilenum  
if [ -z $Subfilenum ];then  
    echo "Error:The number of subfiles can not be empty"  
    exit  
fi  
echo $Subfilenum | grep '^[0-9]\+$' > /dev/null  
if [ $? -ne 0 ];then  
        echo "Error:Input must be a number"  
exit  
fi  
if [ $Subfilenum -eq 0 ];then  
        echo "Error:The number of subfiles can not be zero"  
exit  
fi  
  
  
#合并文件  
i=1  
Newfile=$Filename\.bak  
while [ $i -le $Subfilenum ]  
do  
    Subfilename=$Filename$i  
        if [ -e $Subfilename ];then  
            echo "$Subfilename done!"  
            cat $Subfilename >> $Newfile  
            i=`expr $i + 1`  
        else  
            echo "Error:$Subfilename does not exist"  
            rm -rf $Newfile  
            exit  
        fi  
done  
  
  
echo "Subfiles be merged into $Newfile"  
echo "Success!"  

用这两个脚本完成对file的分割、合并:
[python] view plaincopy
[root]# ./ddf.sh file  
The file size is 116616 Byte  
Plese enter the subfile size(KB):  
60  
file will be divided into 2  
file1  
记录了60+0 的读入  
记录了60+0 的写出  
61440字节(61 kB)已复制,0.0352612 秒,1.7 MB/秒  
file2  
记录了53+1 的读入  
记录了53+1 的写出  
55176字节(55 kB)已复制,0.0316272 秒,1.7 MB/秒  
file has been divided into 2  
Done !  
[root]# ls  
caf.sh  ddf.sh  file  file1  file2  
[root]# ./caf.sh  
Please enter file name:  
file  
Please enter the number of subfiles:  
2  
file1 done!  
file2 done!  
Subfiles be merged into file.bak  
Success!  
[root]# ls  
caf.sh  ddf.sh  file  file1  file2  file.bak  

来自:http://blog.csdn.net/exbob/article/details/6636255
参考:http://www.linuxeden.com/html/front/20071015/35768.html

作者:jackxiang@向东博客 专注WEB应用 构架之美 --- 构架之美,在于尽态极妍 | 应用之美,在于药到病除
地址:https://jackxiang.com/post/6270/
版权所有。转载时必须以链接形式注明作者和原始出处及本声明!


最后编辑: jackxiang 编辑于2022-2-27 22:58
评论列表
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]