[实践OK]mysqldump参数-d -t区别及用select into导出查询条件sql的某些字段数据及导入导出方法备案,mysql 导出 结构。

jackxiang 2008-8-11 17:21 | |
背景:有时在上线时出现只需要导出线下包含某个部分的数据,和线上对接上即可,这儿可以用awk实现,当然是用mysqldump直接来实现来得快,但是要是真没有办法还得用脚本来实现,参看:http://jackxiang.com/post/2364/
一)mysqldump 可以导出where条件的sql出来,再source进去(-d -t是有区别的:-d:只是data建表结构,-t:table数据):
mysqldump -d newbbs > newbbs_table_structure_export_2018_06_14.sql  #只导出结构样例实践

实践情况如下:

Q1:
Warning: A partial dump from a server that has GTIDs will by default include the GTIDs of all transactions, even those that changed suppressed parts of the database. If you don't want to restore GTIDs, pass --set-gtid-purged=OFF. To make a complete dump, pass --all-databases --triggers --routines --events.
Q2:
mysqldump: Couldn't execute 'SET OPTION SQL_QUOTE_SHOW_CREATE=1': You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_QUOTE_SHOW_CREATE=1' at line 1 (1064)


——————
下面解决方法来源于网络,针对我的版本是mysql5.6,问题解决:
最后找到解决办法、用新安装的mysql绝对路径来实现备份。
参考:http://blog.sina.com.cn/s/blog_692778030101mycz.html

二)selected into可以有格式也有部分字段导出像:"",""...这样的,再通过load data infile 导入。
导出部分且有条件的SQL:


用mysqldump导出包含查询条件的sql方法(-t,-d在后面讲到):
SELECT * FROM `object_page_common_******` where `published_time` > '2013-11-06 00:00:00'

/usr/local/mysql/bin/mysqldump --set-gtid-purged=OFF ****_cms  object_page_common_****** -t --where="published_time > '2013-11-06 00:00:00'"  > /root/bak/page_common.sql

数据流不大时应该没问题,后直接source /root/bak/page_common.sql 进去就成。

============================================================================
into outfile的加上where也可的给你个例子:
SELECT a,b,a+b INTO OUTFILE '/tmp/result.text'FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'FROM test_table;
LOAD DATA INFILE 'data.txt' INTO TABLE tbl_name
  FIELDS TERMINATED BY ',' ENCLOSED BY '"'
  LINES TERMINATED BY '\n';

mysqldump
mysqlimport

请参考
http://dev.mysql.com/doc/refman/5.1/zh/index.html

实践导出如下:
两种写法:


将导出导入:


导入部分字段时,如果不用分割符号定明,会出现如下错误的,如下修正后就Ok了:
result.txt:
1,"2","3","4",5,6,7,8


代码如下:


导入时一些常用错误
系统报错:
Data truncated for column 'f3' at row 1
可能是由于字段定义为double型,而文本文件中是空值,将文本文件更新为:
abc;cdef;2;
再次导入,报错如下:
Row 1 doesn't contain data for all columns
分析原因可能是由于表中字段一共是5个,而在文本数据源中有了4个字段,少1个字段。
Data truncated for column 'f3' at row 1 ,
我理解系统应当按空值处理,即在数据库中这个字段default值为“-1”











MySQL导出表字段和数据(select into outfile的灵活使用)
比如,有2个字段,name和note,我们可以用
select name,note from test into outfile 'd:\\test.sql';
生成数据文件,但如果我们要求第一行是字段名,怎么做呢?
我这里提供一个方法,那就是union
select name,note from (select 'name','note' from dual union select name,note from test) t into outfile 'd:\\test.sql';
这样,使用合并的查询结果集,就在第一行增加了我们需要的字段,导出的数据也就满足了要求了。
==============================================================================
mysqldump -u app4 -h 10.210.128.197 -P 3600 -p'f40RB12cbE4a' -d app4   > tech.sql  (-d导出结构:data的前缀,只导出表里的数据。)
mysqldump -u app4 -h 10.210.128.197 -P 3600 -p'f40RB12cbE4a' -t app4  >tech.sql     (-t只导出数据:table的前缀,只导出表结构。)
mysqldump -u app4 -h 10.210.128.197 -P 3600 -p'f40RB12cbE4a' app4   > onlineData.sql (导出数据和结构)

mysqldump -u app10 -h 10.210.128.197 -P 3600 -p'f40RB12cbE4a' app10   > onlineData.sql

mysqldump -u app4 -h 10.210.128.197 -P 3600 -p'f40RB12cbE4a'  app4 movie_info  >movie_info.sql  (只导出一个表的数据和结构)

mysqldump -uspace -p123qwe -h10.69.3.108 -P3410   -d space message message_save  syslog >space.sql

出现这种情况:
mysqldump: Got error: 1044: Access denied for user 'space'@'%' to database 'space' when doing LOCK TABLES
用下面加了: --skip-lock-tables  参数即可:
mysqldump -h172.16.6.228 -uspace -P3409  --skip-lock-tables  -p123qwe space  testwall > phplmdb.sql
mysqldump -h172.16.6.228 -uspace -P3409 --skip-lock-tables -p123qwe space  > phplfdb.sql

使用 --skip-lock-tables 参数在 mysqldump 命令中会跳过对表的锁定操作,这意味着备份过程中不会尝试锁定要备份的表。这个参数的作用是确保在备份期间不会影响到正在运行的数据库写操作,因为默认情况下,mysqldump 会在备份时锁定要备份的表,以确保数据的一致性。

导致你之前遇到权限问题的原因是 LOCK TABLES 操作需要足够的数据库权限,以便对要备份的表进行锁定。由于用户 'src_backup' 缺乏这些权限,所以在没有 --skip-lock-tables 参数的情况下出现了权限错误。

通过使用 --skip-lock-tables 参数,mysqldump 不再尝试锁定表,这意味着备份过程中不会产生对表的写锁,从而避免了需要额外权限的情况。但需要注意的是,这样的备份可能在某些情况下导致备份数据不一致,因为备份可能会在备份过程中读取正在进行写操作的数据。因此,在使用 --skip-lock-tables 参数时,需要谨慎考虑数据一致性的问题。

总结来说,使用 --skip-lock-tables 参数可以解决权限问题,允许在没有足够权限的情况下执行备份操作,但需要注意备份数据的一致性。如果你可以确保备份期间不会有写操作,或者不担心备份数据的一致性问题,那么可以继续使用这个参数来导出数据。否则,最好在备份时具备足够的权限以确保数据的完整性。

Q:使用 --skip-lock-tables 参数时,需要谨慎考虑数据一致性的问题,那如果说还是锁表保证一致呢,怎么设置Mysql server端,再就是这种mysqldump从主库导还是从库导出好呢?
A:使用复制:将备份从数据库的主库导出到从库是一种常见的做法,因为从库通常用于只读操作,可以减轻主库的负载。在从库上执行备份操作不会干扰主库上的写操作。
关于是从主库还是从库导出数据的问题,这取决于你的需求和架构。一般来说,从库是一个更安全的备份源,因为它不会干扰主库的写操作,并且可以提供冗余性和高可用性。从库上的备份操作也可以在主库故障时用于快速切换到备用主库。

然而,需要注意的是,从库可能不会及时地复制主库上的所有数据变更,因此如果你需要最新的数据,可能需要在主库上执行备份。此外,从库上的备份操作也会消耗从库的资源,因此需要根据实际情况进行权衡。

综上所述,根据你的具体需求和系统架构,你可以选择从主库或从库中进行备份,但需要注意数据一致性和备份时的负载对系统性能的影响。
===================================================================================



mysqldump备份同一个库的多个表
备份指定数据库的一个或者多个表,用法是:
mysqldump [options] DATABASE TABLE1 [TABLE2 TABLE 3...]
例如备份wordpress数据库的wp_posts表和wp_options表到wordpress_1.sql:

mysqldump -u root -p wordpress wp_posts wp_options > wordpress_1.sql




 1.导入导出

1.mysql导出整个数据库
mysqldump -u 用户名 -p 数据库名 > 导出的文件名

mysqldump -u wcnc -p smgp_apps_wcnc > wcnc.sql

2.mysql导出数据库一个表

mysqldump -u 用户名 -p 数据库名 表名> 导出的文件名

mysqldump -u wcnc -p smgp_apps_wcnc users> wcnc_users.sql

3.mysql导出一个数据库结构

mysqldump -u wcnc -p -d --add-drop-table smgp_apps_wcnc >d:wcnc_db.sql

-d 没有数据 --add-drop-table 在每个create语句之前增加一个drop table

4.mysql导入数据库

常用source 命令

进入mysql数据库控制台,

如mysql -u root -p

mysql>use 数据库

然后使用source命令,后面参数为脚本文件(如这里用到的.sql)

mysql>source d:wcnc_db.sql

2.设置会话字符集编码

set names utf-8;

现在使用MySQL的越来越多了,我也用它做了自已的留言板。在使用过程中,慢慢地就要求对它的管理功能需要近一步的掌握,不仅是我,也是很多网友的要求。现在有一些问题是关于如何从MySQL中导出数据,以便用在本地或其它的数据库系统之上;以及将现有数据导入MySQL数据库中。现在就我学习的情况,就这两个问题作一下小结,内容不是很详细。其实MySQL的手册是很详细的,只不过我把有关这两方面的东西提取出来,加上了一点自已的理解,更详细的请参考数据库的相应章节。

数据导出
  数据导出主要有以下几种方法:

    *   使用select into outfile "filename"语句

    *   使用mysqldump实用程序

   1.   使用select into outfile "filename"语句

  可以在mysql的命令行下或在php程序中执行它。我下面以在mysql命令行下为例。在php中使用时,将其改成相应的查询进行处理即可。不过在使用这个命令时,要求用户拥有file的权限。如我们有一个库为phptest,其中有一个表为driver。现在要把driver卸成文件。执行命令:
  mysql> use phptest;
  Database Changed
  mysql> select * from driver into outfile "a.txt";
  Query OK, 22 rows affected (0.05 sec)

  上面就可以完成将表driver从数据库中卸到a.txt文件中。注意文件名要加单引号。那么这个文件在哪呢?在mysql目录下有一个data目录,它即是数据库文件所放的地方。每个库在单独占一个子目录,所以phptest的目录为c:\mysql\data\phptest(注意:我的mysql安装在c:\mysql下)。好,现在我们进去,a.txt就是它。打开这个文件,可能是:
  1 Mika Hakinnen 1
  2 David Coulthard 1
  3 Michael Schumacher 2
  4 Rubens Barrichello 2
...
  可能还有很多记录。每个字段之间是用制表符分开的(\t)。那么我们可以修改输出文件名的目录,以便放在指定的位置。如"a.txt"可以改成"./a.txt"或"/a.txt"。其中"./a.txt"放在c:\mysql\data目录下了,
而"/a.txt"文件则放在c:\目录下了。所以select命令认为的当前目录是数据库的存放目录,这里是
c:\mysql\data。
  使用select命令还可以指定卸出文件时,字段之间的分隔字符,转义字符,包括字符,及记录行分隔字符。列在下面:
  FIELDS
  TERMINATED BY "\t"
  [OPTIONALLY] ENCLOSED BY ""
  ESCAPED BY "\\"
  LINES
  TERMINATED BY "\n"

TERMINATED 表示字段分隔
[OPTIONALLY] ENCLOSED 表示字段用什么字符包括起来,如果使用了OPTIONALLY则只有CHAR和VERCHAR被包括ESCAPED 表示当需要转义时用什么作为转义字符LINES TERMINATED 表示每行记录之间用什么分隔
  上面列的是缺省值,而且这些项都是可选的,不选则使用缺省值。可以根据需要进行修改。给出一个例子如下:
  mysql> select * from driver into outfile "a.txt" fields terminated by "," enclosed by """;
  Query OK, 22 rows affected (0.06 sec)
结果可能如下:
  "1","Mika","Hakinnen","1"
  "2","David","Coulthard","1"
  "3","Michael","Schumacher","2"
  "4","Rubens","Barrichello","2"
  ...
  可以看到每个字段都用","进行了分隔,且每个字段都用"""包括了起来。注意,行记录分隔符可以是一个字符串,请大家自行测试。不过,如果输出文件在指定目录下如果存在的话就会报错,先删除再测试即可。

      2.  使用mysqldump实用程序

  从上面的select方法可以看出,输出的文件只有数据,而没有表结构。而且,一次只能处理一个表,要处理多个表则不是很容易的。不过可以将select命令写入一个sql 文件(复制文本应该是很容易的吧),然后在命令行下执行即可:mysql 库名<a.sql。而使用mysqldump可以卸出sql文件格式信息(即,内容为sql的命令),也可以卸出纯数据文本或只卸出含有创建表结构而没有数据的sql 文件,同时可以对库中的多个表进行操作,比select的方法可灵活,强大的多,建议使用。下面就详细说明。
  先来个最简单的吧:
mysqldump phptest > a.sql

  可能结果如下:
# MySQL dump 7.1
#
# Host: localhost Database: phptest
#--------------------------------------------------------
# Server version 3.22.32-shareware-debug
#
# Table structure for table "driver"
#
CREATE TABLE driver (
drv_id int(11) DEFAULT "0" NOT NULL auto_increment,
drv_forename varchar(15) DEFAULT "" NOT NULL,
drv_surname varchar(25) DEFAULT "" NOT NULL,
drv_team int(11) DEFAULT "0" NOT NULL,
PRIMARY KEY (drv_id)
);

#
# Dumping data for table "driver"
#

INSERT INTO driver VALUES (1,"Mika","Hakinnen",1);
INSERT INTO driver VALUES (2,"David","Coulthard",1);
INSERT INTO driver VALUES (3,"Michael","Schumacher",2);
INSERT INTO driver VALUES (4,"Rubens","Barrichello",2);
...
  如果有多表,则分别列在下面。可以看到这个文件是一个完整的sql文件,如果要将其导入到其它的数据库中可以通过命令行方式,很方便:mysql phptest < a.sql。如果将数据从本地传到服务器上,则可以将这个文件上传,然后在服务器通过命令行方式装入数据。

  如果只想卸出建表指令,则命令如下:
mysqldump -d phptest > a.sql

  如果只想卸出插入数据的sql命令,而不需要建表命令,则命令如下:
mysqldump -t phptest > a.sql

  那么如果我只想要数据,而不想要什么sql命令时,应该如何操作呢?
mysqldump -T./ phptest driver

  其中,只有指定了-T参数才可以卸出纯文本文件,表示卸出数据的目录,./表示当前目录,即与
mysqldump同一目录。如果不指定driver表,则将卸出整个数据库的数据。每个表会生成两个文件,一个为.sql文件,包含建表执行。另一个为.txt文件,只包含数据,且没有sql指令。

  对卸出的数据文件,也可以同select方法一样,指定字段分隔符,包括字符,转义字段,行记录分隔符。参数列在下面:
--fields-terminated-by= 字段分隔符
--fields-enclosed-by= 字段包括符
--fields-optionally-enclosed-by= 字段包括符,只用在CHAR和VERCHAR字段上
--fields-escaped-by= 转义字符
--lines-terminated-by= 行记录分隔符
  我想大家应该明白这些参数的意思了吧。一个例子如下:
mysqldump -T./ --fields-terminated-by=, --fields-enclosed-by=\" phptest driver

  输出结果为:
"1","Mika","Hakinnen","1"
"2","David","Coulthard","1"
"3","Michael","Schumacher","2"
"4","Rubens","Barrichello","2"
...
  请注意字符的使用。
小结
  以上为使用select和mysqldump实用程序来卸出文本的方法。select适合利用程序进行处理,而mysqldump则为手工操作,同时提供强大的导出功能,并且可以处理整个库,或库中指定的多表。大家可以根据需求自行决定使用。
  同时还有一些方法,如直接数据库文件拷贝也可以,但是移动后的数据库系统与原系统应一致才行。这里就不再提了。

导入
  同导出相类似,导入也有两种方法:
使用LOAD DATA INFILE "filename"命令
使用mysqlimport实用程序
使用sql文件
  由于前两个处理与导出处理相似,只不过是它们的逆操作,故只给出几种命令使用的例子,不再解释了,大家可以自行查阅手册。

  使用load命令:
  load data infile "driver.txt" into table driver fields terminated by "," enclosed by """;

  使用mysqlimport实用程序:
  mysqlimport --fields-terminated-by=, --fields-enclosed-by=\" phptest driver.txt

  对于第三种,则可以使用由mysqldump导出的sql文件,在命令行下执行mysql 库名<sql文件即可,不再细说了。

  文章有不详尽的地方,希望大家参考手册。  
=============================================================================
备份数据库两个主要方法是用mysqldump程序或直接拷贝数据库文件(如用cp、cpio或tar等)。每种方法都有其优缺点:mysqldump如果你想用文件系统备份来备份数据库,也会发生同样的问题:如果数据库表在文件系统备份过程中被修改,进入备份的表文件
http://www.sosof.com/list/mysql/index1523517991535.html

天地网络--网络学院--文章--MySQL--MySQL管理(一)::
在一些情况下,例如由于电源的问题,MySQL数据库可能被损坏。这样的损坏并不总是意味着必须使用备份来恢复。我们将会学习在这样的情况下,我们必须找到一种方法保持我们使用上面介绍的方法用mysqldump制作的备份与当前数据库之间的同步。而解决
http://netschool.tiandinet.com/article_showarticle.php?articleid=12

注意:mysqldump比直接拷贝数据库文件夹速度要慢
但,直接复制文件夹不能100%转移到其它机子上用,我说的不是windows下 :)

#mysqldump db_name >/path/name.sql

上面的命令意思是把一个库导出到一个SQL文件. 当然,你直接在有ROOT密码的机子上执行以上命令一定会报错.所以,请用

#mysqldump db_name >/path/name.sql -uroot -p

这回会要求你输入密码,输入正确,找找/path下是不是有name.sql文件了?

数据库太大了,想压缩一下?好,用这个命令就行

#mysqldump db_name |gzip >/path/name.gz -uroot -p

想备份全部的库呢?

#mysqldump --all-databases >/path/name.sql -uroot -p

#mysqldump --all-databases |gzip >/path/name.gz -uroot -p (很明显,这条命令是加压缩的意思)

只想备份一个单独或者几个表?

有时候数据库很大很大,整个库备份就不好管理,那就单独备份

#mysqldump db_name tab_name >/path/sqlname.sql -uroot -p

备份做好了.遇到问题的时候.怎么用备份恢复数据?

再简单不过了,

mysql db_name < backup-file.sql -uroot -p

注意:如果你想恢复的数据库是包含授权表的mysql数据库,你需要用--skip-grant-table选项运行服务器。否则,它会抱怨不能找到授权表。在你已经恢复表后,执行mysqladmin flush-privileges告诉服务器装载授权标并使用它们

恢复单个表

  恢复单个表较为复杂,如果你用一个由mysqldump生成的备份文件,并且它不包含你感兴趣的表的数据,你需要从相关行中提取它们并将它们用作 mysql的输入。这是容易的部分。难的部分是从只运用于该表的更新日志中拉出片断。你会发觉 mysql_find_rows实用程序对此很有帮助,它从更新日志中提取多行查询。

==============================================================================

MySQL数据库备份和还原的常用命令
备份MySQL数据库的命令
mysqldump -hhostname -uusername -ppassword databasename > backupfile.sql

备份MySQL数据库为带删除表的格式
备份MySQL数据库为带删除表的格式,能够让该备份覆盖已有数据库而不需要手动删除原有数据库。
mysqldump -–add-drop-table -uusername -ppassword databasename > backupfile.sql

直接将MySQL数据库压缩备份
mysqldump -hhostname -uusername -ppassword databasename | gzip > backupfile.sql.gz

备份MySQL数据库某个(些)表
mysqldump -hhostname -uusername -ppassword databasename specific_table1 specific_table2 > backupfile.sql

同时备份多个MySQL数据库
mysqldump -hhostname -uusername -ppassword –databases databasename1 databasename2 databasename3 > multibackupfile.sql

仅仅备份数据库结构
mysqldump –no-data –databases databasename1 databasename2 databasename3 > structurebackupfile.sql

备份服务器上所有数据库
mysqldump –all-databases > allbackupfile.sql

还原MySQL数据库的命令
mysql -hhostname -uusername -ppassword databasename < backupfile.sql

还原压缩的MySQL数据库
gunzip < backupfile.sql.gz | mysql -uusername -ppassword databasename

将数据库转移到新服务器
mysqldump -uusername -ppassword databasename | mysql –host=*.*.*.* -C databasename

作者:jackxiang@向东博客 专注WEB应用 构架之美 --- 构架之美,在于尽态极妍 | 应用之美,在于药到病除
地址:https://jackxiang.com/post/1188/
版权所有。转载时必须以链接形式注明作者和原始出处及本声明!


最后编辑: jackxiang 编辑于2023-9-25 18:02
评论列表
发表评论

昵称

网址

电邮

打开HTML 打开UBB 打开表情 隐藏 记住我 [登入] [注册]