ClickHouse 大数据量的迁移方式
关于Clickhouse 备份方式，其官方网站上就提供了多种备份方式可以参考，不同的业务需求有不同的使用场景，需要使用不同的备份方式，不存在一个通用的解决方案可以应对各种情况下的ClickHouse备份和恢复。今天这个文字，我们介绍的是各种不同的Clickhouse的迁移方式，具体使用场景还需要根据要求进行选择。
一、 文本文件导入导出
数据库里的数据导出成特定的格式，再导入，这种方式很直接，也很简单容易理解，但是只能使用在数据量小的情况下，如果数据量一旦大，这种方式就是灾难。
导出：
clickhouse-client --password 12345678 --query="select * from inuser.t_record FORMAT CSV" > record.csv导入: 注意FORMAT后面大写
cat inuser.record.csv | clickhouse-client --port 9008 --password 12345678 --query="INSERT INTO inuser.record FORMAT CSV"二、 拷贝数据目录
冷数据恢复，直接拷贝走clickhouse 的数据到另一台机器上，修改下相关配置就可以直接启动了，仔细的观察一下 ClickHouse 在文件系统上的目录结构（配置文件
/ect/clickhouse-server/config.xml 里面配置的
基于这个信息，直接把data和metadata目录（要排除 system 库）复制到新集群，即可实现数据迁移
步骤：
1、停止原先的clickhouse数据库，并打包好 对应数据库或表的 data 和 metadata 数据
2、拷贝到目标clickhouse数据库对应的目录，比如/var/lib/clickhouse 目录下
3、给clickhouse 赋予权限, chown -Rf clickhouse:clickhouse /var/lib/clickhouse/*chown -Rf clickhouse:clickhouse /var/lib/clickhouse
4、重启目标clickhouse数据库
5、验证数据select count(1) form inuser.t_record;三、 使用第三方工具，clickhouse-backup
clickhouse-backup 是社区开源的一个 ClickHouse 备份工具，可用于实现数据迁移。其原理是先创建一个备份，然后从备份导入数据，类似 MySQL 的 mysqldump + SOURCE。这个工具可以作为常规的异地冷备方案
# 使用限制：
- 支持1.1.54390以上的ClickHouse
- 仅MergeTree系列表引擎
- 不支持备份Tiered storage或storage_policy
- 云存储上的最大备份大小为5TB
- AWS S3上的parts数最大为10,000
（1）、下载clickhouse-backup 软件包
官方提供了二进制版本和rpm包的方式
github地址： https://github.com/AlexAkulov/clickhouse-backup
下载地址： https://github.com/AlexAkulov/clickhouse-backup/releases/download/v1.0.0/clickhouse-backup.tar.gz
（2）、修改clickhouse-backup 配置文件config.yml
# 根据clickhouse自身的配置来修改 此配置文件，比如 clickhouse的数据目录，数据库密码，监控地址及端口
官方的配置说明：
clickhouse-backup 除了备份到本机，此外还支持远程备份的方式，备份到s3 上【对象存储】，ftp，sftp 上，还支持 使用 api 接口 访问
（3）、查看clickhouse-backup 相关命令
1、 查看全部默认的配置项
clickhouse-backup default-config2、 查看可备份的表【已在配置文件中过滤掉system和default 库下面的所有表】
[root@localhost clickhouse-backup]# clickhouse-backup tablesbrdatasets.hits_v1 1.50GiB default 3、 创建备份
#全库备份
clickhouse-backup create备份存储在中 $data_path/backup 下，备份名称默认为时间戳，可手动指定备份名称
clickhouse-backup create 备份包含两个目录：
- metadata目录: 包含重新创建所需的DDL SQL
- shadow目录: 包含作为ALTER TABLE ... FREEZE操作结果的数据
单表备份
clickhouse-backup create [-t, --tables=.]
备份表datasets.hits_v1
clickhouse-backup create -t datasets.hits_v1
备份多个表datasets.hits_v1， datasets.hits_v2
clickhouse-backup create -t datasets.hits_v1,datasets.hits_v2
4、查看备份记录
[root@localhost datasets]# clickhouse-backup list
5、删除备份文件
[root@localhost datasets]# clickhouse-backup delete local 2021-09-06T14-03-23
（4）、数据恢复
语法：
clickhouse-backup restore 备份名
四、使用clickhouse-backup备份与恢复数据
4.1 、本机备份与恢复
4.2、异机远程备份与恢复
五、使用脚本定期异机远程备份
六、常见问题
1、问题现象：使用clickhouse-backup 恢复数据时，提示UUID 问题
上一篇：中国计算机大会CNCC【笔记】
相关内容
热门资讯
北京的名胜古迹 北京最著名的景...
北京从元代开始，逐渐走上帝国首都的道路，先是成为大辽朝五大首都之一的南京城，随着金灭辽，金代从海陵王...
回归分析结果怎么看 spss回...
性研究领域，无论是现况调查、病例对照研究、还是队列研究，经常遇到分类的健康结局，包括二分类（如：生存...
苗族的传统节日 贵州苗族节日有...
【岜沙苗族芦笙节】岜沙，苗语叫“分送”，距从江县城7.5公里，是世界上最崇拜树木并以树为神的枪手部落...
长白山自助游攻略 吉林长白山游...
昨天介绍了西坡的景点详细请看链接：一个人的旅行，据说能看到长白山天池全凭运气，您的运气如何？今日介绍...
应用未安装解决办法 平板应用未...
---IT小技术，每天Get一个小技能！一、前言描述苹果IPad2居然不能安装怎么办？与此IPad不...
脚上的穴位图 脚面经络图对应的...
人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用，包括头部穴位图、胸部穴位图、背部穴位图、胳...
世界上最漂亮的人 世界上最漂亮...
此前在某网上，选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中，人们投票选出了心目中最美...
demo什么意思 demo版本...
618快到了，各位的小金库大概也在准备开闸放水了吧。没有小金库的，也该向老婆撒娇卖萌服个软了，一切只...
猫咪吃了塑料袋怎么办 猫咪误食...
你知道吗？塑料袋放久了会长猫哦！要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
苗族的传统节日 贵州苗族节日有...
【岜沙苗族芦笙节】岜沙，苗语叫“分送”，距从江县城7.5公里，是世界上最崇拜树木并以树为神的枪手部落...
长白山自助游攻略 吉林长白山游...
昨天介绍了西坡的景点详细请看链接：一个人的旅行，据说能看到长白山天池全凭运气，您的运气如何？今日介绍...
世界上最漂亮的人 世界上最漂亮...
此前在某网上，选出了全球265万颜值姣好的女性。从这些数量庞大的女性群体中，人们投票选出了心目中最美...
北京的名胜古迹 北京最著名的景...
北京从元代开始，逐渐走上帝国首都的道路，先是成为大辽朝五大首都之一的南京城，随着金灭辽，金代从海陵王...
wlan密码 wlan密码忘记...
电脑使用一段时间后，很多用户不记得wifi密码了，遇到这种情况怎么办呢？接下来分享wifi密码忘记了...
应用未安装解决办法 平板应用未...
---IT小技术，每天Get一个小技能！一、前言描述苹果IPad2居然不能安装怎么办？与此IPad不...
猫咪吃了塑料袋怎么办 猫咪误食...
你知道吗？塑料袋放久了会长猫哦！要说猫咪对塑料袋的喜爱程度完完全全可以媲美纸箱家里只要一有塑料袋的响...
脚上的穴位图 脚面经络图对应的...
人体穴位作用图解大全更清晰直观的标注了各个人体穴位的作用，包括头部穴位图、胸部穴位图、背部穴位图、胳...
demo什么意思 demo版本...
618快到了，各位的小金库大概也在准备开闸放水了吧。没有小金库的，也该向老婆撒娇卖萌服个软了，一切只...