【玩转腾讯云】自建ES通过COS快照迁移到腾讯云的最佳实践

发布于：2024-10-24 编辑：匿名来源：网络

1.场景介绍。使用3台CVM在腾讯云同一个VPC内部署自建ES集群。

您可以使用自建 Elasticsearch 拍摄快照存储在 COS 中，使用 COS 中的快照恢复数据库，并将自建 Elasticsearch 数据迁移到腾讯云 Elasticsearch。 2. 实施步骤 2.1．编译elasticsearch-repository-cos插件并克隆源代码。

源码地址：7.x之前版本，执行mvn package编译代码语言：txt copy mvn clean package2)7.x之后版本，使用gradle 编译代码语言：txt copy gradle build2.2，安装elasticsearch-repository -自建ES集群上的cos插件。编译完成后，将target/release/目录下的zip包下载到ES集群各节点Elasticsearch根目录下的plugins目录下。

，执行插件安装。代码语言：txt copy #执行插件安装/$your_elasticsearch_dir/bin/elasticsearch-plugin install 创建COS存储桶，用于备份和恢复注：创建和自行-construction 同地域ES集群的标准存储类型COS。

创建桶地址：在自建ES上创建仓库：代码语言：txt 复制 PUT _snapshot/my_cos_backup{ "type": "cos", "settings": { "app_id": "xxx", "access_key_id": "xxx" , "access_key_secret": "xxx", "bucket": "vicwan1", "region": "ap-shanghai", "compress": true, "chunk_size": "mb", "base_path": "/" }} ? 桶：COS 桶名称。新版本的 COS Bucket 名称将带有 -{appId} 后缀。

? Region：COS Bucket 区域，建议与 ES 集群在同一区域。 ? base_path：备份目录，形式为dir1/dir2/dir3，不需要写第一个'/'。

? app_id：腾讯云账号APPID，6.8以后版本废弃。 app_id已包含在bucket参数中。

2）获取仓库信息：代码语言：txt copy # GET /_snapshot/my_cos_backup?pretty{ "my_cos_backup" : { "type" : "cos", "settings" : { "access_key_id" : "xxx", "bucket" : “vicwan1”，“chunk_size”：“mb”，“压缩”：“true”，“access_key_secret”：“xxx”，“base_path”：“/”，“region”：“ap-shanghai”，“app_id”： “xxx”}}}2.5。在自建源ES集群中创建快照1）指定索引product_info、product_info、china备份到指定仓库，创建快照并命名为snapshot_1：代码语言：txt copy PUT \_snapshot/my\_cos\ _backup /snapshot\_1{ "indices": "product\_info1,product\_info,china"}2) 获取snapshot_1快照信息，包括product_info、product_info、china三个索引：代码语言：txt copy # GET /_snapshot/ my_cos_backup/ snapshot_1{ “快照” : [ { “快照” : “snapshot_1”, "uuid" : "CeUrjM7nT7SbzW_q3pHJNw", "version_id" : , "version" : "7.5.1", "indices" : [ "product_info1", "product_info", "china" ], "include_global_state" : true, "state " : "成功", "start_time" : "03-26T02:49:44.Z", "start_time_in_millis" : 2, "end_time" : "03-26T02:49:45.Z", "end_time_in_millis" : 2, "duration_in_millis" : , "failures" : [ ], "shards" : { "total" : 3, "failed" : 0, "successful" : 3 } } ]} 2.6. 在目标 ES 集群中创建存储库。

中的仓库与在源ES集群中创建仓库类似：代码语言：txt 复制 PUT _snapshot/my_cos_backup{ "type": "cos", "settings": { "app_id": "xxx", "access_key_id": "xxx", "access_key_secret": "xxx", "bucket": "xxx", "region": "ap-shanghai", "compress": true, "chunk_size": "mb" , "base_path": "/" }}2.7. 将源ES集群快照移至目标ES集群的仓库中，将自建源ES集群创建的快照上传至目标ES集群创建的仓库中。：如果自建源集群使用同一个桶作为目标腾讯云ES集群仓库，则不需要进行这一步的迁移，对目标ES集群进行快照恢复，会恢复snapshot_1中的备份。

全部索引恢复到当前ES集群代码语言：txt copy POST _snapshot/my_cos_backup/snapshot_1/_restore2.9、查看目标ES集群中恢复效果 1）通过执行_recovery命令，可以查看状态监控快照恢复的进度。代码语言：txt复制# GET /china/_recovery{ "china" : { "shards" : [ { "id" : 0, "type" : "PEER", "stage" : "DONE", "primary" : false ，“start_time_in_millis”：1，“stop_time_in_millis”：0，“total_time_in_millis”：，“源”：{“id”：“YZYEt4shQvKR-rRyHww_iQ”，“主机”：“9.20.51.55”，“transport_address”：“9.20。

51.55:8", "ip" : "9.20.51.55", "名称" : "" }, "目标" : { "id" : "_dqCSAxqS8uhBRV5XoBukw", "主机" : "9.20.37.10", "transport_address" : "9.20.37.10:9", "ip" : "9.20.37.10", "name" : "" }, "index" : { "size" : { "total_in_bytes" : , "reused_in_bytes" : 0, "recovered_in_bytes" : , "percent" : ".0%" }, "files" : {“总计”：4，“重用”：0，“恢复”：4，“百分比”：“.0%”}，“total_time_in_millis”：53，“source_throttle_time_in_millis”：0，“target_throttle_time_in_millis”：0}，“ translog" : { "恢复" : 0, "总计" : 0, "百分比" : ".0%", "total_on_start" : 0, "total_time_in_millis" : 49 }, "verify_index" : { "check_index_time_in_millis" : 0, "total_time_in_millis" : 0 } }, { "id" : 0, "type" : "SNAPSHOT", "stage" : "完成", "primary" : true, "start_time_in_millis" : 6, "stop_time_in_millis " : 8, "total_time_in_millis" : , "source" : { "repository" : "my_cos_backup", "snapshot" : "snapshot_1", "version" : "7.5.1", "index" : "china", "restoreUUID " : "TMDLqnfLQxOKhiaccu_8gw" }, "目标" : { "id" : "YZYEt4shQvKR-rRyHww_iQ", "主机" : "9.20.51.55", "传输地址" : "9.20.51.55:8", "ip" : "t;9.20.51.55", "name" : "" }, "index" : { "size" : { "total_in_bytes" : , "reused_in_bytes" : 0, "recovered_in_bytes" : , "percent" : ".0%" }，“文件”：{“总计”：4，“重用”：0，“恢复”：4，“百分比”：“.0％”}，“total_time_in_millis”：，“source_throttle_time_in_millis”：0，“target_throttle_time_in_millis” : 0 }, "translog" : { "恢复" : 0, "总计" : 0, "百分比" : ".0%", "total_on_start" : 0, "total_time_in_millis" : 13 }, "verify_index" : { "check_index_time_in_millis" : 0, "total_time_in_millis" : 0 } } ] }}2) 通过 GET _cat/indices 还可以看到恢复后的product_info、product_info、china 三个索引代码语言：txt复制# GET _cat/indicesgreen open .triggered_watches kUS9rh35RqigHHouryvqVA 1 1 0 0 11.1mb 1.7mbgreen open .watcher-history-10-.03.23 1EtU6m6dRjGjfv46uv5e-A 1 1 0 20.7mb 10.4mbgreen open .watcher-历史-10- .03.24 Ys2seFP8SDaOQvIGLF9bvA 1 1 0 20.8mb 10.4mbgreen 打开 .watcher-history-10-.03.25 o0DXSBs0TC2pcPlaUDxY8g 1 1 0 20.7mb 10.4mbgreen 打开 .watcher-history-10-.03.26 DRJtzBksRU69 XGOhiPvZvQ 1 1 0 2.8mb 1.3mbgreen 打开product_info fQR8MeW7SB- f9RIzdxKviA 1 1 6 0 14.3kb 7.1kbgreen 打开 .kibana_task_manager_1 OFDRGDP6R2iJ0USLxiVVVQ 1 1 2 1 52kb 26kbgreen 打开 .watcher-history-10-.03.20 is3B6fciRpCZjhSpB5jQUQ 1 1 0 20.7mb 10.3mbgreen 打开 .watcher-history-10-.03.21 q9tQf3PARQa3qbWmoIUiBg 1 1 0 20.8mb 10.4mbgreen 打开 .watcher-history-10-.03.22 VltO9hkBRui_W1zJ4G-gog 1 1 0 20.7mb 10.3mbgreen 打开 .watches9IRnsMTlTjWPvO7UTlUEBg 1 1 6 .2mb 18.1mbgreen 开放 .monitoring-kibana-7-.03.21 bQkHgXTGR6u0-dULOTbjJg 1 1 9 0 7.8mb 3.9mbgreen 开放 .monitoring-kibana-7-.03.22 TKdSnk-OQn2G83 F-JIOUW 1 1 0 0 7.8mb 3.9mbgreen 打开 .monitoring-kibana-7-.03.23 6jlabJy6TF2vX64C_IJa-Q 1 1 9 0 7.7mb 3.8mbgreen 打开 .monitoring-kibana-7-.03.24 aHLoKJ1aRxKr2miXWQfd5g 1 1 9 0 7.8mb 3.9mbgreen 打开.监控-es-7- .03.25 HDtgSeBISCWfPGmi2x-2JA 1 1 69 0 .1mb .4mbgreen 打开 .monitoring-es-7-.03.26 5qqnHxLDRXSOVnbSkZP5wA 1 1 8 6 61.5mb 30.7mbgreen 打开 .monitoring-es-7-.03.23 Ifkj6UVtSiev 1ZTi0iWiFg 1 1 54 0 .1mb 。 5mbgreen 打开 .monitoring-kibana-7-.03.20 H2Jto6qzRZ2NMcTMPXaeRA 1 1 0 0 7.7mb 3.8mbgreen 打开 .monitoring-es-7-.03.24 zCR1AgKCSPewbjb4GEygcw 1 1 42 0 .5mb .7mbgreen 打开 .apm-agent-configuration bU 2nhRYaRNAbz4qHm5ki0Q 1 1 0 0 b bgreen 开放n .monitoring-es-7-.03.21 10sl5x5jsagswj3ywxghkg 1 1 53 0 .2MB .2MB.2MBGREEN .monitoring-emitoring-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-es-esmbbgreen。

20 Od-u7vcTSGCDmiQ5RR0jcQ 1 1 54 0 .3mb .1mbgreen 打开 .monitoring-kibana-7-.03.25 3uDDj29VQRWA2sDrX_dwiA 1 1 0 0 7.8mb 3.9mbgreen 打开 .kibana_1 lmoFP20KQfe7aH2_grOMGA 1 1 6 0 15.9kb 7.9kb绿色打开 .monitoring-kibana-7 -.03.26 ppiG3vIeQTmhYEVIZgpvww 1 1 0 1.1mb .5kbgreen 开放 .security-7 Krmy_ufbS1CKLVIwUWLrww 1 1 36 0 .3kb 63.8kbgreen 开放中国 u86DmfuVTgaGm-hC6Y7rrg 1 1 2 0 13k b 6.5kb绿色打开product_info1 QoYLdvBYS9GFjHHaR xN6Tg 1 1 6 0 14kb 7kb2.10,常见问题 1) 提示找不到桶？在 6.x 版本中，COS 存储桶名称中已包含 appid。如果您使用 buceket1- 形式的存储桶名称，请不要传递 appid 参数。

如果您使用不包含appid的早期存储桶名称，请传递appid参数。2）创建快照时找不到索引？请确认indices参数传入的索引列表中的索引名称是否正确且不包含空格。

站长声明

标签：

上一篇：【玩转Cloud Studio】项目合作新姿势：基于Cloud Studio云IDE进行项目开发、部署和团队协作

下一篇：AI专题用户练习作文征集

优存科技获数千万元B轮融资，由亿达资本领投

投资界（ID：pedaily）消息，近日，闪存芯片设计公司南京优存科技有限公司（以下简称“优存科技”）优存科技获数千万人民币B轮融资，由亿达资本领投。本轮融资将主要用于加大技术和产品研发投入，加快高可靠性NOR闪存产品和内存计算芯片产品的开发和应用落地。优存科技成立

06-18
TrendForce：预计2025年电动汽车市场6英寸SiC晶圆需求将达到169万片

电动汽车市场对于延长续航里程、缩短充电时间有着巨大的需求，高压汽车平台化趋势愈演愈烈。对此，各大车企纷纷推出V高压车型，如保时捷Taycan、奥迪Q6e-tron、现代Ioniq5等。 TrendForce研究显示，随着电动汽车渗透率持续提升，车辆随着架构向V高压迈进，预计今年全球电动汽

06-08
盛美上海首台前端ArF工艺涂胶及开发设备Ultra LITH成功下线

盛美上海近日，盛美上海首台具有自主知识产权的涂胶及开发轨道设备Ultra LITH成功下线并顺利进行首台前端ArF工艺镀膜及开发Track设备交付中国国内客户。该设备由艾美半导体设备（亚太）制造中心发货。这是该公司增强其在涂层和开发领域专业知识的重要一步。步。此外，盛美

06-06
小米、realme、iQOO纷纷推出新机，各家“驾驭龙之力”即将揭晓 -本周硬信息

硬信息让你提前一睹新手机动态。本月，高通骁龙、联发科天玑相继更新旗舰芯片产品。不过新核心的强弱需要结合各个厂家的调试结果来判断优劣。这不，未来几周我们将迎来几款搭载高通骁龙8移动平台的新手机。话不多说，让我们来看看这些首发选手吧。另外，近期有关苹果新品

06-21
进博会前两天，我们整理了这些要点

11月5日，首届中国国际进口博览会（简称进博会）正式开幕。进博会将持续至11月10日。　　在昨天的开幕式上，主席总统和习近平发表重要讲话，提出增设中国上海自由贸易试验区、设立科技创新试验区等举措在上海证券交易所挂牌并试点注册制。此外，还就进一步扩大开放提出了多

06-18
商汤科技获6.2亿美元C+轮融资，融资总额超16亿美元，估值超45亿美元

据投资界5月31日消息，人工智能平台公司商汤科技商汤科技，宣布完成6.2亿美元C+轮融资。由多家国内外投资机构及战略合作伙伴参与，联合领投方包括厚朴投资、银湖投资、老虎基金、富达国际等，深圳创新投资集团、中银集团投资有限公司等。、上海自贸区基金、全明星投资基金等

06-18
南京首支S基金诞生，10亿元

南京首支S基金来了。投资界-解码LP获悉，近日，南京首支城市联动、市场化S基金——紫金建业S基金在金鱼嘴基金大厦举行签约仪式。据悉，紫金建业S基金由南京创新投资集团与建业高新投资集团联合发起设立，总规模10亿元。主要投资者包括南京钢铁股份有限公司、东南基金、盛景

06-17
山东省产业高质量发展基金，100亿

投资界-解码LP获悉，近日，鲁信创投（83.SH）公告称，公司拟作为主发起人及全资子公司山东省高新技术投资管理人与其他投资人共同发起设立山东省产业高质量发展基金（暂名）。基金目标认购规模总额为1亿元，一期基金认购规模为25亿元，其中公司作为有限合伙人认购8亿元，山东

06-18
前城探索近日完成超亿元A轮融资，并启动A+轮融资

前城探索近期完成超亿元A轮融资。本轮融资由福州高新技术新兴产业发展基金领投，主要用于加速星座物联网、加强市场开拓。目前，公司已启动A+轮融资。

06-18
冰晶智能完成数千万元Pre-A+轮融资，道通投资与中新资本共同投资

投资圈（ID：pedaily）1月2日消息，苏州冰晶智能医疗科技有限公司（以下简称“冰晶智能”）近日宣布完成数千万元Pre-A+轮融资，由道通投资、中新资本共同投资。本次募集资金将用于加速公司HD-ICE（下一代高清高速心内超声）、3D-ICE、4D-ICE等产品的研发、临床试验和营销。

06-18
加尔各答的笔医院将护理您受损的笔使其恢复健康，

在繁华的加尔各答市，有一个钢笔爱好者独特的天堂：钢笔医院。这篇文章带我们走进一家拥有 77 年历史的机构，穆罕默德伊姆蒂亚兹（穆罕默德伊姆蒂亚兹饰）作为一名技术精湛的技师，在一位经验丰富的医生的护理下修复受损的钢笔。伊姆蒂亚兹的专长不仅在于修复，还在于教育笔

06-18
“工业卫星”宣布完成数千万元A轮融资

近日，“工业卫星”宣布完成数千万元A轮融资。本轮融资由国投创投领投，中航金融、科力创旗下产业投资基金跟投。理工学院卫星总经理曲成刚表示，本轮融资将主要用于生产线升级、创新研发、团队建设等。据介绍，工大卫星主要向市场提供商业卫星产品。

06-18