首页 > 网络技术迭代 > 内容

Elasticsearch集群CPU占用率过高的问题

发布于：2024-10-24 编辑：匿名来源：网络

注：本文所述的问题及解决方案同样适用于腾讯云Elasticsearch服务（ES）。本文继续：如何解决Elasticsearch集群负载不均的问题。

背景在某些情况下，ES集群会出现CPU占用率较高的情况。具体表现有两个： 1、个别节点的CPU占用率远高于其他节点； 2..集群中所有节点的CPU使用率都很高。

本文我们重点讨论第二种情况。问题现象：集群中所有节点的CPU很高，但是读写却不是很高。

从图中可以看出，根据kibana端StackMonitoring的监控，各个节点的CPU占用率都非常高。出现这种情况的原因是，从表面上看，集群读写性能不高，因此很难从监控中快速找到根本原因。

因此，我们需要仔细观察，从细节中寻找答案。下面我们介绍几种可能的场景以及排查思路。

原因一：比较大的查询请求导致CPU飙升是很常见的。如果细心的话，可以从监控中发现端倪：从监控中可以发现查询请求量的波动与集群的最大CPU使用率基本一致。

发现问题后，需要开启集群的慢日志收集来进一步确认。您可以参考官方文档：集群日志说明。

从慢日志中，我们可以得到更多的信息。比如索引、查询参数以及导致查询慢的内容。

解决方案：针对这种情况，我们一般建议： 1、尽量避免大文本搜索，优化查询； 2、通过慢日志确认慢查询索引。对于一些数据量较小的索引，设置少量的分片和多个副本。

例如1个分片有多副本，以提高查询性能； 3.考虑集群升级和扩容。原因2：写请求导致CPU尖峰。

同样的原因，首先通过监控观察CPU尖峰与写入相关，然后开启集群的慢速日志收集，确认慢速写入请求，并进行优化。还可以通过获取hot_threads信息来确认哪个线程正在消耗CPU：代码语言：javascript复制curl管道操作，摄取操作非常消耗资源。

如果解决方案遇到上述问题，业务方需要根据实际情况进行优化。原因3：段太多当段太多时，索引的性能会变得很差。

解决方案：在业务淡季进行强制合并操作，减少段数。有关详细信息，请参阅强制合并。

此操作也会彻底删除缓存中的delete.doc，并将小段合并为大段。总结排查此类问题的关键点在于，利用好集群监控指标，快速判断问题的方向，然后配合集群日志定位问题的根源，从而能够解决问题很快就解决了。

站长声明

标签：

上一篇：从零开始学习机器学习——构建一个推荐的Web应用

下一篇：【k8s 排查】创建 Deployment 时，出现错误“Deployment in version -v1- can not be treat as Depl

用GPT-4这样的大模型玩狼人杀，人类因为太蠢被投票判死，真正的逆向图灵测试

在这篇文章中，我们看到了人工智能如何与经典的社交推理游戏互动《狼人杀》结合创造了一个有趣的实验。视频展示了亚里士多德、克利奥帕特拉等以历史人物为模型的人工智能 NPC 与人类玩家互动的场景。人类玩家因答案不够复杂而被淘汰，颠覆了传统的图灵测试。本文探讨了 AI

06-17
杭州出台25条措施加快生物医药产业高质量发展

日前，杭州市人民政府办公厅发布《关于加快生物医药产业高质量发展若干措施的通知》。该措施自2020年11月15日起实施，有效期至2020年12月31日。该措施重点支持药品、高端医疗器械、先进制药装备、新型服务外包、数字医学、医学美容。措施全文如下：关于加快生物医药产业高

06-18
14nm写入上海市政府工作报告：今年实现量产

1月27日，上海市第十五届人民代表大会第二次会议正式开幕。上海市市长应勇作政府工作报告。报告中回顾了2017年上海发展现状，部署了全年重点工作和任务。上海作为国家集成电路产业的重要集聚区，在年度政府工作报告中多处提及集成电路。应勇在回顾一年来的工作时表示，“

06-06
海外呼叫中心服务：连接全球市场的桥梁

.wp-block-column h3{margin-left:0} 1.引言在全球化背景下，越来越多的企业开始寻求拓展海外市场。随着国际贸易的日益频繁和跨境电商的兴起，海外呼叫中心服务作为连接企业与海外客户的重要桥梁，正逐渐受到越来越多企业的关注。本文将对海外呼叫中心服务的定义、重要性、

06-17
库克谈苹果可持续发展计划：我们必须做得好，别人才想效仿 - Feel Good Weekly

Feel Good简介苹果：我们的可持续发展计划必须好到让人想“复制” MINI推出首款电动自行车 lululemon：更多中国消费者正在积极探索“Good Condition”最新快闪店“雀巢咖啡，使用后可以回收。无畏：为旅程提供气候标签的第一步苹果：我们必须可持续“复制”最“绿色”的秋季

06-21
猫生活领先品牌Pidan完成B+轮融资，兴旺投资独家领投，

据7月5日消息，近日，猫生活领先品牌Pidan完成B+轮融资，兴旺投资独家领投。 Pidan品牌起源于法国巴黎。以其高品质、高设计的宠物产品多次荣获德国红点奖。 Pidan独创混合猫砂品类，在天猫猫砂品类中排名第一。 Pidan瞄准“猫市场”，将自己定位为全品类宠物生活方式品牌。

06-17
Village Fund将于今晚在纽约证券交易所上市，沈南鹏称值得长期投资

中式快餐连锁乡村基金今晚将在纽交所上市，成为首家中式餐饮企业。红杉资本中国基金创始人兼高管合伙人沈南鹏在接受新浪财经独家采访时表示，他被乡村基金的“深刻印象”所吸引。它的快速增长才刚刚开始，值得他长期投资。　　Village Base是一家以美味川菜为主，与当地风

06-18
二氧化硅龙头确辰硅化主板挂牌，盈科资本IPO再获丰收

12月7日，确辰硅化（83.SH）在上交所正式挂牌上市。截至目前，盈科资本年度IPO项目总数已达14个，其中科创板6个、创业板4个、主板3个、港交所1个。同期IPO数量继续保持行业领先地位。作为全球前三、亚洲第一的二氧化硅行业领军企业，确成硅化现已形成从原料硫酸、水玻璃到

06-18
南芯半导体完成数千万元A轮融资，顺为资本领投

据投资界1月23日消息，高性能模拟芯片半导体公司南芯半导体完成数千万元A轮融资处于A轮融资中。本轮融资由顺为资本领投，兴业资本海逸、紫米科技跟投。南芯也是顺为资本投资的第一家芯片设计公司。　　南芯半导体成立于2001年，主要从事集成电路芯片的研究、设计、开发和销

06-18
春华资本宣布收购美赞臣大中华区业务

春华资本宣布与利洁时签署最终协议，收购利洁时美赞臣大中华区业务，并将拥有美赞臣品牌在大中华区市场的永久权益此次独家使用权将从业务创新、运营完善、渠道优化、数字化转型等方面支持美赞臣未来在中国的发展。

06-17
英伟达需要警惕的对手来了

市值超1.7万亿美元的AI军火商英伟达开始感受到“危机”，需要警惕各类“对手” 。日前，有消息称孙正义计划筹集1亿美元创建一家AI芯片公司，旨在挑战英伟达。近日，AI芯片初创公司Groq也透露出颠覆英伟达的意图。 NVIDIA在AI芯片市场上无可匹敌。本财年，NVIDIA的销售额连

06-18
春节“医美”热潮，爱美客和昊海生科谁更赚钱？

在外表经济的轨道上，医美项目逐渐成为消费主流。随着春节假期的到来，医美的消费将迎来又一个高峰期。 “医美三剑客”中，爱美客（96.SZ）和昊海生科（66.SH）近日公布了2020年业绩报告：2020年，爱美客预计实现净利润18.10亿元至1.900元亿元，同比增长43%-50%；昊海生科预

06-17