ES Serverless 让日志检索更便捷

发布于:2024-10-24 编辑:匿名 来源:网络

前言 如果项目或者开发过程中出现bug或者其他线上问题,开发者可以通过查看日志记录来定位问题。通过日志定位Bug是一种常见的软件开发和运维技术。

只有观察日志才能追踪到具体的代码。在软件开发过程中,开发人员会在代码中添加日志记录,以记录程序的运行状态和异常信息。

当程序出现问题时,可以通过日志检索来定位。因此,构建一个高性能的日志系统或者方便查询的日志系统非常重要。

本文主要讲解腾讯云大数据ES Serverless在日志检索方面的使用,并通过一个案例来说明ES Serverless如何开箱即用、零部署,让日志检索变得可移植,甚至对于ES新手来说也是如此。 Elasticsearch 服务简介 Elasticsearch Serverless 服务是腾讯云基于自研云原生 Serverless 技术架构打造的一站式全托管云上 Elasticsearch 服务。

提供自动弹性、完全免操作的产品能力,有效解决日志分析和指标监控。其他业务场景出现高峰低谷导致资源成本过高等问题。

同时,完全兼容ELK生态,具有端到端的数据接入、数据管理、数据可视化等产品功能,提供开箱即用的产品体验。为什么使用 Elasticsearch 服务?易于部署和管理。

只需轻点鼠标,即可在几分钟内创建ES集群、Logstash集群、建立Beats管理中心。结合便捷的监控报警、弹性伸缩、智能集群巡检,帮助您轻松应对集群。

日常操作和维护。低成本引入腾讯自研性能极具性价比的星海服务器,以及性能优异价格低廉的本地盘型号(高IO型/大数据型),结合冷热分离、自研索引压缩算法,等,帮助您大大降低集群拥有成本。

强大的自研内核,具有自研熔断限流、压缩编码、内存优化、读写性能优化等特性,并引入腾讯自研Kona JDK,显着提升集群性能、稳定性和成本优势。是全球对开源社区贡献最大的第三方公司之一。

Elasticsearch高级功能集成了登录认证、权限控制、监控报警、机器学习、SQL等Elasticsearch高级功能(X-Pack),提高ES集群的安全、运维和深度探索能力。高可用性支持 COS 备份和恢复,以及跨区域/可用区的多活动,以避免意外数据丢失或服务中断。

自主研发的高并发、大查询的断路器、限流等核心技术,极大提升了集群的稳定性。安全加固通过逻辑隔离的私网、内外网访问控制、登录认证、细粒度的权限控制等保障您的云资源安全。

为什么要使用Elasticsearch Service进行日志检索?相信如果你自己搭建ELK(Elasticsearch、Logstash、Kibana),你就会知道这是一个比较繁琐的过程,需要多个组件的安装和配置。这三个插件你得自己部署,还需要一台性能更好的服务器。

一路上还会出现其他奇怪的问题。我也经历过,很麻烦。

但使用Elasticsearch Service,这些步骤就可以省略。只需关注如何访问项目日志即可。

Elasticsearch Service 打开Elasticsearch Service官网:Service索引创建产品激活成功后,进入首页,点击左侧菜单。日志分析。

在进行日志检索之前,需要创建索引。在日志分析中,创建一个空索引。

例如,要检索产品,可以创建索引:如果产品是第一次进来,没有项目空间,则需要先创建项目空间。单击确认创建。

返回日志分析主页后,可以看到索引刚刚创建完成。 Elasticsearch服务索引配置管理 创建索引后,点击进入。

索引,可以配置索引。例如,要检索产品product,可能需要产品id、产品名称、产品价格等字段,这些字段可以在配置中添加。

是不是比原生构建方便多了?您可以将索引字段直接添加到可视化面板。切换到 JSON 模式,也可以看到 Kibana 中其实可以添加这些字段,用于 Elasticsearch Service 检索分析。

先前的索引字段已创建。接下来,可以通过 Kibana 添加和检索数据。

当然,腾讯Elasticsearch服务已经搭建了相应的kibana。我们只需要输入提供的公网访问地址即可,不需要我们安装部署。

Kibana 访问点击索引的基本信息。可以看到右侧的访问控制有用户名和登录密码,以及Kibana公网访问地址。

复制公网访问地址。打开后,使用用户名和密码登录。

这是我们熟悉的 Kibana 界面。现在,您可以在这里操作索引,包括Elasticsearch DSL语句查询索引结构。

进入Kibana后,您可以在控制台中进行Rest url操作。例如,可以查询ES Serverless中刚刚创建的索引字段。

代码语言:javascript 复制 GET /product-7lxx48ae/_mapping 查看结果。可以看到,要给id、name、price这三个字段添加索引数据,可以先给商品索引添加数据,例如: 代码语言:javascript Copy ## 保存数据 POST Product-7lxx48ae /_doc{ " @timestamp": "11-25T11:06:07.Z", "id": "66", "name": "米其林轮胎", "price": ""}添加结果,成功则提示 再添加一点方便以后检索和日志分析的数据。

如果搜索索引ES,可以直接使用DSL语句,比如全局搜索匹配代码语言: javascript copy GET Product-7lxx48ae/_search{ "query": { "match_all": {} }} 返回大量数据,如只要关系his字段下的结果就足够了。发现这个索引中的所有数据都会被找到进行match匹配。

查询名称为米其林轮胎的数据。代码语言:javascript copy GET Product-7lxx48ae/_search{ "query": { "match": { "name": "Michelin Tire" } }} 发现结果不止一个,但与之前的全局搜索不同,ES会对每个匹配结果进行评分,也就是字段_score,评分高的会排在第一,比如查询“Michelin Tires”评分最高,排名第一。

Elasticsearch服务日志检索 以上是ES Serverless检索功能的基本体验。 ES Serverless在我们检索过程中也会收集日志记录,可以通过ES Serverless控制台中的日志分析来查看。

全局日志检索:ES Serverless 控制台中的日志分析。输入索引并单击搜索分析。

可以看到kibana中刚刚检索到的数据日志对于条件日志检索很重要。您可以进行日期过滤,例如过滤一年前的日志数据。

还可以过滤其他复杂的条件。例如,如果查询索引字段名称包含含有米其林轮胎的日志,名称:米其林轮胎,则查询结果会高亮显示。

综上所述,以上内容就完成了。 ES Serverless 的激活、索引创建、检索和日志分析的整个过程非常简单。

对应的是开发者和定位问题。更专注于ES DSL语句的编写,直接省去了相关信息。

日志系统的构建和维护。我之前搭建过ELK,也使用过其他产品的日志服务。

个人感觉腾讯的S Serverless用起来比较舒服。整体操作页面非常简洁,功能菜单一目了然。

ES Serverless 让日志检索更便捷

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 港式连锁餐饮品牌“耀铭”获欧旅集团天使轮战略投资

    港式连锁餐饮品牌“耀铭”获欧旅集团天使轮战略投资

    7月6日消息,据36氪报道,港式连锁餐饮品牌“耀铭”获天使轮战略投资欧洲旅游集团投资。 本轮融资后,合兴发结合冰室和茶餐厅模式,升级场地、提升品味,推出了茶冰室模式。 合兴发成立于今年9月。 刚开业就遭遇疫情。 团队降低了扩张速度,磨练效率和模型。 创始人和郑剑荣都

    06-17

  • 投资界新闻-广州首支乡村振兴基金揭牌,设立50亿元产业基金

    投资界新闻-广州首支乡村振兴基金揭牌,设立50亿元产业基金

    据投资界6月26日消息,广州乡村振兴产业投资公司成功揭牌,增城??乡村振兴基金正式成立。 据悉,该基金总规模50亿元,首期5亿元,主要投资乡村振兴产业相关项目。   据介绍,增城乡村振兴基金作为广州首支乡村振兴基金,是增城区委、区政府认真贯彻党的十九大精神的重大决策

    06-18

  • 意法半导体宣布与Soitec就碳化硅晶圆制造技术合作协议

    意法半导体宣布与Soitec就碳化硅晶圆制造技术合作协议

    意法半导体近日,意法半导体与Soitec宣布就SiC晶圆制造技术合作协议达成一致。 意法半导体表示,通过此次合作,意法半导体将在未来毫米晶圆生产中使用Soitec的SmartSiC技术,旨在通过中期量产提高器件和模块产量。 认证工作将在未来18个月内进行。 本月初,意法半导体宣布将加

    06-06

  • 聚焦新材料板块,厦门火炬石墨烯新材料打造全链条创新孵化生态

    聚焦新材料板块,厦门火炬石墨烯新材料打造全链条创新孵化生态

    近日,位于厦门桐乡高新区的厦门火炬石墨烯新材料产业园顺利完成竣工联合验收,即将竣工即可投入使用。 作为省级重点项目,产业园总建筑面积26万平方米,共有专业化、高配置工业厂房16栋,配套办公楼1栋、公寓楼2栋。 该产业园是厦门火炬石墨烯“五个一”平台的组成部分,是

    06-18

  • Omdia:Q3全球半导体营收单季度首次突破1500亿美元

    Omdia:Q3全球半导体营收单季度首次突破1500亿美元

    市场研究机构Omdia最新数据显示,今年第三季度半导体营收突破1亿美元,这是该机构追踪该数据以来首次,同比增长 7.6%,芯片短缺、季节性需求和强劲的内存收入推动总收入增长。 奥姆迪亚表示,疫情导致全球经济突然转变为更加注重科技。 对电子产品的需求增加以及由此导致的一

    06-08

  • 借助大中小企业融合平台,慧色光电如何与大企业实现共赢?

    借助大中小企业融合平台,慧色光电如何与大企业实现共赢?

    截至目前,成都高新区“创造中国”大中型企业融合专场活动共发布大企业“机会清单”18个,共计78个已收集中小企业需求清单,已纳入成都“共创”一体化服务平台企业专家库。 促进大中小企业线上对接对接。 融通专员促成了30次整合匹配。 共有13家企业参与线下路演。 共有5家中

    06-18

  • 芯互联完成亿元A轮融资,同创伟业领投,东方富海跟投

    芯互联完成亿元A轮融资,同创伟业领投,东方富海跟投

    5月11日消息,近日,芯互联科技(青岛)有限公司(以下简称:芯互联)完成1亿元融资 本轮融资由同创伟业领投,东方富海跟投。 本轮融资将用于芯片产品的大规模量产以及新产品的研发。 芯互联成立于2019年12月,总部位于青岛,在北京、上海、深圳设有研发中心。 是一家专注于

    06-17

  • “尚派”完成多机构参与新一轮亿元融资

    “尚派”完成多机构参与新一轮亿元融资

    据投资界(ID:pedaily)3月1日消息,品牌零售数字服务商“尚派”近日完成融资多家机构投资。 参与新一轮1亿元融资。 本轮融资将主要用于升级闪派品牌零售数字化运营平台oneX,迭代智能运营中台及平台内云店产品,加大技术人才引进和市场开拓。 据官方介绍,尚拍成立于2006年

    06-17

  • 联发科发布了基于八核7nm工艺的天玑720

    联发科发布了基于八核7nm工艺的天玑720

    天玑系列,逐渐成为5G时代的主流选择。 近期,新的7nm工艺天玑也被华为、小米、OPPO等主流手机厂商采用。 据外媒报道,联发科计划于明年第二季度推出全新5nm芯片,以天玑系列命名为天玑。 天玑应该是联发科第六款5G处理器。 此前,他们已经推出了天维、天维、天维、天维等一系

    06-06

  • 汽车智能科技公司美嘉科技获1亿美元融资,超越资本领投

    汽车智能科技公司美嘉科技获1亿美元融资,超越资本领投

    5月14日消息,据36氪报道,汽车智能科技公司美嘉科技近日完成超亿美元融资,领投由超越资本领投,大湾区共家园发展基金及南山资本、红点中国、山航资本等老股东跟投。 泰合资本充当专属财务顾问。 美嘉科技CEO庄莉透露,本轮融资发生得很快。 该项目于去年12月底启动,今年3月

    06-17

  • 抖音我们连续第三年与中科院一起举办跨年演讲,两位80多岁的院士金庸、郭光灿主持讲座,

    抖音我们连续第三年与中科院一起举办跨年演讲,两位80多岁的院士金庸、郭光灿主持讲座,

    新的一年悄然来临,科技的力量驱动人类前进。 12月31日13:00,中国科学院跨年科学讲座将在“中国科学院物理研究所”等抖音日期准时播出。 30小时不间断直播中,中国工程院院士、清华大学化学工程系教授金庸、中国科学院院士郭光灿等9位科学家和科普创作者以及中国科学院院士李

    06-18

  • 眼镜被盗版,电视放弃VR,暴风VR帝国在哪里?

    眼镜被盗版,电视放弃VR,暴风VR帝国在哪里?

    宝峰VR电视巨头无处不在。 与此同时,VR行业鱼龙混杂,不乏好的创意。 同时,硬件缺陷、内容匮乏、模式探索等都是从业者面临的问题。 在这个过程中,暴风显得雄心勃勃、活跃,令业界惊叹。 去年9月底,在一场VR沙龙上,暴风CEO冯鑫表达了他对VR的三大预测。 首先,VR是兵家必

    06-18