港式连锁餐饮品牌“耀铭”获欧旅集团天使轮战略投资
06-17
前言 如果项目或者开发过程中出现bug或者其他线上问题,开发者可以通过查看日志记录来定位问题。通过日志定位Bug是一种常见的软件开发和运维技术。
只有观察日志才能追踪到具体的代码。在软件开发过程中,开发人员会在代码中添加日志记录,以记录程序的运行状态和异常信息。
当程序出现问题时,可以通过日志检索来定位。因此,构建一个高性能的日志系统或者方便查询的日志系统非常重要。
本文主要讲解腾讯云大数据ES Serverless在日志检索方面的使用,并通过一个案例来说明ES Serverless如何开箱即用、零部署,让日志检索变得可移植,甚至对于ES新手来说也是如此。 Elasticsearch 服务简介 Elasticsearch Serverless 服务是腾讯云基于自研云原生 Serverless 技术架构打造的一站式全托管云上 Elasticsearch 服务。
提供自动弹性、完全免操作的产品能力,有效解决日志分析和指标监控。其他业务场景出现高峰低谷导致资源成本过高等问题。
同时,完全兼容ELK生态,具有端到端的数据接入、数据管理、数据可视化等产品功能,提供开箱即用的产品体验。为什么使用 Elasticsearch 服务?易于部署和管理。
只需轻点鼠标,即可在几分钟内创建ES集群、Logstash集群、建立Beats管理中心。结合便捷的监控报警、弹性伸缩、智能集群巡检,帮助您轻松应对集群。
日常操作和维护。低成本引入腾讯自研性能极具性价比的星海服务器,以及性能优异价格低廉的本地盘型号(高IO型/大数据型),结合冷热分离、自研索引压缩算法,等,帮助您大大降低集群拥有成本。
强大的自研内核,具有自研熔断限流、压缩编码、内存优化、读写性能优化等特性,并引入腾讯自研Kona JDK,显着提升集群性能、稳定性和成本优势。是全球对开源社区贡献最大的第三方公司之一。
Elasticsearch高级功能集成了登录认证、权限控制、监控报警、机器学习、SQL等Elasticsearch高级功能(X-Pack),提高ES集群的安全、运维和深度探索能力。高可用性支持 COS 备份和恢复,以及跨区域/可用区的多活动,以避免意外数据丢失或服务中断。
自主研发的高并发、大查询的断路器、限流等核心技术,极大提升了集群的稳定性。安全加固通过逻辑隔离的私网、内外网访问控制、登录认证、细粒度的权限控制等保障您的云资源安全。
为什么要使用Elasticsearch Service进行日志检索?相信如果你自己搭建ELK(Elasticsearch、Logstash、Kibana),你就会知道这是一个比较繁琐的过程,需要多个组件的安装和配置。这三个插件你得自己部署,还需要一台性能更好的服务器。
一路上还会出现其他奇怪的问题。我也经历过,很麻烦。
但使用Elasticsearch Service,这些步骤就可以省略。只需关注如何访问项目日志即可。
Elasticsearch Service 打开Elasticsearch Service官网:Service索引创建产品激活成功后,进入首页,点击左侧菜单。日志分析。
在进行日志检索之前,需要创建索引。在日志分析中,创建一个空索引。
例如,要检索产品,可以创建索引:如果产品是第一次进来,没有项目空间,则需要先创建项目空间。单击确认创建。
返回日志分析主页后,可以看到索引刚刚创建完成。 Elasticsearch服务索引配置管理 创建索引后,点击进入。
索引,可以配置索引。例如,要检索产品product,可能需要产品id、产品名称、产品价格等字段,这些字段可以在配置中添加。
是不是比原生构建方便多了?您可以将索引字段直接添加到可视化面板。切换到 JSON 模式,也可以看到 Kibana 中其实可以添加这些字段,用于 Elasticsearch Service 检索分析。
先前的索引字段已创建。接下来,可以通过 Kibana 添加和检索数据。
当然,腾讯Elasticsearch服务已经搭建了相应的kibana。我们只需要输入提供的公网访问地址即可,不需要我们安装部署。
Kibana 访问点击索引的基本信息。可以看到右侧的访问控制有用户名和登录密码,以及Kibana公网访问地址。
复制公网访问地址。打开后,使用用户名和密码登录。
这是我们熟悉的 Kibana 界面。现在,您可以在这里操作索引,包括Elasticsearch DSL语句查询索引结构。
进入Kibana后,您可以在控制台中进行Rest url操作。例如,可以查询ES Serverless中刚刚创建的索引字段。
代码语言:javascript 复制 GET /product-7lxx48ae/_mapping 查看结果。可以看到,要给id、name、price这三个字段添加索引数据,可以先给商品索引添加数据,例如: 代码语言:javascript Copy ## 保存数据 POST Product-7lxx48ae /_doc{ " @timestamp": "11-25T11:06:07.Z", "id": "66", "name": "米其林轮胎", "price": ""}添加结果,成功则提示 再添加一点方便以后检索和日志分析的数据。
如果搜索索引ES,可以直接使用DSL语句,比如全局搜索匹配代码语言: javascript copy GET Product-7lxx48ae/_search{ "query": { "match_all": {} }} 返回大量数据,如只要关系his字段下的结果就足够了。发现这个索引中的所有数据都会被找到进行match匹配。
查询名称为米其林轮胎的数据。代码语言:javascript copy GET Product-7lxx48ae/_search{ "query": { "match": { "name": "Michelin Tire" } }} 发现结果不止一个,但与之前的全局搜索不同,ES会对每个匹配结果进行评分,也就是字段_score,评分高的会排在第一,比如查询“Michelin Tires”评分最高,排名第一。
Elasticsearch服务日志检索 以上是ES Serverless检索功能的基本体验。 ES Serverless在我们检索过程中也会收集日志记录,可以通过ES Serverless控制台中的日志分析来查看。
全局日志检索:ES Serverless 控制台中的日志分析。输入索引并单击搜索分析。
可以看到kibana中刚刚检索到的数据日志对于条件日志检索很重要。您可以进行日期过滤,例如过滤一年前的日志数据。
还可以过滤其他复杂的条件。例如,如果查询索引字段名称包含含有米其林轮胎的日志,名称:米其林轮胎,则查询结果会高亮显示。
综上所述,以上内容就完成了。 ES Serverless 的激活、索引创建、检索和日志分析的整个过程非常简单。
对应的是开发者和定位问题。更专注于ES DSL语句的编写,直接省去了相关信息。
日志系统的构建和维护。我之前搭建过ELK,也使用过其他产品的日志服务。
个人感觉腾讯的S Serverless用起来比较舒服。整体操作页面非常简洁,功能菜单一目了然。
版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
标签:
相关文章
06-17
06-17
06-06
06-18
最新文章
【玩转GPU】ControlNet初学者生存指南
【实战】获取小程序中用户的城市信息(附源码)
包雪雪简单介绍Vue.js:开学
Go进阶:使用Gin框架简单实现服务端渲染
线程池介绍及实际案例分享
JMeter 注释 18 - JMeter 常用配置组件介绍
基于Sentry的大数据权限解决方案
【云+社区年度征文集】GPE监控介绍及使用