基于腾讯云服务器安装ELK

发布于：2024-10-24 编辑：匿名来源：网络

简介 ELK=elasticsearch+logstash+kibana，常被用作大型分布式系统日志分析、采集和处理的解决方案 ElasticSearch是一个基于Lucene的搜索服务器。它提供了分布式多用户功能基于 RESTful Web 界面的全文搜索引擎。

Elasticsearch采用Java语言开发，是流行的企业级搜索引擎。 Logstash是一个日志收集、分析和过滤的工具。

客户端一般部署在用于收集日志的主机上，服务器端负责接收日志并进行过滤，然后转发到elasticsearch。 Kibana是一个用于汇总、分析和搜索日志的工具。

它可以为elasticsearch和logstash提供友好的日志分析Web界面。前提是腾讯云服务器或者其他类型的服务器。

安装Docker服务（点击查看详细安装步骤），在防火墙和安全组中打开，以及端口建立步骤。服务器配置 1. 在 vi?? /etc/security/limits.conf 中设置最大可打开文件数，添加以下内容。

代码语言：txt copy * soft nofile 6 * Hard nofile 6 2、设置es启动时线程池的最小容量 vi /etc/security/limits.d/20-nproc.conf，修改以下内容（如果是）注释掉了请放开，很重要！）代码语言：txt copy * soft nproc root soft nproc unlimited 3.设置一个进程可以拥有的VMA（虚拟内存区域）数量 vi /etc/sysctl.conf 添加以下内容代码语言：txt copy vm.max_map_count=60 使用命令使sysctl配置生效 sysctl -p 安装配置ELK镜像 1.Docker安装ELK镜像代码语言：txt copy docker pull sebp/elk:latest 注意：如何查看docker版本？只需进入Ddcoker Hub官网，搜索您需要下载的镜像（图1），在Tag页面找到您需要下载的版本（图2），图1 图22.运行elk镜像代码语言：txt copy docker run -d \-e ES_JAVA_OPTS="-Xmsm -Xmxm" \-p :-p :-p :-p :-it \--restart=always --name elk2 1fbb13d6 注意： 1. 根据您的情况分配合适的内存服务器内存大小，这里m内存分配一段时间（1核2G参考配置） 2. -p 用于映射需要使用的端口，在docker容器和服务器端口之间 3. --restart=always允许docker镜像生成的容器实例开机自动启动（只要docker服务启动） 4. 1fbb13d6指的是elk的镜像ID。可以通过docker images命令查看镜像ID3。

检查elk容器启动日志。如果没有错误，可以测试elasticsearch和kibana是否可以访问代码语言：txt Copy #查看日志 docker log -f -t elk #查看elasticsearch #查看kibana 修改logstash配置代码语言：txt Copy #进入容器docker exec -it elk /bin/bash# 编辑配置文件 vim /etc/logstash/conf.d/02-beats-input.conf。

修改配置文件指定端口为服务器端，输出到本地elasticsearch，并添加日志。 index（方便在kibana上找到对应的日志）代码语言：txt copy input { tcp { port => codec => json_lines }}output{ elasticsearch {hosts => ["localhost:"] index => "rizhi-log- % {+YYYY.MM.dd}" }}5.退出容器并重新启动容器。

代码语言：txt copy # 退出容器 ctrl + p + q （按住ctrl的同时先按p再按q） # 重启容器 docker restart elk 再次测试elasticsearch和kibana是否可以接入项目集成 1.添加logstash插件 -在任何 Springboot 项目中以代码语言编写： txt copy net.logstash.logback logstash- logback-encoder 6.1 2 。在资源目录下新建lockback.xml文件，用于指定logstash的日志格式以及服务端配置lockback.xml具体配置代码语言：txt copy<配置> ProviderLog < !--也可以使用项目的Name --> logstash服务器ip: <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder" > --> UTC { "app": "${springAppName}_${serverPort}", "level": "%level", "thread ": "%thread", "class": "%logger{40}", "message": "%message" } %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg %n < rollingPolicy class ="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"> ${LOG_HOME}/system.log.%d{yyyy-MM -dd}。日志 > 30 %d{yyyy -MM-dd HH :mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n < triggeringPolicy class="ch .qos.logback.core.rolling.SizeBasedTriggeringPolicy"> 10MB 3 。

在 sspringboot启动类编写测试接口并启动项目。访问接口类 DemoApplication { public static void main(String[] args) { SpringApplication.run(DemoApplication.class, args); } Logger logger = LoggerFactory.getLogger("DemoApplication" ); @RequestMapping("/test/{name}") public String test1(@PathVariable String name){ logger.info("用户名注册成功 6、用户名：" +name); return name+"登录成功" ; }}localhost:/test/Test elk用户kibana查看日志 1、登录kibana，进入kiban中的管理页面，创建索引，用于接收指定格式日志名的日志。

在kiban管理页面创建日志索引 2、输入rizhi -log-*进行匹配（会匹配所有以rizhi-log-开头的日志），然后点击下一步，选择@timestamp创建日志索引过滤格式，选择@用于全局时间过滤的时间戳 3. 如果您需要将一些数据索引到 Elasticsearch 中，然后才能创建索引模式，或者输入灰显后下一步或出现没有与您的搜索条件匹配的结果。这是因为里面没有数据。

在命令行中输入虚假数据。代码语言：txt 复制curl -H "Content-Type: application/json" -XPOST ' -d '{"code":,"message":"Test";}'4.在 kibana Web 界面的 discovery 下查看生成的日志。

查看“发现”下的实时日志。

站长声明

标签：

上一篇：异常处理 -优雅、永恒

下一篇：【Techo Day腾讯技术开放日】走向云原生，程序生活进入新阶段，在云端追梦

富森美身为LP，一周投三笔

短短一周，富森美又出手了。投资圈-解码LP消息，昨日（5月16日），上市公司Fusemi发布两份公告，公布其全资子公司海南Fusemi投资有限公司（简称“海南投资”）的最新投资状况。具体如下：海南投资与鼎立资本投资管理（徐州）有限公司（简称“鼎立资本”）等共同投资设立宁波

06-18
Imec 的 elPrep 软件显着加速基因组测序分析

美国旧金山，2019 年 10 月 18 日 - 在本周的 Imec 技术论坛 (ITF) 医疗保健会议上，全球领先的纳米电子和数字技术研究与创新中心imec 与 Together , Exascience Life Lab 展示了 elPrep 4.0，这是一款功能强大的软件工具，可加速人类 DNA 测序分析。 elPrep 将整个基因组和

06-06
九公司2020年净利润扭亏为盈，扣非净利润同比下降50%

全年九公司实现营业收入60亿元，增长1.416较去年同期增长30.88%；归属于母公司所有者净利润7.64万元，较上年同期增加5.28亿元，扭亏为盈。

06-18
亿智传媒将获得IDG第二轮投资，计划2009年赴美IPO

接连收购竞争对手，让分众传媒在楼宇和商店终端占据主导地位后，专业做展示架的亿智传媒广告，正在悄然出现在全国高端建筑市场中部。这家公司的创始人之一是副总裁蔡晓阳，他是分众传媒的资深成员，被分众传媒以巨资收购。 2020年9月，一知传媒正式成立。 2019年1月获得鼎辉

06-17
供应链服务平台“粉来”完成数亿元A轮融资

据投资界9月21日消息，据36氪报道，供应链服务平台“粉来”近日完成数亿元A轮融资完成人民币A轮融资，由龙百资本、高合资本联合领投。据悉，本轮募集资金将用于供应链整合、中台能力建设以及渠道进一步拓展。芬来成立于2017年，专注于为有私域流量变现需求的企业和个人提供

06-17
北京理工大学与珠海学院联合成立集成电路技术现代产业学院

7月4日，集成电路技术现代产业学院成立暨揭牌仪式在珠海高新区举行。这所产业学院由北京理工大学珠海学院（信息学院）、广东中兴电子股份有限公司、珠海英思科技有限公司联合创办。图片珠海高新区珠海高新专区新闻显示，北理工珠海学院院长赵显礼表示，集成电路发展关系产

06-06
美国室内农场公司“Bowery农场”获3亿美元C轮融资

据报道，美国室内农场初创公司Bowery农场已完成3亿美元C轮融资。本轮融资由富达投资集团领投，B 轮老股东 Google Ventures 和淡马锡，A 轮老股东 GGV Capital 和 General Catalyst 也参与投资。其他投资者包括阿特米斯集团（Groupe Artemis）和路易斯Hamilton（Lweis Hami

06-18
硬核防窃听！ Mac独有的功能来到iPad：业界最严格的保护机制，基于T2芯片

苹果在保护用户个人隐私方面真是不遗余力。这种不遗余力也体现在苹果最新的设备上。不久前发布的MacBook Air搭载了苹果自主研发的T2安全芯片。作为当前Mac设备的重要组成部分和独特的产品标志，T2安全芯片的核心功能之一就是实现麦克风的硬件屏蔽。（硬件断开）。现在，

06-18
诸暨人才基金投资普华资本

投资界-Decode LP获悉，近日，诸暨市人民政府发布公告，公布了诸暨市人才产业投资基金今年第二批拟投资项目。此次诸暨人才基金拟投资诸暨普华高层次人才发展基金（需工商注册），基金管理人为杭州普华天勤私募基金管理有限公司（简称：普华资本）。基金总规模1亿元，其中诸

06-18
音视频企业普亭电子获广发千禾

投资社区（ID：pedaily）11月30日消息，近日，广发证券旗下两家投资机构广发千禾、广发信德联合完成对广州普亭的投资保伦电子有限公司投资的公司（以下简称“保伦电子”或“公司”）成为这家中国音视频行业先驱者和领导者的唯一两家外部股东。保伦电子成立于2007年，是一家从

06-17
全球最具潜力AI企业100强出炉，中国成最强独角兽诞生地

来自：硅谷最具实力智库之一的DeepTech CB Insights近日发布了一份AI报告。在这份最有前途的AI初创公司名单上，有6家中国公司：商汤科技、依图科技、第四范式、旷视科技、Momenta、地平线。此外，估值达到10亿美元独角兽级别的公司数量也增长至11家，其中商汤科技以45亿美

06-06
河洛新图宣布完成数千万天使+轮融资，由芙蓉投资

投资界（ID：pedaily）领投 2月2日消息，近日，河洛新图生物科技（南京）有限公司（简称：河洛新图）宣布获得芙蓉投资领投的数万元天使+轮融资。本轮募集资金将用于进一步推进公司产品管线的研发和搭建新技术平台。此前，公司曾于今年7月获得凯辉资本、上升天使基金的天使轮

06-18