Flink 实用教程：入门2-写入Elasticsearch

发布于：2024-10-24 编辑：匿名来源：网络

Oceanus 流计算简介 Oceanus 是大数据产品生态的实时分析工具。它基于Apache Flink构建，具有一站式开发、无缝连接、亚秒级延迟、低成本、安全稳定的企业级实时大数据分析平台。

流计算Oceanus旨在最大化企业数据的价值，加速企业实时数字化的建设进程。本文将详细介绍如何使用datagen连接器生成随机数据，通过流计算Oceanus，最终将计算后的数据存储在Elasticsearch中。

通过Flink生成数据并写入Elasticsearch。准备创建Oceanus集群。

有效的购买链接。 1元购买Oceanus集群。

进入Oceanus控制台，点击左侧【集群管理】，点击左上方【创建集群】。具体请参考Oceanus官方文档创建专属集群。

创建 Elasticsearch 集群。进入Elasticsearch控制台，点击左上角【新建】，创建Elasticsearch实例。

具体操作请参见创建Elasticsearch集群！创建Oceanus集群和Elasticsearch集群时选择的VPC必须是同一个VPC。Oceanus作业1.创建源代码语言：txt副本--Datagen Connector可以随机生成一些数据用于测试--参见TABLE random_source (f_sequence INT, f_random INT, f_random_str VARCHAR) WITH ('connector' = 'datagen', 'rows - per-second'='1', -- 每秒生成的数据项数量 'fields.f_sequence.kind'='sequence', -- 有界序列（结束后自动停止输出） 'fields.f_sequence.start' ='1', -- 序列的起始值 'fields.f_sequence.end'='0', -- 序列的结束值 'fields.f_random.kind'='random', -- 无界随机数'fields.f_random.min'='1', -- 随机数的最小值 'fields.f_random.max'='', -- 随机数的最大值 'fields.f_random_str.length'=' 10' -- 随机字符字符串的长度）； 2、创建Sink代码语言：txt副本--Elasticsearch只能写成数据目的表（Sink）--参见 TABLE Student(`user_id` INT, `user_name` VARCHAR)WITH ('connector.type' = 'elasticsearch& #x27;, -- 输出到Elasticsearch 'connector.version' = '6', -- 指定Elasticsearch版本，如'6'、'7'。

注意必须与选择的内置Connector版本一致 'connector.hosts' = ' -- Elasticsearch的连接地址 'connector.index' = 'Student', -- Elasticsearch的索引名称 'connector.document-type' = ' Stu', -- Elasticsearch 的文档类型 'connector.username' = 'elastic' , -- 可选参数：请替换为实际的 Elasticsearch 用户名 'connector.password' = 'xxxxxxxxxx', -- 可选参数：请替换为实际的 Elasticsearch 密码 'update-mode' = 'append', -- 可选不带主键的 'append' 模式，或带主键的 'upsert' 模式 'connector.key-delimiter' = '$', -- 可选参数,复合主键的连接字符（默认为_符号，如key1_key2_key3） 'connector .key-null-literal' = 'n/a', -- 主键为null时的替换字符串，默认为'null' '连接器.failure-handler' = 'retry-rejected', -- 可选的错误处理可以选择'fail'（抛出异常）、'ignore'（忽略任何错误）、'retry-rejected'（重试）'connector .connection- max-retry-timeout' = '', -- 每个请求的最大超时时间(ms) 'format.type' = 'json' -- 输出数据格式，目前仅支持 'json'); 3、编写业务SQL代码语言：txt copy INSERT INTO StudentSELECT f_sequence AS user_id, f_random_str AS user_nameFROM random_source; 4、选择Connector，点击【作业参数】，在【内置连接器】中选择flink-connector-elasticsearch6，点击【保存】>【发布草稿】】运行作业。 ?新版本的Flink 1.13集群不需要用户选择内置的Connectors。

对于其他版本集群，请根据实际购买的Elasticsearch版本选择对应的Connector。 5、数据查询，进入Elasticsearch控制台，点击之前购买的Elasticsearch实例，点击右上角【Kibana】即可进入Kibana查询数据。

具体查询方法请参考通过Kibana访问集群概要本示例使用Datagen连接器随机生成数据，通过Oceanus实现最基本的数据转换功能，最后下沉到Elasticsearch中。用户无需提前在Elasticsearch中创建索引。

站长声明

标签：

上一篇：Windows自带的PowerShell很难用吗？尝试使用Windows Terminal进行通话；更强大更美丽

下一篇：使用腾讯云容器服务（TKE）实现应用跨可用区高可用部署之一

美国拟立法禁止科技巨头并购超过50亿美元，可直接否决

TechWeb新闻3月17日消息，据外媒报道，美国国会议员提出美国经济自由计划，以应对2016年《禁止反竞争合并法》发表声明，推动立法禁止大型科技公司合并。发起人表示，该法案将“抑制猖獗的行业整合，优先考虑劳动人民、诚实企业和消费者的需求，明确禁止大型合并，并为反垄断

06-06
Uber上市，800亿美元IPO奇迹

历经十年风风雨雨，Uber终于上市了。据投资界消息（微信ID：pedaily）消息，巨头Uber终于敲响了钟声。发行价定为每股45美元，出售1.8亿股普通股。以此计算，Uber的估值高达1亿美元，创下了今年创投圈IPO的历史纪录。 Uber成立于2007年，开创了共享出行模式，颠覆了外界将金

06-18
安装人工心脏，然后和机器人一起去打乒乓球 -新智造周刊

Buddy，不付出生命的可爱死人，文末有福利。这个名叫Buddy的机器人是名副其实的“网红”，不仅拥有可爱的外表和温柔体贴的性格，死人还是一个配备了最新技术的智能情感机器人。目前该项目已在众筹网站筹集了65万美元，每件售价为美元（约合人民币）。 Buddy身高只有米多的一

06-17
意法半导体摩洛哥 Bouskoura 工厂将于 2022 年使用 50% 可再生能源

意法半导体 (ST) 宣布，作为其 2020 年实现碳中和计划的一部分，Bouskoura 工厂的可再生能源采购比例将达到 50%。 2018年将达到50%，而2018年为1%。意法半导体扎根摩洛哥布斯库拉已有20多年。建有后道加工工厂，员工1000人。过去几年，工厂制定了多项节能减排计划，以减少

06-08
软银第二支科技投资基金会推出吗？规模或超千亿美元

投资界（微信ID：pedaily）据10月17日消息，美国科技媒体ReCode报道称，据多方消息称，日本软银集团正在与日本软银集团洽谈筹集第二支科技投资基金规模将超过软银此前推出的1亿美元“愿景基金”（Vision Fund），但谈判仍处于早期阶段。　　软银的资本动作可以说是比较频繁的

06-18
世界上第一条“思想所写”推文出现，靠意念玩手机到底有多远？

“世界，你好！”这是很多初学者第一次接触编程语言时都会写的东西。对于患有 ALS 的 62 岁菲利普奥基夫来说，这也是打开新世界的钥匙。 ALS 是一种进行性且致命的神经退行性疾病，患者大脑完全丧失控制自主运动的能力。 ▲ 一条简短的推文，巨大的进步。在同步脑机接口的帮

06-21
「公路三大妈」们，颤抖吧

《路上的三姨妈》，颤抖吧！ 2019年的第一次价格战伤了合资车的骨头。过去24小时，中国车企经历了一场小规模的闪电战。炮火主要集中在十万范围内。领头羊是比亚迪，推出了7.98万辆秦PLUS和驱逐舰05。比亚迪没什么大不了的，喊着一个口号——电比油便宜。这四个字瞬间点燃

06-18
日本着力提高太阳能光伏发电能源效率

改善日照条件、降低成本、提高能源效率已成为日本太阳能光伏发展的关键问题。除了扩大太阳能光伏发电规模、增加土地利用外，更重要的是依靠科技力量不断提高太阳能光伏发电的能源效率。为此，日本科研机构和企业正在致力于开发技术和装置，进一步提高太阳能光伏发电的能源效

06-08
中科动力完成过亿元融资，中金资本基金领投，

投资圈（ID：pedaily）据12月15日消息，农业机器人公司中科动力近日完成A2轮融资。本轮投资由中金资本旗下基金领投，原股东华开启航继续跟投。截至目前，中国科技出行已完成2018年两轮融资累计超亿元。公司表示，本轮融资将用于加快农业机器人产品体系建设，重点关注农业机

06-18
海克斯生物获汇顶领投5000万元A轮融资，引领全球重症肝病生物治疗

投资界12月25日消息，上海海克斯生物科技有限公司（以下简称“海克斯生物”） Hexaell Biotech）宣布完成1万元A轮融资。投资方为汇鼎医疗投资基金，专注于精益医疗投资。本轮融资，维卓生物将用于加速创新产品的上市，包括核心产品的注册和临床注册、新产品管线的拓展和研发

06-17
贾跃亭又盯上了中东有钱人的钱包

贾跃亭又勾搭中东有钱人了？当地时间周一（12月4日），法拉第未来在官网宣布，计划在阿联酋阿布扎比设立地区总部、生产基地和先进研发中心，将其“一代”带入当地智能驾驶领域。汽车产业集群（SAVI）。不仅如此，两周前，法拉第未来在阿布扎比召开公司中东战略发布会，与M

06-18
投资世界24小时-爱奇艺最快年底可能在香港上市；北交所成立后将迎来首批入选新股；求真医疗完成数亿元C1轮融资

延伸阅读时间：2020年10月8日周五重要消息：爱奇艺最快今年年底在香港上市，计划融资5亿美元。据彭博报道，爱奇艺正在考虑融资5亿美元，并最快于今年年底在香港上市。它还正在考虑聘请美国银行、高盛和里昂证券作为其上市承销商。截至目前，该消息尚未得到爱奇艺方面的回应

06-18