大数据ClickHouse进阶(三):深入理解TTL

发布于:2024-10-24 编辑:匿名 来源:网络

TTL 深入理解TTL就是Time To Live,表示数据存活的时间。在MergeTree中,您可以为列字段或整个表设置TTL。

当时间到达时,如果是列字段级别TTL,则删除该列的数据;如果是表级TTL,则删除整个表的数据;如果列级和表级TTL都设置了,那么先过期的优先。无论是列级还是表级TTL,都需要依赖一个DataTime或者Date类型的字段,通过对该时间字段的INTERVAL操作来描述TTL的过期时间。

例如: 代码语言:javascript copy TTL time_col + INTERVAL 3 上面的DAY语句表示数据的生存时间是time_col时间后的3天。代码语言:javascript copy TTL time_col + INTERVAL 1 MONTH 上面的语句表示数据的生存时间是time_col时间之后的1个月。

INTERVAL 完整操作包括:SECOND、MINUTE、HOUR、DAY、WEEK、MONTH、QUARTER、YEAR。 1.列级TTL 如果要设置列级TTL,请在声明表字段时为其声明TTL表达式。

主键字段不能声明 TTL。例如:代码语言:javascript copy #创建表t_mt2,指定性别生存时间node1:) CREATE TABLE t_mt2(id UInt8, name String,age UInt8,gender String TTL create_time+INTERVAL 10 SECOND, create_time DateTime)engine=MergeTreeorder by id ;注:上述性别字段的生存时间是根据create_time的值向后延伸10秒,这个ttl是借助create_time时间字段来实现的。

#将以下数据node1插入表t_mt2:) insert into t_mt2values(1,'zs',18,'f',now());注意:10s后,正常情况下我们可以直接执行optimize table t_mt2的final语句,查看表中的结果,发现gender列下的数据变成了string类型的空。然而,这个ClickHouse版本有bug。

需要重启ClickHouse,然后执行优化表t_mt2最终语句才能看到效果。经过测试,之前的版本不存在这个问题。

#重启ClickHouse后,执行以下语句查看对应表node1中的数据:) Optimize table t_mt2 Final;node1:) select * from t_mt2;如果要修改列字段对的 TTL,或者为现有字段添加 TTL,则可以使用 ALTER 语句,如下所示: 代码语言:javascript copy ALTER TABLE tbl MODIFY COLUMN col type TTL col_time + INTERVAL 1 DAY 。示例如下: 代码语言:javascript copy #到表t_mt2中的age列,指定ttl过期时间为5snode1:) alter table t_mt2修改列age UInt8 ttl create_time+interval 5秒;#查看t_mt2建表语句, Age列ttl生效node1:) show create table t_mt2; 2.表级别TTL 在ClickHouse中我们还可以设置整个表的TTL,需要在创建表时在表参数中指定TTL表达式。

当TTL被触发时,满足过期时间的整个数据行将被删除。示例: 代码语言: javascript copy#创建表 t_mt3,表级指定 TTL,数据 10 秒后过期 CREATE TABLE t_mt3(id UInt8, name String, Age UInt8,ender String, create_time DateTime)engine=MergeTreeorder by idTTL create_time+INTERVAL 10第二; #将以下数据node1插入表t_mt3:) insert into t_mt3values(1,'zs',18,'f',now()); #10s后,执行optimize table t_mt3 Final,再次查看表中数据已被删除 Clear node1 :) Optimize table t_mt3 Final;我们还可以修改表级别的TTL。

修改方法如下: 代码语言:javascript copy ALTER TABLE tbl MODIFY TTL create_time +INTERVAL 3 DAY。例如: 代码语言:javascript copy #修改 table t_mt3 数据过期时间为 1 分钟 node1:) alter table t_mt3 modify ttl create_time + Interval 1 分钟; #查看t_mt3表的TTLnode1:) show create table t_mt3;代码语言:javascript copy #将以下数据插入表t_mt3 node1:) insert into t_mt3 values(1,'zs',18,'f',now());#1分钟后,优化表t_mt3 Final执行完毕,数据被清除node1:)optimize table t_mt3 Final;注意:不管列级TTL,仍然是表级TTL。

一旦设置,目前无法取消。

大数据ClickHouse进阶(三):深入理解TTL

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 为加快股权投资管理机构落户,武汉出台多项扶持政策

    为加快股权投资管理机构落户,武汉出台多项扶持政策

    《关于征求《武汉市加快发展股权投资若干支持政策实施细则(征求意见稿)》社会公众意见建议的公告》进一步细化和明确了《武汉市关于加快发展股权投资行业若干支持政策》的各项奖励补贴政策(吴正贵【〔〕6号)我局牵头起草《武汉市加快发展股权投资若干支持政策实施细则(征

    06-18

  • 乐马出行再获“数百万”投资

    乐马出行再获“数百万”投资

    据6月8日消息,中国电动汽车行业数字服务平台“乐马出行”完成“数百万”投资。 这是继3月22日获得度量衡资本后,鲁马出行第二次获得资本青睐。 据悉,本轮融资主要用于全面提升平台的数字化建设和研发能力。 作为团队建设和市场拓展!喇嘛出行成立于2018年11月11日,是一家

    06-18

  • 超4亿,海西经济区设立科技创新基金

    超4亿,海西经济区设立科技创新基金

    投资界-解码LP消息,8月24日,厦门闽西南弘盛科技创新基金合伙企业(有限合伙)(以下简称“闽西南科技创新基金已注册,基金规模4.1亿元 据悉,闽西南科技创新基金由国信弘盛、福建闽西南城市协同发展集团发起设立。 有限公司及其全资子公司厦门闽西南投资有限公司,并成功引

    06-18

  • Google、Facebook、Adobe,为什么科技公司都爱上了这种插画?

    Google、Facebook、Adobe,为什么科技公司都爱上了这种插画?

    ,苹果推出iOS 7系统,从拟物化转向扁平化设计。 争议如潮水般涌来,一波又一波。 但即便如此,拟物化设计还是开始流行起来,并且受到各大技术的青睐。 公司一起出现在世界的每一个角落。 时至今日,反对扁平化的斗争仍未停止。 近日,Reddit论坛上出现了新一轮被扁平化的人物

    06-21

  • Transformer再次创业,获新一轮融资4亿,谷歌、英伟达、AMD参投

    Transformer再次创业,获新一轮融资4亿,谷歌、英伟达、AMD参投

    Transformer???€…?????′??????????????????????????????? ??? ? ?— ?? ??'????????????????€? a?a?AMD???? ~????????????????? a ?o???€?????? ? ?????????????????????????€…?€? ????????????????????—?? “呃” ??????????????????????????????????? ?' ? ?????…

    06-17

  • 投资界新闻 -服务贸易基金正式成立,总规模300亿元

    投资界新闻 -服务贸易基金正式成立,总规模300亿元

    投资界消息(ID:pedaily),商务部1月10日宣布,服务贸易创新发展引导基金启动会日前,服务贸易大会在北京举行。 贸易基金正式成立,并将进入运作阶段。   商务部党组成员部长助理李成钢表示,期待服务贸易基金发挥独特作用和专业优势,为服务贸易融资市场增添新活力,推动

    06-18

  • 《沙丘》3D版本的观看体验远不如2D,中国观众已经厌倦了“3D大片”

    《沙丘》3D版本的观看体验远不如2D,中国观众已经厌倦了“3D大片”

    每次看电影我都会收集票根。 翻看这几年积累的票根,我发现自己已经很久没有看过3D电影了。 大概是2017年看完3D版《蝙蝠侠大战超人:正义黎明》后,因为亮度太暗,中途不小心睡着了,暗暗下定决心,以后除了原生3D拍摄的电影,一定要看2D版本。 最近科幻电影的火爆,再次引发

    06-21

  • 【清流世家】“中海储能”连续完成两轮融资,推动铁铬液流电池在储能领域大规模应用

    【清流世家】“中海储能”连续完成两轮融资,推动铁铬液流电池在储能领域大规模应用

    近日,中海储能技术(北京)中海储能股份有限公司(以下简称“中海储能”)宣布连续完成PreA、PreA+两轮融资,累计融资数亿元。 投资方为红杉中国、源码资本、经纬创投和清流资本。 微澜资本作为顾问公司的长期独家资本。 公司表示,本轮募集资金将主要用于量产产能建设、持续

    06-17

  • 文远智行文远知行获数亿美元C轮融资,投后估值33亿美元

    文远智行文远知行获数亿美元C轮融资,投后估值33亿美元

    上一轮融资完成不到四个月,自动驾驶公司文远智行文远知行宣布完成数亿美元C轮融资,投后估值33亿美元。 估值:33亿美元。 本轮投资机构包括IDG资本、和创资本、基石资本、赛普拉斯之星、云九资本、K3创投等,老股东华人文化资本、启明创投、凌峰资本等继续参与投资。

    06-17

  • 比亚迪半导体获19亿元A轮融资,红杉、中金、国投创新领投,估值近百亿

    比亚迪半导体获19亿元A轮融资,红杉、中金、国投创新领投,估值近百亿

    据投资行业消息,5月26日晚间公告披露,旗下比亚迪半导体比亚迪半导体股份有限公司(以下简称“比亚迪半导体”)成功引入红杉资本、中金资本、国投创新领投的战略投资者。 喜马拉雅资本等多家国内外知名投资机构参与认购,完成19亿元A轮融资,投后估值近百亿元。 据悉,资本

    06-18

  • 看专精特新“小巨人”NO.05 -福建品品香茶业有限公司业务搬上云端

    看专精特新“小巨人”NO.05 -福建品品香茶业有限公司业务搬上云端

    公司简介 福建品品香茶业有限公司是一家集茶叶种植、加工、销售、科研、出口为一体的省级农业重点龙头企业工业化。 公司拥有多个加工厂和有机茶园基地。 公司引进先进的茶叶加工技术和工艺,引进了国内外最先进的出口茶叶清洁加工流水线设备。 “品品香”太姥绿茶、福鼎白茶

    06-17

  • 范林集团原副总裁刘二壮加入紫光展锐集团

    范林集团原副总裁刘二壮加入紫光展锐集团

    8月10日,范林集团原副总裁、中国区总经理刘二壮先生正式加盟紫光展锐,出任常务副总裁,向董事长汇报工作团体的。 据了解,加入集团前,刘二壮先生曾担任泛林半导体设备有限公司集团副总裁兼中国区总经理;科锐半导体照明有限公司中国区总经理;泛霖半导体设备有限公司中国区

    06-06