首页 > 科技未来 > 内容

数据压缩算法:对于程序员来说,这个新技术特别实用

发布于:2024-06-17 编辑:匿名 来源:网络

雷锋注:【图片来源:MIT CSAIL 所有者:MIT CSAIL】数据压缩技术之一就是通过消除冗余来释放存储容量。

提高计算速度或带来其他好处。

然而,在当前的计算机系统中,访问主存储器是昂贵的。

因此,在内存中使用数据压缩技术有助于降低数据提取的频率和数据量,提高设备性能。

一般来说,现代设备以固定大小的块来管理和传输数据,而传统的压缩技术必须对这些块进行操作。

然而,软件并不使用固定大小的块来存储数据,而是使用对象。

这种数据结构可以容纳各种类型的数据,其大小可大可小。

因此,使用传统的数据压缩技术很难处理对象。

在本周 ACM 国际编程语言和操作系统架构支持会议上首次发表的一篇论文中,麻省理工学院的研究人员描述了第一种“跨存储层次结构压缩对象”的技术。

该技术减少了内存使用量,同时还提高了性能和效率。

研究人员用改进的Java虚拟机进行了实验,结果表明,与传统的压缩方法相比,这种新技术可以压缩两倍的数据,并减少一半的内存使用量。

CSAIL 的研究生、该论文的第一作者 Po-An Tsai 表示,“我们试图提出一种可以执行对象压缩的新存储层次结构,因为大多数现代编程语言都以对象的形式管理数据。

” 合著者、计算机科学和电气工程教授、CSAIL 研究员 Daniel Sanchez 补充道,“所有计算机系统都将从这项新技术中受益,程序运行速度会更快,因为它不再受到内存带宽的限制。

“由于 Java、Python 和 Go 等现代编程语言以对象的形式管理数据,因此这项新技术对程序员来说特别实用。

在不久的将来,我们将看到速度更快或能够同时运行更多应用程序的设备。

有限制。

传统的结构将数据以块的形式存储在高速缓冲存储器(Cache)中。

最近访问的块会在这里上升(上图中的黄色层)。

这里的空间虽小,但访问速度却很快。

旧块将下降,最终返回主内存(上面的蓝色层)。

虽然这种数据传输非常灵活,但成本也很高。

在数据传输过程中,如果目标数据已不在缓存中,则缓存必须访问主存,大范围查找数据的地址。

如下图所示,Cache访问主存并返回的时间大约为~cycles。

它需要太长的时间并且有局限性。

通过老桑切斯的创新发现了传统模式的局限性。

他想,“既然现代编程语言中数据管理的单位是对象,为什么我们不构建一个处理对象的存储层次结构呢?”因此,研究人员采用了之前的传统模型。

对存储层次结构进行了改进,以方便直接处理对象。

1. Hotpad/pad 在去年 10 月发表的一篇论文中,研究人员详细介绍了一种名为 Hotpad 的系统,该系统可用于存储对象。

因为这个系统的各个层次都是密切相关的,所以也可以称为pad。

整个结构基于芯片存储器,效率高且不需要复杂的搜索,因为程序可以直接引用整个焊盘中所有对象的位置。

新分配的或最近引用的对象以及它们指向的对象都保持在最快的级别以便快速访问。

数据压缩算法:对于程序员来说,这个新技术特别实用

当这一层被填满后,系统就开始“筛选”。

筛选过程会保留最近引用的对象,但较旧的对象会被推到较慢的层。

此外,系统还会删除不再有用的对象以释放空间。

随后,每个对象的指针都会更新为指向新对象的位置。

这样,程序访问对象的成本比通过缓存层查找要低得多。

2.Zippad 研究人员还设计了一种名为Zippad的技术,利用Hotpad系统来压缩对象。

对象首次在更快的层次结构中启动时会被解压缩,但当它们被下推时会再次压缩。

另一方面,跨级别的所有对象都指向那些压缩的对象,这使得它们可以轻松地恢复到更快的级别,并且比传统技术下存储得更紧凑。

3. 基础对象 与以前的技术相比,这项新技术还提供了更多的压缩机会,以前的技术仅限于在固定大小的块中查找冗余。

首先,算法选择几个有代表性的对象作为基本对象。

然后,每当添加新对象时,算法都会比较基础对象和新对象,然后存储它们之间的不同数据。

卡内基梅隆大学电气与计算机工程助理教授 Brandon Lucia 很欣赏这项新技术,因为它利用了编程语言的特性,可以更好地执行压缩工作。

他说:“这项工作的有趣之处在于,它利用对象的抽象来使内存压缩更加有效,从而使系统更快、更高效,具有新的计算机架构特性。

”雷锋网注:本文编译自MIT CSAIL,部分内容来源于网络。

雷锋网整合了雷锋网版权文章。

未经授权禁止转载。

详情请参阅转载说明。

数据压缩算法:对于程序员来说,这个新技术特别实用

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 中饮巴比登陆A股市场,一年卖出价值10亿的两块钱馒头

    中饮巴比登陆A股市场,一年卖出价值10亿的两块钱馒头

    上头条10月12日,中饮巴比食品有限公司(以下简称中饮巴比)登陆A股A股市场暴涨44%,报18.32元,对应总市值45亿元。 这意味着巴比食品成为“中国包子第一股”。 招股书显示,中国饮料股份有限公司专业从事中式糕点、速冻食品的研发、生产和销售。 是一家“以连锁店销售为主,

    06-17

  • 车住邦能源链获5000万元A轮融资,今年6月已完成100个城市部署

    车住邦能源链获5000万元A轮融资,今年6月已完成100个城市部署

    据投资界1月22日消息,车住邦(北京)科技有限公司及其品牌能源链宣布据悉,他们已获得万元A轮融资,投资方包括仲恺集团、赛马资本、蓝焱资本等。 据悉,本轮融资距离车主帮完成万元Pre-A轮融资仅10个月。 这也是今年“互联网+能源”行业的首笔投资。   车主邦表示,本轮融

    06-17

  • 专注MIM智能制造,富驰完成近2亿元融资,源星资本领投

    专注MIM智能制造,富驰完成近2亿元融资,源星资本领投

    据投资界6月1日消息,智能制造公司富驰宣布完成近2亿元融资。 本轮投资由源星资本领投,元和资本跟投。   Fuchi是一家金属注射成型(MIM)技术解决方案提供商。 MIM技术在金属零件的小型化、精密化、复杂化的生产和应用中具有明显的优势。 富驰已经应用于消费电子、医疗、

    06-18

  • 同创永逸近期完成近亿元B轮融资

    同创永逸近期完成近亿元B轮融资

    据投资界9月17日消息,据36氪消息,北京同创永逸科技发展有限公司(以下简称“同创永逸”) )近日宣布完成近亿元B轮融资。 本轮投资方为小喵朗城、前海领航。 此前,同创永益已获得AA投资数千万元A轮融资。 本轮融资后,公司将从以下两个方面进行战略升级:一方面,同创永易

    06-18

  • 维多利亚的秘密 (Victoria's Secret) 破产,美容 (Beauty) 关闭了其门店,为什么Admiral内衣越卖越便宜,为什么要IPO?

    维多利亚的秘密 (Victoria's Secret) 破产,美容 (Beauty) 关闭了其门店,为什么Admiral内衣越卖越便宜,为什么要IPO?

    “性感神话”维密天使宣布破产、内衣第一股都市丽人关闭数千家门店、Emblem年度业绩大幅下滑、汇洁股价陷入滞胀……越来越多的迹象表明,依赖内衣的内衣行业对女人来说,赚钱,正在经历一个寒冷的冬天。 不过,也有一些公司会选择在此时逆势向资本市场发起冲击,比如爱慕股份

    06-18

  • 安徽母基金招募GP拟设立5只子基金

    安徽母基金招募GP拟设立5只子基金

    安徽省新型基础设施建设基金有限责任公司子基金管理机构公开遴选公告(年度第一批) 1、基金定位为规范和建设安徽省新型基础设施建设基金子基金(以下简称“基金中的基金”)的设立和投资运营,将充分发挥国有资本的引领和撬动作用,为吸引优质社会资本聚焦安徽,更好服务安

    06-18

  • 都2023年了,汽车设计还能再好看点吗?

    都2023年了,汽车设计还能再好看点吗?

    前腿还在打情骂俏,后腿却不再打情骂俏,只剩下打骂。 我很着急,甚至可能要上法庭。 您点击了错误的链接,我们没有计划过渡到情感内容。 但这个不恰当的比喻完美地概括了近期吉利银河与长安之间的设计之争。 2月27日,长安汽车向吉利发出律师函,指出吉利的银河之光原型车涉

    06-21

  • 聚焦个性化诊疗赛道,耀明医疗获5000万元B轮融资

    聚焦个性化诊疗赛道,耀明医疗获5000万元B轮融资

    据12月16日消息,武汉佑耀明医疗科技有限公司(简称:耀明医疗)获B轮融资1万元。 本轮融资由海富产业基金和同济现代医疗基金共同投资。 本轮融资将用于拓展公司产品管线,推动公司心脑血管、代谢、神经精神疾病、肿瘤等个性化诊疗产品的临床研究和产业化,进一步完善与慢性

    06-18

  • 微云人工智能完成新一轮亿元融资

    微云人工智能完成新一轮亿元融资

    据投资界(ID:pedaily)3月30日消息,近期专注于提供数字牙科AI定制服务的工业互联网公司“微云人工智能”宣布获得新一轮融资。 融资1亿元,由多家海外家族基金和上市公司投资。 据创始人及CEO刘博士介绍介绍,本轮募集资金将主要用于继续产品的智能化升级以及隐形正畸品牌“

    06-17

  • 唯物主义周刊丨苹果股价大跌,乔波集体认罪……

    唯物主义周刊丨苹果股价大跌,乔波集体认罪……

    近日,CB Insights重新整理了一张医疗领域AI创业图景,统计了全球活跃的92家初创公司。 今年,人工智能医疗保健公司的融资交易只有 10 笔,但到了 2019 年,这一数字达到了 60 笔。 Frost & Sullivan 分析师 Harpreet Singh Buttar 表示,“到 2020 年,无论是人类健康管理还

    06-17

  • 温州科技创新基金投资9个GP

    温州科技创新基金投资9个GP

    投资圈(ID:pedaily)。 据投资界消息,11月20日,温州科技创新创业投资基金二期拟合作设立基金管理机构。 温州科技创新基金拟投资9家管理机构。 以下为公告原文: 《关于共同设立温州市科技创新创业投资基金第二期基金管理机构的公告》已经审议通过,拟与宁波梅山同意保税港

    06-18

  • 奇纳新材获超2亿元C轮融资,航发基金领投

    奇纳新材获超2亿元C轮融资,航发基金领投

    投资圈(ID:pedaily)3月6日消息,据硬氪报道,江苏奇纳新材料科技有限公司奇纳新材股份有限公司(以下简称“奇纳新材”)近日完成超2亿元C轮融资。 本轮融资由航发基金领投,国家电投、深创投、国鼎资本、中信建投、腾业创投、北京创投共同跟投。 泰合资本担任长期独家财务

    06-18