首页 > 科技未来 > 内容

数据压缩算法:对于程序员来说,这个新技术特别实用

发布于:2024-06-17 编辑:匿名 来源:网络

雷锋注:【图片来源:MIT CSAIL 所有者:MIT CSAIL】数据压缩技术之一就是通过消除冗余来释放存储容量。

提高计算速度或带来其他好处。

然而,在当前的计算机系统中,访问主存储器是昂贵的。

因此,在内存中使用数据压缩技术有助于降低数据提取的频率和数据量,提高设备性能。

一般来说,现代设备以固定大小的块来管理和传输数据,而传统的压缩技术必须对这些块进行操作。

然而,软件并不使用固定大小的块来存储数据,而是使用对象。

这种数据结构可以容纳各种类型的数据,其大小可大可小。

因此,使用传统的数据压缩技术很难处理对象。

在本周 ACM 国际编程语言和操作系统架构支持会议上首次发表的一篇论文中,麻省理工学院的研究人员描述了第一种“跨存储层次结构压缩对象”的技术。

该技术减少了内存使用量,同时还提高了性能和效率。

研究人员用改进的Java虚拟机进行了实验,结果表明,与传统的压缩方法相比,这种新技术可以压缩两倍的数据,并减少一半的内存使用量。

CSAIL 的研究生、该论文的第一作者 Po-An Tsai 表示,“我们试图提出一种可以执行对象压缩的新存储层次结构,因为大多数现代编程语言都以对象的形式管理数据。

” 合著者、计算机科学和电气工程教授、CSAIL 研究员 Daniel Sanchez 补充道,“所有计算机系统都将从这项新技术中受益,程序运行速度会更快,因为它不再受到内存带宽的限制。

“由于 Java、Python 和 Go 等现代编程语言以对象的形式管理数据,因此这项新技术对程序员来说特别实用。

在不久的将来,我们将看到速度更快或能够同时运行更多应用程序的设备。

有限制。

传统的结构将数据以块的形式存储在高速缓冲存储器(Cache)中。

最近访问的块会在这里上升(上图中的黄色层)。

这里的空间虽小,但访问速度却很快。

旧块将下降,最终返回主内存(上面的蓝色层)。

虽然这种数据传输非常灵活,但成本也很高。

在数据传输过程中,如果目标数据已不在缓存中,则缓存必须访问主存,大范围查找数据的地址。

如下图所示,Cache访问主存并返回的时间大约为~cycles。

它需要太长的时间并且有局限性。

通过老桑切斯的创新发现了传统模式的局限性。

他想,“既然现代编程语言中数据管理的单位是对象,为什么我们不构建一个处理对象的存储层次结构呢?”因此,研究人员采用了之前的传统模型。

对存储层次结构进行了改进,以方便直接处理对象。

1. Hotpad/pad 在去年 10 月发表的一篇论文中,研究人员详细介绍了一种名为 Hotpad 的系统,该系统可用于存储对象。

因为这个系统的各个层次都是密切相关的,所以也可以称为pad。

整个结构基于芯片存储器,效率高且不需要复杂的搜索,因为程序可以直接引用整个焊盘中所有对象的位置。

新分配的或最近引用的对象以及它们指向的对象都保持在最快的级别以便快速访问。

数据压缩算法:对于程序员来说,这个新技术特别实用

当这一层被填满后,系统就开始“筛选”。

筛选过程会保留最近引用的对象,但较旧的对象会被推到较慢的层。

此外,系统还会删除不再有用的对象以释放空间。

随后,每个对象的指针都会更新为指向新对象的位置。

这样,程序访问对象的成本比通过缓存层查找要低得多。

2.Zippad 研究人员还设计了一种名为Zippad的技术,利用Hotpad系统来压缩对象。

对象首次在更快的层次结构中启动时会被解压缩,但当它们被下推时会再次压缩。

另一方面,跨级别的所有对象都指向那些压缩的对象,这使得它们可以轻松地恢复到更快的级别,并且比传统技术下存储得更紧凑。

3. 基础对象 与以前的技术相比,这项新技术还提供了更多的压缩机会,以前的技术仅限于在固定大小的块中查找冗余。

首先,算法选择几个有代表性的对象作为基本对象。

然后,每当添加新对象时,算法都会比较基础对象和新对象,然后存储它们之间的不同数据。

卡内基梅隆大学电气与计算机工程助理教授 Brandon Lucia 很欣赏这项新技术,因为它利用了编程语言的特性,可以更好地执行压缩工作。

他说:“这项工作的有趣之处在于,它利用对象的抽象来使内存压缩更加有效,从而使系统更快、更高效,具有新的计算机架构特性。

”雷锋网注:本文编译自MIT CSAIL,部分内容来源于网络。

雷锋网整合了雷锋网版权文章。

未经授权禁止转载。

详情请参阅转载说明。

数据压缩算法:对于程序员来说,这个新技术特别实用

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 社保基金去年四季度增持21股,增持20股

    社保基金去年四季度增持21股,增持20股

    据Wind统计,截至3月28日,截至四季度末,社保基金曾出现在前十大流通股东中的74只股票。 其中,新增21个,增加20个。 在社保基金重仓股票中,从前十大流通股东名单中社保基金数量来看,中国巨石社保基金数量最多。 前十大流通股东名单中共有3家社保基金出现,持股总数为1.32

    06-17

  • “专家、特新”纳尔,你好!

    “专家、特新”纳尔,你好!

    专精特新企业正在通过“上云,用数据赋能智能”不断提升竞争力。 如今,上海一家专精特新企业纳尔有限公司与阿里云达成全面合作,将云计算、大数据、物联网、人工智能等技术引入研发、精密涂层材料的生产、物流和销售。 、建设数字化工厂和智慧物流,加速企业数字化转型。 纳

    06-17

  • 从早期VC的角度来谈谈工业机器人的机会和陷阱,

    从早期VC的角度来谈谈工业机器人的机会和陷阱,

    前后,随着AI 1.0的普及,市场上出现第一波工业机器人创业热潮。 在当前资本市场遇冷的情况下,工业机器人也再次成为为数不多的投资热点之一。 据媒体统计,今年国内工业机器人融资项目数量已接近60个,平均每周有两个项目获得融资。 “民族要生存,必须生产好”,作为世界第

    06-18

  • 敢于投资黑科技,布局十年后,德迅投资:给改变世界的梦想更多空间

    敢于投资黑科技,布局十年后,德迅投资:给改变世界的梦想更多空间

    每个人对未来都有自己的期待和判断,这决定了一个人的职业选择和努力方向。 风险投资机构对未来也会有独特的判断,这往往决定了投资机构将资金投向何处。 德迅投资成立已有13年历史。 深度参与早期投资,迄今已完成10余个投资项目。 德迅投资认为,未来将是一个科技快速发展、

    06-18

  • 看新视野NO.05|通信行业知名观察家项立刚:下一个机会是智能互联网,5G扮演“基地”角色

    看新视野NO.05|通信行业知名观察家项立刚:下一个机会是智能互联网,5G扮演“基地”角色

    近年来我们经常听到这样的说法“4G改变生活,5G改变社会”。 4G建立了移动互联网模式,让人们的生活更加方便、快捷。 5G的到来会给社会带来哪些变化?我们来听听项立刚、通信界专家、阿里巴巴封神之战名誉导师的看法。 项立刚,安徽芜湖人,毕业于中国人民大学。 他是著名的中

    06-18

  • 关于公开征集浙江省产业基金效益子基金的公告

    关于公开征集浙江省产业基金效益子基金的公告

    为积极推动省级产业基金投资运作,促进国有资本保值增值,加快浙江省产业基金效益投资产业基金按照《浙江省产业基金管理办法》等相关规定,特向社会公开征集受益子基金。 现将有关事项公告如下: 一、基金简介 浙江产业基金是浙江省人民政府领导设立、市场化运作的政府投资基

    06-18

  • 谷歌光纤CEO辞职,谷歌的高速互联网理想还是破灭了吗?

    谷歌光纤CEO辞职,谷歌的高速互联网理想还是破灭了吗?

    据外媒报道,Google Fiber 项目的负责人克雷格巴拉特 (Craig Barratt) 近日在博客中宣布辞职,未来将作为顾问特聘人员继续支持 Google Fiber 项目。 他还表示,谷歌光纤未来将做出一系列业务和战略调整,部分部门将裁员,以便整个项目能够更加专注于最新的网络技术和部署方式

    06-17

  • “舒品松野派”完成千万天使轮融资,五源资本独家投资

    “舒品松野派”完成千万天使轮融资,五源资本独家投资

    投资界(ID:pedaily)10月24日消息,功能运动贴身内衣品牌“舒品松野派”近日完成数百万融资投资万元天使轮融资,本轮融资由婺源资本独家投资。 鞍羽的消费是财务顾问的长期专属。 本轮融资将用于产品研发、品牌升级、业务拓展和团队扩张。 “Surpine松野派”成立于2001年,

    06-18

  • 武汉新芯全新50nm NOR Flash产品线已量产,采用

    武汉新芯全新50nm NOR Flash产品线已量产,采用

    Floating Gate工艺打造的SPI NOR Flash宽电压产品系列XM25QWxxC。 该系列产品容量覆盖16Mb至Mb,支持低功耗、宽电压运行,可为物联网、可穿戴设备等功耗敏感应用提供灵活的设计解决方案。 XM25QWxxC系列产品在1.65V至3.6V电压范围内读取速度高达MHz(支持所有单/双/四通道SPI

    06-06

  • 抖音与西甲达成合作,共同推动比赛破圈

    抖音与西甲达成合作,共同推动比赛破圈

    据投资界(微信ID:pedaily)4月23日消息,抖音与世界顶级职业足球联赛——西班牙职业足球俱乐部合作西甲足球联赛(简称:西甲联赛)达成官方合作,抖音将成为西甲联赛官方社交媒体合作伙伴。 此次与西甲的合作是抖音与足球联盟深度合作的首次尝试。 更多西甲赛事相关优质内

    06-18

  • 她负责广州大剧院和大兴机场,她设计的“科幻沙丘”

    她负责广州大剧院和大兴机场,她设计的“科幻沙丘”

    这些建筑想必很多人都熟悉。 广州大剧院、北京大兴国际机场、长沙梅溪湖国际文化艺术中心,它们有什么共同点? ▲图片来自:Unsplash 事实上,这些设计独特、巧妙的建筑都是由著名建筑师扎哈哈迪德(扎哈哈迪德)和她创办的扎哈哈迪德建筑事务所创作的。 ▲图片来自:CGTN 才

    06-21

  • 专访拨开云雾看创始人与夏乐冰:生产的底层逻辑是“流”|看新力量NO.113

    专访拨开云雾看创始人与夏乐冰:生产的底层逻辑是“流”|看新力量NO.113

    在中国,老龄化趋势明显,企业招贤纳士难,企业劳动力成本持续增加。 自动化、智能化需要机器换人的需求迎来爆发。 然而,大多数工业机器人只能作为辅助工具,仍然需要员工来完成工作。 “人工替代”与“人工操作”之间的悖论,是传统工厂向“少人化”甚至“无人操作”跨越的

    06-18