先进技术可提高数据中心闪存的效率

发布时间:2020-05-06 11:24:10 【来源:

麻省理工学院的研究人员设计了一种新颖的闪存系统,可以将数据中心最昂贵的组件之一:数据存储所需的能源和物理空间减少一半。

数据中心是促进用户与Web服务之间通信的服务器场,并且是世界上一些能耗最高的设施。在其中,数千台耗电的服务器存储用户数据,而单独的服务器运行访问该数据的应用程序服务。其他服务器有时会促进这两个服务器群集之间的计算。

如今,大多数存储服务器都使用固态驱动器(SSD),固态驱动器使用闪存-电子可编程的可擦除内存微芯片,没有移动部件-来高速处理高吞吐量数据请求。在ACM国际编程语言和操作系统的体系结构支持国际会议上发表的一篇论文中,研究人员描述了一种称为LightStore的新系统,该系统修改了SSD以直接连接到数据中心的网络-不需要任何其他组件-并且支持计算更简单,更有效的数据存储操作。进一步的软件和硬件创新将系统无缝集成到现有数据中心基础架构中。

在实验中,研究人员发现,由四个LightStore单元(称为存储节点)组成的集群,其运行效率是传统存储服务器的两倍,这是通过现场数据请求所需的功耗来衡量的。集群还需要不到现有服务器占用的物理空间的一半。

研究人员通过单独的数据存储操作分解了节能量,以此更好地捕获系统的全部节能量。例如,在“随机写入”数据(这是闪存中计算量最大的操作)中,LightStore的运行效率是传统服务器的近八倍。

希望有一天,LightStore节点可以代替数据中心中耗电的服务器。约翰逊计算机科学教授合着Arvind表示:“我们正在用更简单,更便宜的存储解决方案取代这种体系结构……它将占用一半的空间和一半的功率,同时提供相同的吞吐容量性能。”工程学,计算机科学与人工智能实验室研究员。“这将帮助您减少运营支出,因为它消耗更少的电力和资本支出,因为数据中心的节能直接转化为节省资金。”

在论文上加入Arvind的有:第一作者Chunwoo Chung,电气工程和计算机科学系的研究生;以及大邱庆北科技大学(DGIST)的研究生Jinhyung Koo和Junsu Im,以及Sungjin Lee教授。

向闪存添加“值”

当今数据中心的主要效率问题是架构并未更改以容纳闪存。数年前,数据存储服务器由相对较慢的硬盘以及许多动态随机存取存储电路(DRAM)和中央处理器(CPU)组成,这些文件可帮助快速处理从应用程序服务器注入的所有数据。

但是,如今,硬盘已被更快的闪存驱动器所取代。Chung说:“人们只是将闪存插入了硬盘所在的位置,而没有进行任何其他更改。”“只要将闪存驱动器直接连接到网络,就根本不需要这些昂贵的存储服务器。”

对于LightStore,研究人员首先根据“键值对”对SSD进行了修改,这是一种非常简单有效的数据检索协议。基本上,用户请求显示为键,就像一串数字。密钥被发送到服务器,服务器释放与该密钥关联的数据(值)。

这个概念很简单,但是密钥可能非常大,因此仅在SSD中进行计算(搜索和插入)就需要很大的计算能力,而传统的“闪存转换层”已经用完了。这个相当复杂的软件在闪存驱动器上的单独模块上运行,以管理和移动数据。研究人员使用某些数据结构技术来仅使用一小部分计算能力来运行此闪存管理软件。这样,他们将软件完全卸载到闪存驱动器中的一个小电路上,该电路运行效率更高。

这种卸载可以释放驱动器上已有的独立CPU(旨在简化并更快速地执行计算),以运行自定义LightStore软件。该软件使用数据结构技术来有效处理键值对请求。本质上,研究人员无需更改架构即可将传统的闪存驱动器转换为键值驱动器。“因此,我们正在为Flash添加此新功能-但实际上我们什么都没有添加,” Arvind说。

适应和扩展

然后面临的挑战是确保应用服务器可以访问LightStore节点中的数据。在数据中心中,应用程序通过各种结构协议(例如文件系统,数据库和其他格式)访问数据。传统的存储服务器运行复杂的软件,可通过所有这些协议为应用服务器提供访问权限。但这会占用大量计算资源,因此不适合在依赖有限计算资源的LightStore上运行。

研究人员设计了计算量非常轻的软件,称为“适配器”,该软件将来自应用程序服务的所有用户请求转换为键值对。适配器使用数学函数将有关请求的数据的信息(例如来自特定协议的命令和应用程序服务器的标识号)转换为密钥。然后,它将密钥发送到适当的LightStore节点,该节点查找并释放配对的数据。由于此软件在计算上更简单,因此可以直接安装到应用程序服务器上。

Arvind说:“无论您访问什么数据,我们都会进行一些翻译,告诉我密钥和与之相关的价值。这样做,还使存储服务器摆脱了一些复杂性。”

一项最终的创新是,将LightStore节点添加到群集的过程与数据吞吐量(可以处理数据的速率)成线性比例。传统上,人们将SSD堆叠在数据中心中以解决更高的吞吐量。但是,尽管数据存储容量可能会增加,但仅需几个额外的驱动器,吞吐量就会达到稳定水平。在实验中,研究人员发现,相同数量的SSD可以使四个LightStore节点超过吞吐量水平。

中国联通:已累计开通5G基站33.2万站 到今年年底预计超过38万个
饿了么现已入驻1000所高校食堂 校园内平均20分钟送达
谷歌在西雅图附近规划新园区 在亚马逊和微软总部所在地扩大触角
我国国家顶级域名“.CN”数量超过2300万个 IPv6规模化部署提速
邬贺铨:截至8月我国IPv6活跃用户达3.65亿 占互联网用户之比达40.32%
苹果、谷歌、英特尔等公司已经加入行业组织美国“6G联盟”
微软今天正式终止Win7嵌入式系统支持 花钱可买三年补丁
OPPO将发布首款概念级应用OPPO CybeReal 针对AR领域

[ 最新资讯 ]

始祖鸟之家双面派对,设计师系列惊艳亮相

  11月24日,被誉为户外爱马仕的始祖鸟(ARC’TERYX)全新概念店——始祖鸟之家在全国顶级商圈北京国贸开业了。现场门店实拍图片   ...

曝小米显示器34寸本月最后一单出货后将暂停供应 因三星无屏供应原因

  本月初,视讯堂消息称小米的 34 寸带鱼屏显示器型号,之后可能无法再保持 1999 元的价格进行销售。今天,视讯堂发布最新消息,称小 ...

微星Stealth 15M超轻游戏本纯净白即将上架 屏幕为15.6英寸

  根据微星笔记本官方的消息,微星 Stealth 15M (纯净白)即将上架预约,这款笔记本是首款采用 11 代低压酷睿 + RTX 2060 配置的 ...

EG7今天宣布收购《机甲战士5》开发商Piranha Games 增加其游戏公司种类

  Enad Global 7(EG7)今天(11 27)宣布收购《机甲战士5》开发商Piranha Games,增加了其游戏公司的种类。  EG7已同意以2410万美元的 ...

华米将推出GTS 2 mini手表:将于12月1日发布 外观更轻薄更精致

  根据华米创始人黄汪的消息,华米将推出 GTS 2 mini 手表,外观更轻薄更精致。    根据华米微博的消息, GTS 2 mini 手表将 ...

冬季必看的小黑裤穿搭指南|九牧王男裤专家

  伴随着秋冬而来的除了购物欲还有穿搭热情,但如果你正苦于衣服少、缺乏穿搭灵感,那么,一条百搭、舒适的九牧王小黑裤,或许可以帮到你,只 ...