应对数据洪流的新存储技术

Budd Van Lines的副总裁兼首席信息官Douglas Soltesz面临着一个共同的问题:看似无穷无尽的数据洪流。

“如果你给我一个无限量的存储,我可以填补它,”他说。公司办公室和仓库最近四个月的高清监控视频在NexentaStor NAS和SAN平台上消耗了60TB。这段视频是他存储需求每年增长50%至80%的原因之一。

他说,如果他有两倍的容量,他的用户只会要求他们的视频保留两倍的时间。

随着现有的硬盘技术结束了其长达十年的不断增长的存储密度,IT商店正在等待新的技术,如瓦磁记录(SMR)和相变存储器(PCM)来提高存储密度。与此同时,他们正在通过在商品磁盘驱动器、固态驱动器(SSD)和服务器端闪存上虚拟化、重复数据消除和缓存数据的软件来降低成本,并提高数据访问能力。

存储供应商希捷科技(Seagate Technology)的高级副总裁马克•雷(Mark Re)表示,经过大约10年的密度稳步增长,使用垂直磁记录(PMR)的磁盘的容量正以每平方英寸1TB左右的速度激增。

IHS iSuppli的存储分析师张芳(音译)表示,今年下半年,希捷将开始推出使用SMR的驱动器,通过将磁盘上的数据轨迹重叠起来,将更多数据压缩到磁盘上。Re说,这最终会将驱动器密度提高到每平方英寸1.3T到1.4T位,他补充说,希捷的SRM驱动器将从桌面外形开始,并在明年推广到存储阵列等其他平台。

Re说,下一个进步是热辅助磁记录(HAMR),它使用一个小型激光器来改变磁盘的磁性,它将使磁盘驱动器达到每平方英寸5TB。希捷的第一个HAMR驱动器预计在2015年或2016年。

今年第四季度,希捷的竞争对手、西方数字公司HGST预计将推出充满氦气的磁盘驱动器,氦气的阻力比空气小,因此可以在驱动器中再增加一两个存储盘。张说,这些额外的磁盘可以将PMR驱动器的最大容量从现在的4TB提升到5TB或6TB。HGST表示,它还计划在大约两年内发布SMR和HAMR硬盘,并希望到本十年结束时,通过使用自组装分子和纳米压印技术,将硬盘密度提高一倍。

在闪存方面,供应商不仅致力于提高密度,还致力于提高服务器闪存和ssd中使用的闪存的可用容量和寿命。

惠普存储(HP Storage)首席技术官米兰•谢蒂(millan Shetti)表示,到2016年左右,大多数闪存和SSD驱动器所基于的NAND闪存将开始被一种称为相变存储器的新型非易失性存储器所取代。与通过改变物理存储器的磁取向来记录数据的磁记录不同,PCM通过加热来改变介质的导电性。IBM苏黎世研究实验室的内存和探测技术经理Haris Pozidis说,PCM驱动器不仅比NAND闪存快,而且它们的存储单元还可以承受至少1000万次读写周期,而当前企业级闪存的读写周期为30000次,消费级闪存设备的读写周期为3000次。这一点很重要对于诸如缓存之类的应用程序,数据不断地被读取和写入。

Shetti预测,最初的硬盘容量约为200到250GB,到2018年,硬盘大小至少会翻一番。他强调,这些都将是可用容量,而在目前的固态硬盘中情况并非如此,在固态硬盘中,15%到20%的原始容量被预留出来,以替换可能磨损的电池。谢蒂说,他预计每千兆字节的价格将与目前的闪存驱动器相当。这相当于降价15%到20%,因为所有的原始产能实际上都可以使用。

在过去10年中,重复数据消除(消除重复数据拷贝的过程)已从改变游戏规则的新奇事物转变为必备功能。

观察人士表示,在重复数据消除可从硬盘中删除的数据量方面,预计不会有任何突破性的增长。目前,重复数据消除通常会将数据减少7到10倍。未来的改进将来自于重复数据消除速度的提高,以及在整个企业中使用标准重复数据消除系统。

观察家说,由于在硬件而不是软件中执行重复数据消除,以及在PCM等非易失性存储器中执行重复数据消除,速度将得到提高,后者比现在的NAND闪存快。Shetti预测“每个[非易失性内存]控制器都将内置[重复数据消除]”,他还指出,与磁盘驱动器不同,重复数据消除不会导致非易失性内存驱动器上的碎片整理。

在线重复数据消除,即在数据存储之前对其进行重复数据消除,减少了从主存储到备份和复制副本的存储需求。Pure Storage表示,它的在线重复数据消除功能允许闪存阵列存储指定大小的5到10倍的数据。

观察人士还预计,重复数据消除将从传统的备份应用扩展到其他应用程序,并扩展到更多的计算和存储设备。戴尔表示,计划将通过收购Ocarina获得的重复数据消除技术纳入其EqualLogic和Compellant产品线,“首先是压缩主要用于。。。戴尔存储产品营销执行总监Travis Vigil说,数据(如快照)以及更频繁访问的数据和文件。

惠普存储产品营销总监肖恩·金尼(Sean Kinney)预测,企业可以将统一的重复数据消除平台用于所有应用程序和存储。他说,这将减少许可、培训和管理成本以及企业必须购买的存储量。

有些用户升级存储系统并不仅仅是因为他们需要帮助管理大量数据;他们还需要快速访问数据。

Case Western Reserve University正在将100 TB的研究文件数据从EMC Celerra NS480移动到Panasas ActiveStor 8以进行快速分析,并将另外65 TB的结构化管理数据移动到Nexsan NST 5310。除了更高的性能之外,用户还希望创建600TB大小的单个名称空间,远远超过EMC和NetApp产品的64TB限制,该校设计高级技术主管Brian Christian说。

“我们的第一个小型高性能集群”使用传统的NAS设备作为网络文件服务器,“我们使其过载。在与同行讨论后,我们发现要想按需增长,我们需要一个并行的NAS。那时我们收购了帕纳萨,”克里斯蒂安说。

为了提高性能,许多客户在服务器中使用闪存以及存储阵列中的固态驱动器来缓存对速度敏感的数据,然后再将其写入速度较慢但成本较低且容量较大的硬盘驱动器。

三年前,应用程序性能下降和升级成本增加促使施乐公司TripPak Services和ACS Advertising的IT基础设施工程经理David Abbott寻找新的平台,可以处理他预期的每年10TB的新存储,而“管理层不会因为成本问题心脏病发作”。

这家面向运输业的软件即服务提供商目前正在使用右舷存储系统的三个网络连接存储(NAS)单元,在纯存储闪存阵列上为500个虚拟机映像和200多个虚拟机存储80TB的图像文件和45TB的性能敏感数据。

在转向Nexenta NAS/SAN平台之前,Budd Van Lines一直依赖Compellent SAN。他说,虽然还没有满,但处理诸如月末会计等工作的应用程序中越来越多的查询时,“IOPS快用完了”。为了提供这种性能,在将数据写入7200 rpm串行连接SCSI(SAS)驱动器进行长期存储之前,NexentaStor平台会将数据缓存在固态驱动器中,以便更快地访问。

NAS供应商NetApp也以其EF540进入闪存阵列市场,这是该公司表示将把一致、低延迟性能、高可用性和集成数据保护与企业存储效率功能(如在线重复数据消除和压缩)结合起来的阵列系列中的第一个。

在线营销SaaS提供商不断接触的是那些从专有硬件和软件转向由软件管理的商品磁盘的公司。

CTO Stefan Piesche说:“当我三年半前加入时,我们主要的扩展方式是购买更多的存储、更快的存储和更大更快的数据库服务器。”。为了在存储需求每年增长15%至25%的情况下降低成本,他正在从运行在3Par SAN上的IBM DB2数据库转向运行在Dell服务器、商品磁盘和Fusion io闪存卡上的开源MySQL和Cassandra NoSQL数据库。

他说,这个新平台不仅比旧的存储“快了一个数量级”,而且提供了高性能、可用性和灾难恢复,无需进行广泛的管理。通过将数据写入六个存储节点而不通过网络传输来获得性能增益意味着存储同一数据的多个副本。然而,Piesche说,商品磁盘和服务器的低价格使得这种权衡是值得的。

他还指出,如果其中一个副本中存储的营销数据过时了几毫秒,他的客户就不会受到影响——尽管对于价格不断变化的金融交易系统来说,情况并非如此。

“切分”或者说分割数据库也有助于不断扩大联系,他说我们可以将一组客户放在数据库a、B和C上,[它们]通常是具有相同模式的同一数据库的多个实例。我们希望它们在商品硬件上完全相同,以保持我们的运营成本较低,因此推出新产品是不可能的。Piesche说,对于50000个客户,我们添加了两个运行MySQL的商品数据库服务器,“其他用户的性能没有受到影响”。

Budd Van Lines的副总裁兼首席信息官Douglas Soltesz面临着一个共同的问题:看似无穷无尽的数据洪流。

“如果你给我一个无限量的存储,我可以填补它,”他说。公司办公室和仓库最近四个月的高清监控视频在NexentaStor NAS和SAN平台上消耗了60TB。这段视频是他存储需求每年增长50%至80%的原因之一。

他说,如果他有两倍的容量,他的用户只会要求他们的视频保留两倍的时间。

随着现有的硬盘技术结束了其长达十年的不断增长的存储密度,IT商店正在等待新的技术,如瓦磁记录(SMR)和相变存储器(PCM)来提高存储密度。与此同时,他们正在通过在商品磁盘驱动器、固态驱动器(SSD)和服务器端闪存上虚拟化、重复数据消除和缓存数据的软件来降低成本,并提高数据访问能力。

存储供应商希捷科技(Seagate Technology)的高级副总裁马克•雷(Mark Re)表示,经过大约10年的密度稳步增长,使用垂直磁记录(PMR)的磁盘的容量正以每平方英寸1TB左右的速度激增。

IHS iSuppli的存储分析师张芳(音译)表示,今年下半年,希捷将开始推出使用SMR的驱动器,通过将磁盘上的数据轨迹重叠起来,将更多数据压缩到磁盘上。Re说,这最终会将驱动器密度提高到每平方英寸1.3T到1.4T位,他补充说,希捷的SRM驱动器将从桌面外形开始,并在明年推广到存储阵列等其他平台。

Re说,下一个进步是热辅助磁记录(HAMR),它使用一个小型激光器来改变磁盘的磁性,它将使磁盘驱动器达到每平方英寸5TB。希捷的第一个HAMR驱动器预计在2015年或2016年。

今年第四季度,希捷的竞争对手、西方数字公司HGST预计将推出充满氦气的磁盘驱动器,氦气的阻力比空气小,因此可以在驱动器中再增加一两个存储盘。张说,这些额外的磁盘可以将PMR驱动器的最大容量从现在的4TB提升到5TB或6TB。HGST表示,它还计划在大约两年内发布SMR和HAMR硬盘,并希望到本十年结束时,通过使用自组装分子和纳米压印技术,将硬盘密度提高一倍。

在闪存方面,供应商不仅致力于提高密度,还致力于提高服务器闪存和ssd中使用的闪存的可用容量和寿命。

惠普存储(HP Storage)首席技术官米兰•谢蒂(millan Shetti)表示,到2016年左右,大多数闪存和SSD驱动器所基于的NAND闪存将开始被一种称为相变存储器的新型非易失性存储器所取代。与通过改变物理存储器的磁取向来记录数据的磁记录不同,PCM通过加热来改变介质的导电性。IBM苏黎世研究实验室的内存和探测技术经理Haris Pozidis说,PCM驱动器不仅比NAND闪存快,而且它们的存储单元还可以承受至少1000万次读写周期,而当前企业级闪存的读写周期为30000次,消费级闪存设备的读写周期为3000次。这一点很重要对于诸如缓存之类的应用程序,数据不断地被读取和写入。

Shetti预测,最初的硬盘容量约为200到250GB,到2018年,硬盘大小至少会翻一番。他强调,这些都将是可用容量,而在目前的固态硬盘中情况并非如此,在固态硬盘中,15%到20%的原始容量被预留出来,以替换可能磨损的电池。谢蒂说,他预计每千兆字节的价格将与目前的闪存驱动器相当。这相当于降价15%到20%,因为所有的原始产能实际上都可以使用。

在过去10年中,重复数据消除(消除重复数据拷贝的过程)已从改变游戏规则的新奇事物转变为必备功能。

观察人士表示,在重复数据消除可从硬盘中删除的数据量方面,预计不会有任何突破性的增长。目前,重复数据消除通常会将数据减少7到10倍。未来的改进将来自于重复数据消除速度的提高,以及在整个企业中使用标准重复数据消除系统。

观察家说,由于在硬件而不是软件中执行重复数据消除,以及在PCM等非易失性存储器中执行重复数据消除,速度将得到提高,后者比现在的NAND闪存快。Shetti预测“每个[非易失性内存]控制器都将内置[重复数据消除]”,他还指出,与磁盘驱动器不同,重复数据消除不会导致非易失性内存驱动器上的碎片整理。

在线重复数据消除,即在数据存储之前对其进行重复数据消除,减少了从主存储到备份和复制副本的存储需求。Pure Storage表示,它的在线重复数据消除功能允许闪存阵列存储指定大小的5到10倍的数据。

观察人士还预计,重复数据消除将从传统的备份应用扩展到其他应用程序,并扩展到更多的计算和存储设备。戴尔表示,计划将通过收购Ocarina获得的重复数据消除技术纳入其EqualLogic和Compellant产品线,“首先是压缩主要用于。。。戴尔存储产品营销执行总监Travis Vigil说,数据(如快照)以及更频繁访问的数据和文件。

惠普存储产品营销总监肖恩·金尼(Sean Kinney)预测,企业可以将统一的重复数据消除平台用于所有应用程序和存储。他说,这将减少许可、培训和管理成本以及企业必须购买的存储量。

有些用户升级存储系统并不仅仅是因为他们需要帮助管理大量数据;他们还需要快速访问数据。

Case Western Reserve University正在将100 TB的研究文件数据从EMC Celerra NS480移动到Panasas ActiveStor 8以进行快速分析,并将另外65 TB的结构化管理数据移动到Nexsan NST 5310。除了更高的性能之外,用户还希望创建600TB大小的单个名称空间,远远超过EMC和NetApp产品的64TB限制,该校设计高级技术主管Brian Christian说。

“我们的第一个小型高性能集群”使用传统的NAS设备作为网络文件服务器,“我们使其过载。在与同行讨论后,我们发现要想按需增长,我们需要一个并行的NAS。那时我们收购了帕纳萨,”克里斯蒂安说。

为了提高性能,许多客户在服务器中使用闪存以及存储阵列中的固态驱动器来缓存对速度敏感的数据,然后再将其写入速度较慢但成本较低且容量较大的硬盘驱动器。

三年前,应用程序性能下降和升级成本增加促使施乐公司TripPak Services和ACS Advertising的IT基础设施工程经理David Abbott寻找新的平台,可以处理他预期的每年10TB的新存储,而“管理层不会因为成本问题心脏病发作”。

这家面向运输业的软件即服务提供商目前正在使用右舷存储系统的三个网络连接存储(NAS)单元,在纯存储闪存阵列上为500个虚拟机映像和200多个虚拟机存储80TB的图像文件和45TB的性能敏感数据。

在转向Nexenta NAS/SAN平台之前,Budd Van Lines一直依赖Compellent SAN。他说,虽然还没有满,但处理诸如月末会计等工作的应用程序中越来越多的查询时,“IOPS快用完了”。为了提供这种性能,在将数据写入7200 rpm串行连接SCSI(SAS)驱动器进行长期存储之前,NexentaStor平台会将数据缓存在固态驱动器中,以便更快地访问。

NAS供应商NetApp也以其EF540进入闪存阵列市场,这是该公司表示将把一致、低延迟性能、高可用性和集成数据保护与企业存储效率功能(如在线重复数据消除和压缩)结合起来的阵列系列中的第一个。

在线营销SaaS提供商不断接触的是那些从专有硬件和软件转向由软件管理的商品磁盘的公司。

CTO Stefan Piesche说:“当我三年半前加入时,我们主要的扩展方式是购买更多的存储、更快的存储和更大更快的数据库服务器。”。为了在存储需求每年增长15%至25%的情况下降低成本,他正在从运行在3Par SAN上的IBM DB2数据库转向运行在Dell服务器、商品磁盘和Fusion io闪存卡上的开源MySQL和Cassandra NoSQL数据库。

他说,这个新平台不仅比旧的存储“快了一个数量级”,而且提供了高性能、可用性和灾难恢复,无需进行广泛的管理。通过将数据写入六个存储节点而不通过网络传输来获得性能增益意味着存储同一数据的多个副本。然而,Piesche说,商品磁盘和服务器的低价格使得这种权衡是值得的。

他还指出,如果其中一个副本中存储的营销数据过时了几毫秒,他的客户就不会受到影响——尽管对于价格不断变化的金融交易系统来说,情况并非如此。

“切分”或者说分割数据库也有助于不断扩大联系,他说我们可以将一组客户放在数据库a、B和C上,[它们]通常是具有相同模式的同一数据库的多个实例。我们希望它们在商品硬件上完全相同,以保持我们的运营成本较低,因此推出新产品是不可能的。Piesche说,对于50000个客户,我们添加了两个运行MySQL的商品数据库服务器,“其他用户的性能没有受到影响”。