海量数据时代如何应对存储I/O瓶颈

海量数据时代正在来临。数据信息量如潮水般迅猛增长，根据分析机构IDC最新研究结果，2011年全球数据量突破了1.8ZB，在5年时间年迅速增长9倍，受管理的数据量更是增加50倍之多。

与此同时，云计算市场已经逐渐成熟并且发展速度非常快，在海量数据和云的双重夹击下，数据存储面临严峻挑战，我们看到，存储已经成为企业中的一个薄弱环节，如果不加重视那么失去的将不仅仅是机遇。

云计算带来的一个最大挑战就是解决大规模虚拟机部署所带来的存储I/O瓶颈。随着虚拟机数量的迅速增加，随机读取和写入I/O的陡增不可避免地NAS和SAN阵列以及DAS面临难题，因为磁盘I/O或者目标端CPU正在成为瓶颈。

公共云和托管云促使中小企业以及分部署企业外包平台基础架构以获得成本效益以及资源弹性。结果导致虚拟化的多租户OLTP数据库和网络服务器迅速增加，带来大量随机写入和读取的I/O传输。

而在私有云或者企业云方面，企业数据中心不得不面对服务器整合以及提高虚拟机密度的新技术——例如VDI应用——所导致的虚拟机可扩展性痛点。存储管理员往往通过购买更多存储阵列硬件来克服这些痛点，然而这个解决办法却无法有效地利用采购成本、管理开销和维护开支。

虚拟化技术的最初的目的是提高CPU和其他资源的利用率，因为许多数据中心的CPU利用只有10%~20%。这不仅是硬件预算的浪费，而且还包括了空间、电力、冷却、经常性维护费用等隐性成本。如今，很多企业部署了虚拟化管理程序，成功地整合了服务器，大幅度节约成本。CPU和网络带宽资源的商品化让IT能够快速增加虚拟机数量，这进一步加重了存储I/O的负担。

过去，50个物理服务器加载一个NAS/SAN阵列意味着50个主机连接，现在每个主机平均有10个到3个虚拟机，同样是50个物理主机却相当于500个到1500个虚拟服务器连接到一个存储阵列，因为每个虚拟机都是从同一个物理服务器中企业虚拟机上单独读取或者写入数据的，因此不管数读取还是写入，数据访问模式都变得更加随机。

大量随机写入和读取I/O请求让NAS/SAN阵列不堪重负。存储CPU和磁盘I/O快速饱和，应用性能停滞不前。NAS/SAN阵列无法更快地满足读取和写入请求以服务于应用服务器虚拟机，这导致终端客户的损失。

其次是更高的虚拟服务器延迟，应用服务器虚拟机面临着性能不一致的难题，一些虚拟机等待写入或者读取I/O完成的时间过长。这些虚拟机亟需IOPS，因此会影响性能服务器等级协议并降低生产效率。在最糟糕的情况下，缓慢的I/O响应可能会导致应用超时和计划外宕机。

英特尔的IO加速解决方案中的一个关键特性——存储I/O加速采用了基于硬件的加速功能，让来自于以及传输到应用的数据速度更快。

这包括增加RAID 6技术在数据传输过程中进行纠错。不仅确保了更快速的数据传输，同时避免数据在磁盘和磁盘存储系统中传输时发生丢失或者篡改。字节奇偶校验被用来保证数据通过存储子系统时的完整性。数据的奇偶校验被写入到磁盘驱动器，防止在多个硬盘发生故障时丢失数据，或者重建过程中有坏数据块。这增加了系统的可用性和可靠性，缩短了备份窗口，加快磁盘重建以及数据的保护。

与此同时，英特尔快速存储技术，即IntelRapid Storage Technology （简称IntelRST)），是一个基于 Windows的应用程序。该程序为配备 SATA 磁盘的台式机、移动电脑和服务器平台系统提供更高的性能和可靠性。当使用一个或多个SATA磁盘时，您可因性能提高及耗电降低而获益。使用多个磁盘时，可增强对磁盘故障时数据丢失的保护。

在不久的将来，云计算一定会彻底走入我们的生活，有兴趣入行未来前沿产业的朋友，可以收藏云计算，及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识，让我们一起携手，引领人工智能的未来！

标签： idc 大数据 服务器 数据库 网络 网络服务器 虚拟服务器 应用服务器 云计算 云计算市场

版权申明：本站文章部分自网络，如有侵权，请联系：west999com@outlook.com
特别注意：本站所有转载文章言论不代表本站观点！
本站所提供的图片等素材，版权归原作者所有，如需使用，请与原作者联系。