英特尔的DAOS为HPC存储提供IO500速度挑战

英特尔的分布式应用对象存储（DAOS）对象存储系统 - 现在开放，但开发用于利用其超快速的Optane存储 - 今年夏天在IO500上推出，衡量高性能计算（HPC）硬件，软件和文件系统相互互相组合。

DAOS到达2015年，是一个围绕英特尔的3D XPoint Optane技术设计的对象存储系统，它提供了一种接近RAM的高速访问功能但具有持久存储的东西。

英特尔希望DAO成为Lustre文件系统的继承者，它以前持有的权利但在2018年销往DDN。在2019年11月IO500中，光泽度得分为453.68，而DAOS是933.64的第二名，刚刚追求矩阵系统。

IO500测试测量吞吐量和访问在随机选择的计算节点之间的文件的访问速度。在所有情况下，文件都在多个存储节点之间共享，并由多个计算节点访问。

英特尔的基于DAOS的配置锯存储节点配备了NVME连接的Optane DCPMM，SSD M.2连接的Optane和3D NAND SSD。在计算侧，DAOS文件系统通过POSIX，HDF，Apache Spark和MPI I / O（HPC特定的并行I / O方案）处理请求。

除此之外，对于更多传统的商业智能应用，DAOS支持Veloc，Tensorflow，NoSQL和S3。

DAOS是一个由元数据存储伴奏的开源对象存储系统。它适用于Linux用户空间模式，因此它绕过Linux内核瓶颈，可以更新它，而无需重新启动它运行的服务器。

元数据存储在Optane DCPMM模块中，该模块也用作SSD连接媒体的缓存。为了最大限度地提高访问速度，DAOS不会为已保存的数据提供复制或擦除编码的任何机制。

它旨在抵抗因将与几个节点写入多个节点而产生的事件。根据行业观察员，DAOS也许是硬件资源最重的消费者 - 因此是最昂贵的 - 所有基于群集的文件存储解决方案。

我们必须注意到，目前，英特尔没有为Linux提供各种类型的存储访问权限。例如，对于POSIX，DAOS很乐意休息Lustre驱动程序的功能。DAOS不处理POSIX请求 - 许多HPC应用程序需要 - 当然，而是使用Glust的外部布局功能WhiChOllows在Lustres命名空间中的实体，以由Lustre管理的内容备份。

HPC用于表示大多数大型批量处理的计算工作负载在大型机和超级计算机上完成，通常在科学工作，天气预报，石油和天然气勘探等。

但是，在各种各样的部门中越来越多的分析已经推动了HPC进入主流，分析与交易金融交易和商业网络活动一起使用。

数据分析中的智能和机器学习的崛起，其中需要应用大量的加工功率，进一步提高了HPC的最近崛起。