软件定义存储蒙纳士大学显微镜后面的电力
这是学术计算中的一个常见问题。研究人员产生了大量数据,他们希望尽可能方便地将其输出存储和成本高效。此外,它们还需要按需访问数据来试图了解它。
Monash University的Eresearch中心,澳大利亚墨尔本的五个校区和海外其他网站的服务科学家是一个典范。
Eresearch Center副主任Steve Quenette告诉2015年的计算机,该组织对大数据和高性能计算(HPC)系统的需求巨大需求,其中设立了环境,以便快速找到他们之前没有看到的东西。
“在发生所有领先和有趣的研究的情况下,我们都有大数据和大计算的地方,”他说。该组织还拥有100Gbps网络骨干网。
要有效地存储数据并确保易于访问,该中心正在使用软件定义的存储,使用DesignIncorporated Dell技术和OpenStack软件。侧面Pland基于光泽的存储还可以满足特定的研究要求。
Andrew Underwood,戴尔亚太地区的高性能计算经理,该组织的项目领导者之一,组织经常选择软件定义的存储,因为它具有成本效益。“当我们看看我们看到的选项时,我们看到我们为使用模型蒙纳士的研究人员需要,”他补充道。
蒙纳士研究人员没有问题 - 暗中伍德陈述,每年都有到Petabytes的总运行。该中心的主营专业是生命科学,其研究人员通常使用每个运行到4TB的文件的基因组数据。还有一些物理研究。
安德伍德表示,该中心工作适合“大科学”的定义,研究人员与大型数据和大型文件集合工作,潜在的需求就像欧洲核研究组织一样,如欧洲核研究组织(CENN) ,物理学家从大型强子撞机(LHC)犁过数据的地方。
安德伍德说,LHC是科学中发生的事情的完美榜样。“收集的数据量有一个爆炸,创造了被称为”21世纪显微镜“的东西。
这一想法是该中心为研究人员提供了一种工具,将所有信息技术元素汇集在一起,他们需要快速,清晰地了解其实验结果。
通过这种方式,该系统为现代科学家为100年前的生命科学发现繁荣期间为研究人员做了哪些玻璃镜片显微镜。
这是一个最具创新性的方式,研究人员使用技术蒙大鸦组件的使用是毫无巧合的是,使用圆圈中排列的81个高清屏幕来查看来自电子显微镜的数据,以显示细菌的图像,提供宇宙说的是什么一个不可能任何其他方式的视角。
软件定义的存储系统有两个组件。安德伍德说,整个硬件标准。“尝试并测试了x86架构支撑硬件。一切都是软件定义的。他坐在戴尔机架服务器上,使用英特尔或AMD处理器,“他说。
“我们选择使用商品X86架构,因为它比上下专有路径更具成本效益。我们的硬件在整个vanilla,“他补充道。
任何标准都是大的物理规模,实际上是一个小的数据中心。在大小方面,整个软件定义的环境超过了普通服务器机架。
Underwood表示第二个组件将服务器转换为存储设备。“我们使用固态驱动器,高端处理器和大容量硬盘优化商品服务器进行存储。它们都是通过高速网络连接的,“德满德伍德说。
“我们使用40GB以太网,并为我们提供高带宽和低延迟,因此我们可以快速移动数据。然后我们使用OpenStack,以便我们可以按需协调整个环境。开源软件是系统中的真实智能,“他补充道。
从本质上讲,所有这些都为Monash提供了一个具有按需存储的私有云,该存储是可扩展的,并且可以随时随地访问。
那么,为什么要在内部建立这种环境?它的功能描述类似于许多公共云产品。Underwood表示,通过建立自己的内部研究计算设施,Monash能够优化服务以满足研究人员的特定需求。
“在2016,我们看到对私有云系统的需求要大得多。在某种程度上,人们开始转向具有优化基础架构的内部系统。客户可以将一些工作负载推送到公共云中,但他们通常会发现为关键任务构建优化的基础架构更好。”Underwood说。
通过这种方法,研究人员可以在瞬间启动并运行复杂的存储环境。安德伍德说,各种各样的人都能够使用存储,他们可以准确地构建处理自己数据所需的内容。
软件定义的存储系统的一个方面是所有内容都是完全加密的。这意味着偏远地区的研究人员可以获得安全访问,并决定他们想要使用数据和工具的人。
有两个存储系统。戴尔与Red Hat合作实现了Ceph,该Ceph提供了类似云的对象存储集群。这在Dell PowerVault MD阵列上运行-总共有5PB的容量。还有一个基于300TB Lustre的存储集群。这是一个用于处理文件的并行系统,基于Dell PowerEdge服务器。
根据安德伍德的说法,戴尔在eResearch Centre系统上与Monash合作面临的挑战是找到一个能够扩展的平台。
“它不仅需要在用户数量方面进行扩展,还需要在容量和性能方面提供及时的扩展。该中心计划随着时间的推移让更多的研究人员使用该系统,我们相信,随着更多的研究人员的加入,我们将能够扩展以满足他们的需求,”安德伍德说。
从理论上讲,这两个系统的规模都没有限制。安德伍德说,两者的设计都超越了艾字节。安德伍德说: “英特尔和RedHat已经在研究下一代,这将使我们实现这一目标。”