上海交大与华为联合发布“数据密集型超算示范中心”(3)

2021-07-11 18:00     观察者网

第三,由于数据量的增大、数据应用的复杂化,数据在不同环节、不同系统间高效流动是数据密集型超算面临的一个主要挑战。华为推出多协议互通能力。多个存储服务同时访问一份数据,支持NFS、CIFS、HDFS和S3等协议的按需部署,通过其中一种协议写入的数据,无需迁移即可被其他协议读取,提高跨环节、跨系统的数据分析效率。

周跃峰表示,华为希望在世界中国数字化的浪潮过程当中,特别是在中国东数西存、东数西算的大背景下,通过上海交大和华为公司的合作,能够尽快使最新研究成果产业化、商业化,帮助国家各个行业真正实现数字化,真正实现超级计算走向平民化,解决我们生活生产当中的各种问题。

中国高校首套arm架构超算

除了实践数据密集型理念,上海交大的“数据密集型超算示范中心”也是国内高校建设的第一台arm架构超算。

林新华介绍,虽然上海交大一直以来在超算方面投入领先,在2018年建成了在国内高校中排名前列的x86超算,但运行两年多之后,整个平台使用率已经达到90%以上,因此,考虑把计算能力进一步扩容。

林新华介绍,经过多方调研,发现中国的天河E级的原型机、目前全球公开算力排名第一的日本富岳等超算都是基于arm架构,前景广阔。新超算从去年12月份开始建设,到今年4月安装调试完成,共有约100个节点,12800核,目前已把原先x86上运行的30-40%应用导流到arm超算。

林新华坦言,作为国内高校中首个建设arm超算的单位,在建设和调试过程中,不可避免地踩过一些技术“坑”,归纳起来主要有四点:

第一,有没有软件,目前,arm生态仍然在起步阶段,许多用户需要的应用在平台上还没有,针对这个问题,上海交大与华为合作,已成功编译安装十几种常用应用软件;

第二,算的对不对,计算结果是否可信,这一般通过两种途径验证,一是仿真计算结果是否符合实验结果,二是arm平台计算结果是否与x86平台一致,在普通人看来,这可能不是问题,但是在科学计算领域,确实需要复杂的调试;

第三,是否是高性能,这仍然需要调试,arm平台在未经调试的情况下,性能比x86平台弱,但调试后明显加强;

第四,用户使用是否方便,目前arm对每个人来说,都是既熟悉又陌生,因为我们的手机都是arm架构,但确实没有使用过arm架构的超算,我们通过培训、讲座、编写教材等方式,让用户快速入门使用。

今日关注
更多