上海交大与华为联合发布“数据密集型超算示范中心”

2021-07-11 18:00     观察者网

【文/观察者网 周远方 编辑/尹哲】

7月9日,在2021世界人工智能大会(WAIC2021)上,上海交通大学与华为公司联合发布了“数据密集型超算示范中心”。这是双方继4月份联合成立“高性能计算&存储技术联合创新中心”以来的又一重磅合作。

上海交通大学党委常委、副校长奚立峰,上海交通大学网络信息中心副主任林新华,华为数据存储与机器视觉产品线总裁周跃峰博士等嘉宾出席并见证。

上海交大与华为联合发布“数据密集型超算示范中心”

何谓“数据密集型超算”?

华为数据存储与机器视觉产品线总裁周跃峰介绍,近年来,随着新技术的应用和新兴业务的快速发展,超算业务发生了重大改变,现在参与计算的数据越来越多,比如说一辆自动驾驶汽车,每天训练所需数据大约60 TB,卫星遥感遥测、天气预报预测等等领域的超级计算需要大量的数据参与存储计算,传统的超算架构,已经远远不能够满足现在新型应用的需求。这也是“数据密集型超算”这一创新理念的由来。

上海交通大学网络信息中心副主任林新华介绍,所谓“数据密集型超算”是相对于传统超算而言的。在本世纪初,配置超算时,存储基本上是计算系统的附属品,一般会花60%-70%的精力来配置CPU、网络等等,最后再花10%-20%的精力配置调试数据和文件系统。

但是,从近10年的发展来看,数据的重要性慢慢超过了算力本身。以一个比较通俗的例子来说,如果某一天我们的手机丢了,可能最焦虑的是手机上的数据丢了,手机本身可能也会让人心痛,但硬件是可以用钱买到的,而数据丢了可能会很麻烦。所以,以数据为中心打造算力的理念,现在变越来越重要。

数据密集型超算以数据为核心来打造算力,我们先配置好一个数据量在20P左右的庞大的数据池,不管是x86的算力平台还是arm的算力平台,都可以插入数据池中。底层的数据池是稳定的,也可以扩容,算力可以灵活配置,这样,不管是对用户还是运维来说,都带来极大的便利性。

对用户来说,有时候有些数据需要用不同的算力计算,有时候需要用x86算完以后,再用人工智能来算,过去,这只能把大量数据从一台超算拷贝到另一台超算,非常麻烦,现在,数据池是统一的,算力只是上面插入的一个工具,可以随时切换。“这就好比吃饭”,林新华说,“不同的算力相当于勺子、叉子、筷子,不管用什么工具,关键是要吃到下面的饭”。

今日关注
更多