2022年12月17日,YOCSEF上海组织的“面向海量数据的高性能固态存储技术论坛”顺利在线召开。本次论坛邀请到了华中科技大学吴非教授、上海科技大学的王春东教授、锐钲(上海)科技有限公司(ScaleFlux)郑宁博士、Memblaze存储研发总裁袁戎作为引导发言嘉宾,并邀请了得一微电子市场总监罗挺以及华东师范大学石亮教授展开思辨讨论。参加会议的还有CCF YOCSEF上海的AC会员李洋、刘通、朱能军、刘斐等。会议由上海市计算机学会存储专委会、DOIT以及寇享学术协办。视频直播间关注的人数超过了2000人次。
本次论坛的执行主席分别是YOCSEF上海副主席、华东师范大学石亮,YOCSEF上海AC委员、Intel公司一鸣,线上微论坛主席为上海科技大学的赵登吉。首先,CCF YOCSEF上海主席、上海理工大学教授裴颂文致开幕辞。颂文首先介绍了本次技术论坛的活动背景,指出本次活动将主要聚焦到讨论怎么应对数字时代下海量数据存储的问题。计算机系统随着新的存储器件变革而如何应势发展。怎么通过软硬件协同的方式,攻克存储系统中的新问题,以及怎么应对海量存储增长的需求。然后,他向嘉宾和观众们介绍了YOCESEF。中国计算机学会YOCSEF上海于1999年成立,口号是“承担社会责任,提升成员能力”。由一群来自学术界和企业界等各界社会精英人士参与,是一群有激情,有理想、有社会责任感的青年精英。YOCSEF的论坛形式包含观点论坛、技术论坛以及学术评价、教育振兴产学研结合以及club的形式。今天的论坛是技术论坛的交流形式。主要针对计算机、产业界以及社会各界问题进行思辨和交流。颂文介绍了YOCSEF创立25年以来的知名学者、专家、企业家和领导,以及遍布全国各地的分论坛和活动情况。颂文希望借助YOCSEF上海这样一个平台,加强产学研的交流与技术合作,同时给青年精英人才一个很好地成长的舞台,并预祝本次活动圆满成功。
本次论坛也得到了美国伦斯勒理工学院张彤教授的支持,张彤教授对受邀参加本次论坛表示感谢。众所周知,存储技术已然成为当前国内外的技术热点,是当今大数据云计算,等等一系列基础设施的核心部件。为了满足新一代场景的需求,存储技术的发展已经进入了一个崭新的软硬件协同的时代。通过将存储的控制提供给主机,或者将某些计算功能卸载到存储控制器。以达到提高整体系统性能的目的。未来基于软硬协同的存储系统设计一定会成为一个重要的研究方向。相信今天的活动能够为此领域的交流学习提供一个非常好的平台。期待研讨会议的顺利召开!
第一位引导发言的嘉宾是来自华中科技大学的吴非教授,因特殊原因无法出席,由同实验室的周游老师代讲。报告题为闪存存储系统结构发展趋势与研究进展。周游教授介绍了闪存存储发展的思考以及团队最近取得的进展。闪存的发展呈现容量和堆叠层数以及多比特单元的不断增加,推动闪存密度的增加以及成本下降。闪存存储在存储市场所占的比重将会越来越多,到2025年,将占比30%。如何构建高效的闪存存储系统?周游老师介绍了软硬件协同设计的研究背景,包括主机软件以及存储设备内部的管理方法。然而闪存设备的非就地更新等特性使得块接口抽象和存储设备内介质的访问特征不匹配带来了一系列的问题,包括闪存写满且耐久性差、闪存和主机功能组织上的冗余、存储设备内进行数据处理更为高效、存储设备内由于块接口的限制而无法感知主机软件语义。面对上述问题,促使我们思考软硬件协同设计,如何结合软硬件的特性探索软件和硬件之间的新型设备接口与体系结构,最终构建极致性能和写放大的存储系统。
第二位引导发言嘉宾是来自锐钲(上海)科技有限公司(ScaleFlux)郑宁博士,报告题为存储系统重的软硬件协同设计。首先,郑宁博士带我们回顾了可计算存储的发展,然后针对透明压缩的软硬件协同案例,包括B-tree数据库中的写放大和软件RAID。只要数据是可压缩的,那么通过透明压缩技术,硬盘寿命可以获得提升。例如在随机写场景下,一旦数据是可以压缩的,那盘的OP空间就会比不压缩数据的场景要大很多。而OP的增加可以带来随机写性能的提升。郑宁博士针对两个案例,分析了各自的问题以及在透明压缩下的对策。
第三位引导发言嘉宾是来自上海科技大学的王春东教授,报告题为多层次思考硬件特性优化软件性能简单尝试。王春东教授认为硬件一直在迭代更新,因此我们需要考虑怎么在硬件基础上去设计软件。软件围绕硬件来设计,服务应用需求。从软件层到应用层,在不同的场景之下,有不同的关注点。非常希望和大家一起去做更多的探索。王春东教授介绍了在课题研究过程中碰到的一些问题,比如说应用软件依赖于操作系统,CPU和Memory之间非常依赖于缓存命中率等。因此,强调需要在新硬件上去设计软件。
第四位引导发言嘉宾是来自Memblaze的袁戎,报告题为ZNS演进的挑战。袁戎提到ZNS目前是一个很热的话题,但还没有得到广泛的应用。作为存储生产厂商,在研发的过程中,发现ZNS也面临一些挑战。那么这些问题都是需要软硬件协同去解决。袁戎提到如何对SSD性能和空间最大化,一个是通过NVM set提供功能给主机;另一个是通过OPen Channel展开的协议演进。open channel为ZNS提供了很好的基础。Zns在open channel基础上提供了更大的容量。接着,袁戎介绍了ZNS的原理以及ZNS带来的挑战。- 如何让软件系统足够动态地适配不同厂商提供不同容size的这么一成为了对上层系统的很大的挑战。为什么Zone SSD还是需要GC?当盘写满后,需要释放部分空间。这个过程不管是在上层还是底层都要去做一些垃圾回收。ZNS带来的好处是可以降低GC带来的开销。- ZNS在性上的瓶颈,Zone性能偏低?因为用它的要求是顺序写,那顺序写的时候它只能够拥有QD1的写带宽,但是传统硬盘的写带宽的话是通常较高QD,那高QD下的写带宽远远高于QD1。上述问题可以通过append write解决,来恢复性能。但是这种方式对上层文件系统的影响很大。通过append write适合对象存储而不适合标准存储。
接下来进入到激动人心的思辩讨论环节,由来自英特尔的吴一鸣作为组织主席。吴一鸣首先介绍思辨讨论的规则以及参加的嘉宾。本次讨论邀请了6位嘉宾,分别是华中科技大学的周游、ScaleFlux的郑宁、上海科技大学的王春东、Memblaze的袁戎、得一微电子的罗挺以及华东师范大学的石亮。
思辨问题一:未来存储走势,保守或开放架构,重存储或轻存储?
石亮:在14年左右的时候跟企业还有学术界都有在探讨。其实到现在为止存储应该走向开放还是落盘存储计算的方式,目前没有统一。分成两派,一大派叫保守,就是说更加的重存储;另一派希望主机做更多的事情。探索过程发现两者都有各自优缺点。希望听后面几位专家的意见。
周游:表示ZNS有其问题,而计算卸载到存储的方式,数据压缩做得很好,未来需要找到更多应用来推动重存储。因此,需要找到根本性的问题和适合的应用。
王春东:需要考虑用户需求和用户能够承受的成本。透明存储虽然很好,确实需要用户的需求来决定以及给用户一些选择,并不是一定要重存储或者轻存储。针对多样化的应用需求啊,提供多样化的重存储或轻存储的解决方案。兼顾多方面需求。
郑宁:倾向于重存储。但不是说把更多的计算往存储上放。更多的还是重点在存储本身。计算当前阶段就是我个人感觉是一个锦上添花的事情。最终产品由用户决定。
罗挺:重存储更容易被产业界替换。另一个角度,就是外面cpu的带跟成本越来越贵。真的把它放在上面,就会更便宜吗?也不见得,所以说有些东西可能放在我们盘上来做可能性价比更高。
袁戎:性能/容量/安全性。对于新的开放架构,做事情的方式更保守。为用户提供更为可靠性的产品。
石亮:企业看重稳定性,学术界探索多样性。采用标准化的接口,用户不需要干预。重存储和轻存储都需要用户干预,不认可这两种架构,是否有更好的方案,希望听听大家的看法。
郑宁:存储是第一位的,除了存储之外其他的功能需要放一放。而且存储本身的标准也在演进,标准会越来越统一,但是功能上还是以存储为主。
罗挺:只有当工艺找不到摩尔定律的,整个系统构架才会有更多人重视,不然的话还不如把中把工艺往下推一代。
袁戎:统一的标准和统一的架构。
思辨问题二:往左的路径或往右的路径可行性分析或者待解决的问题?
王春东:倾向于更保守一点。希望存储控制器功能设计上要保守一点。
石亮:目前没有明确的解决方案,决定权是给用户还是存储。
罗挺:这两种方案是矛盾的。客户更懂场景,需要开放设计;盘更懂存储。主机端搞不定的事情可以到盘内部实现,来满足各种场景的需要。实际场景有不同的场景需求,是否有编程空间来实现?
周游:往左还是往右都是服务客户。单一实现无法满足,是否可以根据需求来决定往左还是往右。
郑宁:希望往中间走。标准是把两个方向逐渐融入。产品尽可能融入多的功能,让客户进行选择,更好地满足客户的业务指标。
袁戎:认同郑的看法,左右都看看,脚踏实地往前走。把眼前实现好的功能落地。
思辨问题三:固态存储技术如何应对大数据及人工智能的冲击?
袁戎:存储需求量呈指数级上涨;人工智能在计算领域有比较大的应用。做人工智能去干预ssd内部垃圾回收。本质上希望更多的东西能够标准化。通过标准下去解决软硬件协同问题。
郑宁:基本同意这个袁总的观点,就是说大数据和人工智能对固态存储是有力的。SSD需求量也会越来越高。多设备管理的时候,人工智能可以做一些事,例如预测。
周游:AI for storage还是storage for AI。两者是互利互惠的。
王春东:非常认可前面几位专家的观点,不管是AI为存储做加速还是存储为AI做优化,都是需要用的时候去用,而不是说为了用而用。希望真正有这个需求。
石亮:固态存储可能会被大数据和人工智能所抛弃。考虑如何在人工智能场景下分到一杯羹,例如固态存储做内存。
罗挺:不光是学术界还是工业界,大家其实都在探索两者之间的关联。不是很明确。
吴一鸣对本次论坛进行了总结。首先,本次论坛包括四个话题。无论是对于重存储,轻存储的这个方案,还是它未来的一个发展趋势。几位嘉宾从学术以及企业角度,做了相关的这个报道。其次,针对未来存储的发展方向,进行发散性的讨论。相信线上的各位观众跟我一样在这一次的这个论坛当中获取了很多的新知识。