五月婷婷丁香性爱|j久久一级免费片|久久美女福利视频|中文观看在线观看|加勒比四区三区二|亚洲裸女视频网站|超碰97AV在线69网站免费观看|有码在线免费视频|久久青青日本视频|亚洲国产AAAA

內(nèi)存存儲研究項目

在云數(shù)據(jù)中心中，內(nèi)存是成本占比最高的硬件，研究內(nèi)存技術(shù)、系統(tǒng)和架構(gòu)以提升內(nèi)存利用率和內(nèi)存系統(tǒng)性能對云意義重大。

  • 面向異構(gòu)計算的分離式內(nèi)存系統(tǒng)

    現(xiàn)有的分離式內(nèi)存系統(tǒng)均面向通用計算。隨著大模型業(yè)務(wù)的興起，云上業(yè)務(wù)逐漸轉(zhuǎn)向以NPU為核心的異構(gòu)計算。該方向研究如何通過存算分離理念以及異構(gòu)計算的高帶寬能力，設(shè)計面向異構(gòu)算力的分離式內(nèi)存系統(tǒng)。

    現(xiàn)有的分離式內(nèi)存系統(tǒng)均面向通用計算。隨著大模型業(yè)務(wù)的興起，云上業(yè)務(wù)逐漸轉(zhuǎn)向以NPU為核心的異構(gòu)計算。該方向研究如何通過存算分離理念以及異構(gòu)計算的高帶寬能力，設(shè)計面向異構(gòu)算力的分離式內(nèi)存系統(tǒng)。

  • 面向大模型推理的緩存系統(tǒng)

    大模型推理面臨的挑戰(zhàn)是內(nèi)存帶寬墻和內(nèi)存容量墻，即大模型的內(nèi)存需求和當(dāng)前芯片能力不匹配。如何突破這兩堵是提升大模型推理性價比的核心。該方向研究如何通過數(shù)據(jù)緩存、HBM池化、面向異構(gòu)計算的分離式內(nèi)存等技術(shù)來提升推理性價比。

    大模型推理面臨的挑戰(zhàn)是內(nèi)存帶寬墻和內(nèi)存容量墻，即大模型的內(nèi)存需求和當(dāng)前芯片能力不匹配。如何突破這兩堵是提升大模型推理性價比的核心。該方向研究如何通過數(shù)據(jù)緩存、HBM池化、面向異構(gòu)計算的分離式內(nèi)存等技術(shù)來提升推理性價比。

  • 面向大模型訓(xùn)練的緩存系統(tǒng)

    大模型訓(xùn)練或者微調(diào)持續(xù)面臨兩個數(shù)據(jù)挑戰(zhàn)：訓(xùn)練數(shù)據(jù)的快速加載和模型參數(shù)的 CKPT。該方向研究如何加速數(shù)據(jù)緩存和 CKPT，以此充分釋放算力能力，不讓算力等數(shù)據(jù)。

    大模型訓(xùn)練或者微調(diào)持續(xù)面臨兩個數(shù)據(jù)挑戰(zhàn)：訓(xùn)練數(shù)據(jù)的快速加載和模型參數(shù)的 CKPT。該方向研究如何加速數(shù)據(jù)緩存和 CKPT，以此充分釋放算力能力，不讓算力等數(shù)據(jù)。

  • 面向UB的內(nèi)存管理技術(shù)

    新型的華為資源的 Unified Bus（UB）總線標(biāo)準(zhǔn)越來越成熟，其提供了設(shè)備和 CPU 間內(nèi)存直接訪問、內(nèi)存池化等吸引人的能力。該方向研究如何利用 UB 的特性提升應(yīng)用的性能、數(shù)據(jù)中心利用率、數(shù)據(jù)可用性等。

    新型的華為資源的 Unified Bus（UB）總線標(biāo)準(zhǔn)越來越成熟，其提供了設(shè)備和 CPU 間內(nèi)存直接訪問、內(nèi)存池化等吸引人的能力。該方向研究如何利用 UB 的特性提升應(yīng)用的性能、數(shù)據(jù)中心利用率、數(shù)據(jù)可用性等。