近日，阿里云人工智能平臺PAI正式發布自研的 DeepRec Extension（即 DeepRec 擴展），旨在以更低成本，更高效率進行稀疏模型的分布式訓練。DeepRec Extension 在 DeepRec 訓練推理框架之上，圍繞大規模稀疏模型分布式訓練，創新性地從訓練任務的視角提出了自動彈性訓練和分布式容錯功能，進一步提升稀疏模型訓練的整體效率，助力 DeepRec 引擎在稀疏場景中發揮更大的優勢。
DeepRec Extension 有效地解決了企業級場景大規模稀疏模型訓練中的難點。隨著業務發展，模型尺寸增長到百 GB / TB 量級，分布式訓練往往會遇到分布式建模接口復雜、資源預估困難且無法彈性、分布式容錯機制過于簡單和分布式環境復雜等問題，阻礙大尺寸模型高效、穩定地完成訓練。DeepRec Extension 提供易用、高效、高性價比的框架，使得模型能夠便捷地在分布式環境中運行，切實解決上述問題。
DeepRec Extension 設計思路及整體架構
DeepRec Extension 推出分布式訓練資源預估、自動彈性訓練、資源/計算圖監控、自動備份容錯等功能，有效降低了大規模稀疏模型訓練的技術門檻和成本，同時提升了分布式訓練的效率和穩定性。DeepRec Extension 簡化分布式訓練的工作流程，保障用戶聚焦于模型的構建階段，更加專注于模型本身的創新與優化，無需關注繁瑣的底層架構配置。在性能提升方面，資源預估以及自動彈性訓練為用戶節約 20% ~ 60% 資源，在穩定性方面，PS 發生異常后，模型 E2E 訓練吞吐提升 10%。
一直以來，大規模稀疏模型分布式訓練是備受關注的話題，阿里云人工智能平臺PAI正式將 DeepRec Extension 開源，與AI開發者共同打造更快更好的分布式訓練框架，全面助力AI大模型發展！
開源地址：https://github.com/DeepRec-AI/extension
粵公網安備 44030702001206號