通義千問2(Qwen2)大語言模型在PAI-QuickStart的微調、評測與部署實踐

阿里云的人工智能平臺PAI，作為一站式的機器學習和深度學習平臺，對Qwen2模型系列提供了全面的技術支持。無論是開發者還是企業客戶，都可以通過PAI-QuickStart輕松實現Qwen2系列模型的微調、評測和快速部署。

PAI-QuickStart 介紹

快速開始（PAI-QuickStart）是阿里云人工智能平臺PAI的產品組件，它集成了國內外 AI 開源社區中優質的預訓練模型，涵蓋了包括大語言模型，文本生成圖片、語音識別等各個領域。通過 PAI 對于這些模型的適配，用戶可以通過零代碼和 SDK 的方式實現從訓練到部署再到推理的全過程，大大簡化了模型的開發流程，為開發者和企業用戶帶來了更快、更高效、更便捷的 AI 開發和應用體驗。

運行環境要求

•  本示例目前支持在阿里云北京、上海、深圳、杭州、烏蘭察布等多地域，使用PAI-QuickStart產品運行。

•  資源配置要求：

○ Qwen2-0.5B/1.5B/7B量級模型：最低使用V100/P100/T4（16GB顯存）及以上卡型運行訓練任務；

○  Qwen1.5-72B量級模型：最低使用A100（80GB顯存）及以上卡型運行訓練任務。

通過PAI-QuickStart使用模型

開發者可以在 PAI 控制臺的“快速開始”入口，找到Qwen2系列模型，以Qwen2-7B-Instruct為例，模型卡片如下圖所示：

模型部署和調用

PAI 提供的Qwen2-7B-Instruct預置了模型的部署配置信息，用戶僅需提供推理服務的名稱以及部署配置使用的資源信息即可將模型部署到PAI-EAS推理服務平臺。當前模型需要使用公共資源組進行部署。

部署的推理服務支持使用ChatLLM WebUI進行實時交互，示例如下：

推理服務支持以OpenAI API兼容的方式調用，具體可見以下的Python SDK的示例。

模型微調訓練

PAI 為Qwen2-7B-Instruct模型配置了微調算法，支持用戶以開箱即用得方式對Qwen2-7B-Instruct進行微調。訓練算法支持使用 Json 格式輸入，每條數據由問題、答案組成，分用“instruction”、“output”字段表示，例如：

當完成數據的準備，用戶可以將數據上傳到對象存儲 OSS Bucket 中。算法需要使用V100/P00/T4（16GB顯存）的GPU資源，請確保選擇使用的資源配額內有充足的計算資源。

訓練算法支持的超參信息如下，用戶可以根據使用的數據，計算資源等調整超參，或是使用算法默認配置的超參。

點擊“訓練”按鈕，PAI-QuickStart 開始進行訓練，用戶可以查看訓練任務狀態和訓練日志。

如果需要將模型部署至PAI-EAS，可以在同一頁面的模型部署卡面選擇資源組，并且點擊“部署”按鈕實現一鍵部署。模型調用方式和上文直接部署模型的調用方式相同。

如果需要評測微調后模型的性能，可以從任務頁面右上角評測按鈕進入評測頁。詳情見下一節：模型評測。

模型評測

PAI 為Qwen2-7B-Instruct模型配置了評測算法，支持用戶以開箱即用得方式對Qwen2-7B-Instruc以及微調后模型進行評測。通過評測能幫助用戶和其他模型做性能對比，更能指導用戶進行精準地模型選擇和優化。

模型評測入口：

從“快速開始”頁面完成Qwen2-7B-Instruct開源模型的評測

從訓練任務詳情頁完成微調后模型的評測

模型評測支持自定義數據集評測和公開數據集評測：

•  自定義數據集評測

對于自定義數據集評測，我們使用NLP領域標準的文本匹配方式，計算模型輸出結果和真實結果的匹配度，值越大，模型越好。使用該評測方式，基于自己場景的獨特數據，可以評測所選模型是否適合自己的場景。

評測需要提供JSONL格式的評測集文件，每條數據使用question標識問題列，answer標識答案列，例如：

符合格式要求的評測集，可自行上傳至OSS，并創建自定義數據集，詳情參見上傳OSS文件和創建及管理數據集。之后選擇評測結果輸出路徑，并根據系統推薦選擇相應計算資源，最后提交評測任務。等待任務完成，在任務頁面查看評測結果（模型在ROUGE和BLEU系列指標上的得分）：

•  公開數據集評測

在公開數據集評測中，我們通過對開源的評測數據集按領域分類，對大模型進行綜合能力評估，例如數學能力、知識能力、推理能力等，值越大，模型越好。目前PAI維護了MMLU、TriviaQA、HellaSwag、GSM8K、C-eval、TruthfulQA，其他公開數據集陸續接入中。無需準備數據，直接選擇PAI提供的公開數據集、評測結果輸出路徑、計算資源即可提交評測任務。等待任務完成，在任務頁面查看評測結果（模型在各個公開數據集的得分情況，其中每個公開數據集的評測范圍詳見數據集官方介紹）：

通過Python SDK使用

PAI 提供了Python SDK，支持開發者方便得使用Python在PAI完成模型的開發到上線的。通過PAI Python SDK，開發者可以輕松調用PAI-快速開始提供的模型，完成相應模型的微調訓練和部署。

部署推理服務的示例代碼如下：

微調訓練的示例代碼如下：

通過快速開始的模型卡片詳情頁，用戶可以通過“在DSW打開”入口，獲取一個完整的Notebooks示例，了解如何通過PAI Python SDK使用的細節。

結論

Qwen2（通義千問2）的推出標志著阿里云在開源大語言模型領域的最新進展。這個系列推出了不同規模的開源模型，可廣泛用于多樣化的下游應用場景。開發者可以借助PAI-QuickStart輕松地對Qwen2模型進行定制和部署。此外，PAI QuickStart還匯集了一系列先進的模型，覆蓋多個專業領域，歡迎廣大開發者們體驗和應用這些豐富的資源。

相關資源鏈接：

•  Qwen2介紹：

https://qwenlm.github.io/zh/blog/qwen2/

•  PAI 快速開始：

https://help.aliyun.com/zh/pai/user-guide/quick-start-overview

•  PAI Python SDK Github：

https://github.com/aliyun/pai-python-sdk