據 Arxiv 頁面顯示,來自蘇州大學的一個研發團隊近日推出一款名為 OpenBA 的開源 seq2seq 模型。
據悉, OpenBA 是一款具有150億參數的雙語非對稱seq2seq模型,也是首個加入中國開源模型社區的大語言模型變體。論文顯示,研究者采用高效的技術以及采用三階段的訓練策略,從頭開始訓練了OpenBA模型。
實驗顯示,OpenBA 在 BELEBELE 基準測試中的性能優于 LLaMA-70B,在 MMLU 基準測試中的性能優于 BLOOM-176B,在 C-Eval(hard)基準測試中的性能優于 GLM-130B。
評論 {{userinfo.comments}}
{{child.content}}



{{question.question}}
提交