Meta發(fā)布CodeLlama70B大模型

Meta于2024年1月29日發(fā)布了名為CodeLlama 70B的開源大模型。據(jù)Meta介紹，這是CodeLlama家族中規(guī)模最大、性能最優(yōu)的模型版本。

　　CodeLlama 70B是基于Transformer架構(gòu)構(gòu)建的，擁有700億個參數(shù)。它在一個包含1.6萬億個代碼字符的數(shù)據(jù)集上進行訓(xùn)練。

　　Meta表示，CodeLlama 70B在多項編程任務(wù)上都取得了優(yōu)異的性能。例如，在HumanEval基準測試中，CodeLlama 70B在根據(jù)文檔字符串補全代碼的能力方面，比Llama2模型提高了10%。在MostlyBasicPythonProgramming（MBPP）基準測試中，CodeLlama 70B在根據(jù)描述編寫代碼的能力方面，比Llama2模型提高了20%。

　　這將有助于開發(fā)人員更輕松地編寫和維護代碼，可以用于自動生成代碼、檢測代碼錯誤和改進代碼質(zhì)量。