技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Meta は、プログラミングの分野で「最も先進的な大規模言語モデル」であると主張し、立ち上げられたばかりです—
コードラマ
、に基づくことができます
コードと自然言語のヒント
コードとコードに関する自然言語を生成し、複数の主流プログラミング言語をサポートします。
Python、C、Java、PHP、Typescript (Javascript)、C#、Bash が含まれます
。

Code Llama は研究および商用利用が完全に無料で、GitHub でリリースされています。
https://www.jlht168.com/post/m1/Jryk1eDMBdAR.html
。

Code Llama は Llama 2 主要言語モデルに基づいており、次の 3 つのモデルを提供します。

• コードラマ

• 基本的なコードモデル

• コードラマ - Python

• Python 向けに特に最適化

• コードラマ - 指導

• 自然言語命令を理解するために特別に設計された

サンプルを実行する

• 自然言語に基づいてコードを生成する

• コードの機能/構造を説明する

Code Llama は、コード補完とデバッグに使用できる、それぞれ 7B、13B、および 34B パラメーターを持つ、サイズの異なる 3 つのモデルを提供します。各モデルは、500B コード トークンとコード関連データを使用してトレーニングされます。さらに、7B および 13B のベース モデルと命令モデルは、コードを挿入する機能をサポートする FIM (fill-in-the-middle) 関数でトレーニングされます。既存のコード。

Meta 氏によると、3 つの異なるサイズのモデルは、異なるサービスと遅延の要件を満たしているとのことです。たとえば、7B モデルは単一の GPU で実行できます。 34B モデルは最良の結果を返し、より優れたコーディング支援を提供しますが、より小型の 7B および 13B モデルは高速であり、リアルタイム コード補完などの低遅延を必要とするタスクに適しています。

Meta が提供するデータによると、Code Llama は既存のソリューションを上回り、人気のあるコーディング ベンチマークである HumanEval および Mostly Basic Python Programming (MBPP) において ChatGPT と同等のパフォーマンスを示しています。