Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Meta wurde gerade gestartet und behauptet, das „fortschrittlichste große Sprachmodell“ im Bereich der Programmierung zu sein –
Code Lama
, kann darauf basieren
Tipps zu Code und natürlicher Sprache
Generieren Sie Code und natürliche Sprache über Code und unterstützen Sie dabei mehrere gängige Programmiersprachen.
Beinhaltet Python, C, Java, PHP, Typescript (Javascript), C# und Bash
。

Code Llama ist für Forschungs- und kommerzielle Zwecke völlig kostenlos und wurde auf GitHub veröffentlicht:
https://www.jlht168.com/post/m1/Jryk1eDMBdAR.html
。

Code Llama basiert auf den wichtigsten Sprachmodellen von Llama 2 und bietet drei Modelle:

• Code Lama

• Grundlegendes Codemodell

• Code Lama - Python

• Speziell für Python optimiert

• Code Llama - Anweisungen

• Speziell für das Verständnis natürlichsprachlicher Anweisungen entwickelt

Führen Sie das Beispiel aus

• Generieren Sie Code basierend auf natürlicher Sprache

• Erklären Sie die Funktion/Struktur des Codes

Code Llama bietet drei Modelle unterschiedlicher Größe mit 7B-, 13B- und 34B-Parametern, die zur Codevervollständigung und zum Debuggen verwendet werden können. Jedes Modell wird mit 500B-Code-Tokens und codebezogenen Daten trainiert. Darüber hinaus werden die 7B- und 13B-Basismodelle und Anweisungsmodelle mit der Fill-in-the-Middle-Funktion (FIM) trainiert, die das Einfügen von Code unterstützt vorhandenen Code.

Laut Meta erfüllen die drei unterschiedlich großen Modelle unterschiedliche Service- und Latenzanforderungen. Beispielsweise kann das 7B-Modell auf einer einzelnen GPU laufen. Das 34B-Modell liefert die besten Ergebnisse und bietet eine bessere Codierungsunterstützung, aber die kleineren 7B- und 13B-Modelle sind schneller und besser für Aufgaben geeignet, die eine geringe Latenz erfordern, wie z. B. die Codevervollständigung in Echtzeit.

Den von Meta bereitgestellten Daten zufolge übertrifft Code Llama bestehende Lösungen und liegt bei den beliebten Coding-Benchmarks HumanEval und Mostly Basic Python Programming (MBPP) auf Augenhöhe mit ChatGPT.