기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

프로그래밍 분야에서 "가장 진보된 대규모 언어 모델"이라고 주장하는 Meta가 방금 출시되었습니다.
코드 라마
, 을 기반으로 할 수 있습니다.
코드 및 자연어 팁
여러 주류 프로그래밍 언어를 지원하는 코드 및 코드에 대한 자연어를 생성하고,
Python, C, Java, PHP, Typescript(Javascript), C# 및 Bash가 포함됩니다.
。

Code Llama는 연구 및 상업적 용도로 완전 무료이며 GitHub에 출시되었습니다.
https://www.jlht168.com/post/m1/Jryk1eDMBdAR.html
。

Code Llama는 Llama 2 주요 언어 모델을 기반으로 하며 다음 세 가지 모델을 제공합니다.

• 코드 라마

• 기본 코드 모델

• 코드 라마 - 파이썬

• Python에 특별히 최적화됨

• 코드 라마 - 지시

• 자연어 지침을 이해하기 위해 특별히 설계되었습니다.

예제 실행

• 자연어를 기반으로 코드 생성

• 코드 기능/구조 설명

Code Llama는 코드 완성 및 디버깅에 사용할 수 있는 각각 7B, 13B 및 34B 매개변수를 포함하는 서로 다른 크기의 세 가지 모델을 제공합니다. 각 모델은 500B 코드 토큰과 코드 관련 데이터를 사용하여 학습됩니다. 또한 7B 및 13B 기본 모델과 명령어 모델은 코드 삽입 기능을 지원하는 FIM(Fill-in-the-Middle) 기능으로 학습됩니다. 기존 코드.

Meta는 세 가지 크기 모델이 서로 다른 서비스 및 대기 시간 요구 사항을 충족한다고 말합니다. 예를 들어 7B 모델은 단일 GPU에서 실행될 수 있습니다. 34B 모델은 최상의 결과를 반환하고 더 나은 코딩 지원을 제공하지만, 더 작은 7B 및 13B 모델은 실시간 코드 완성과 같이 낮은 대기 시간이 필요한 작업에 더 빠르고 더 적합합니다.

Meta에서 제공한 데이터에 따르면 Code Llama는 기존 솔루션보다 성능이 뛰어나며 인기 있는 코딩 벤치마크인 HumanEval 및 MBPP(Mostly Basic Python 프로그래밍)에서 ChatGPT와 동등합니다.