기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Anaconda 가상 환경 패키징

실험은 이 시스템에서 성공적으로 검증되었습니다. 단일 4090D를 사용하여 데이터 세트에 대한 추론 및 평가를 위해 128k 다중 모드 대형 모델을 실행하는 데 2시간 30분이 걸렸습니다. 여전히 너무 시간이 많이 걸리고 무거운 작업이었습니다. 8A100 기계에 넘겨야 하는 상황이 시급했습니다.

아나콘다 환경을 원본 컴퓨터에서 대상 컴퓨터로 마이그레이션하려면 먼저 두 컴퓨터 모두에 아나콘다가 설치되어 있어야 합니다.

1. 원본 컴퓨터의 환경 패키징

Anaconda 프롬프트 작업 사용

1. conda-pack 도구 설치

conda install conda-pack
1

2. 환경 결정

conda env list
1

패키징하려는 환경의 이름을 찾습니다. 예를 들어 내 환경 이름은 VLM입니다.

3. 포장환경

conda pack -n VLM -o VLM.tar.gz
1

4. 패키징 환경을 USB 플래시 드라이브에 복사합니다.

Windows 환경은 현재 디렉터리에 패키지되어 있습니다. 예를 들어 XX는 사용자 이름이고 경로는 다음과 같습니다.
C:/사용자/XX/VLM.tar.gz
리눅스도 마찬가지

2. 환경을 대상 컴퓨터로 마이그레이션

①방법 1
1. Anaconda Prompt를 사용하여 새 환경을 만듭니다. 예를 들어 새 환경은 py310입니다.

conda create -n py310 python=3.10
1

2. USB 플래시 드라이브의 패키징 환경을 대상 컴퓨터의 사용자 이름 디렉터리에 복사합니다.
C:/사용자/XX/Py36.tar.gz
3. Anaconda Prompt를 사용하여 패키지된 환경의 압축을 새 환경 경로에 풀어줍니다.

tar -zxvf Py36.tar.gz -C E:anaconda3envspy36
1

4. 새 환경 활성화

conda activate py310
1

참고: 실패할 경우 두 번째 방법을 시도해 보세요.
②방법 2
1. 대상 컴퓨터의 환경 폴더를 찾습니다.
환경 경로는 anaconda가 있는 디렉터리의 envs 폴더입니다. 예를 들어 내 경로는 E:anaconda3envs입니다.
2. USB 플래시 드라이브의 패키징 환경을 환경 폴더 envs에 복사합니다.
3. 환경 경로에서 cmd 명령줄을 사용하여 새 폴더를 만들고 이름을 py36으로 지정합니다.

mkdir py36
1

또는 수동으로 새 폴더를 만듭니다.
4. cmd 명령줄을 사용하여 패키징 환경을 새로운 환경으로 압축 해제

tar -zxvf Py36.tar.gz -C ./py36
1

3. 예외 처리

pip install -e 압축 실패 → 무시

오류는 다음과 같이 보고됩니다.

Collecting packages...
CondaPackError: Cannot pack an environment with editable packages
installed (e.g. from `python setup.py develop` or
 `pip install -e`). Editable packages found:

- /home/xxx
1
2
3
4
5
6

대신 다음을 사용하세요

conda pack -n VLM -o VLM.tar.gz --ignore-editable-packages
1

다음을 사용하여 압축을 푼다

mkdir ~/ananconda/envs/pcdet-tmp
tar -xf pcdet.tar.gz -C ~/ananconda/envs/pcdet-tmp
cd ~/ananconda/envs/pcdet-tmp
source ./bin/activate
1
2
3
4

관리되는 파일이 삭제 또는 덮어쓰기 → tar로 압축됨

CondaPackError:  
	Files managed by conda were found to have been deleted/overwritten in the following packages: 
		 - charset-normalizer 2.0.4:
		 - xxxx
This is usually due to `pip` uninstalling or clobbering conda managed files,
resulting in an inconsistent environment. Please check your environment for
conda/pip conflicts using `conda list`, and fix the environment by ensuring
only one version of each package is installed (conda preferred).
1
2
3
4
5
6
7
8

해결책은 WSL의 장점을 활용하여 Windows에서 직접 anaconda 환경 환경을 패키징하는 것이었습니다. 그러나 수많은 종속성 오류와 이름 지정 오류가 보고되었습니다.

결국 포기하고 리눅스 시스템에서 패키징과 압축을 시도해보았습니다.
Linux에서는 tar 명령을 사용하여 파일이나 폴더를 .tar.gz 형식으로 압축할 수 있습니다.
tar는 파일을 패키지화하는 데 사용되는 명령입니다.
-c는 새 아카이브 파일을 생성한다는 의미입니다.
-z는 gzip 압축을 사용한다는 의미입니다.
-v는 아카이브 시 자세한 정보를 표시함을 나타냅니다.
-f 뒤에는 아카이브 파일 이름이 옵니다.

예를 들어, 아나콘다의 env 아래에 VLM이라는 폴더를 압축하려면 다음 명령을 사용할 수 있습니다:

tar -czvf VLM.tar.gz VLM
1

알아채다

在Linux里去看位置，anaconda是不显示完整文件目录的，会直接不显示有env文件夹，但是可以直接cd 进env去看
1

myfile.txt와 같은 단일 파일을 압축하려면 다음을 사용할 수 있습니다.

tar -czvf myfile.tar.gz myfile.txt
1

이 명령은 현재 디렉터리에 .tar.gz 파일을 생성합니다. 필요한 경우 파일 경로를 변경하거나 출력 디렉터리를 지정할 수 있습니다.

압축 성공

환경 재활성화

3. 3단계: 환경 활성화
tar 압축의 경우 압축 해제 실행

tar -xzvf VLM.tar.gz
1

.zip을 다른 시스템에 복사하고 /xxxx/anaconda/envs/ 디렉터리에 추출하면 다음과 같습니다.

unzip -d /xxxx/anaconda/envs/  pyenv.zip
1

알아채다!패키지된 가상 환경은 원본 환경을 기록합니다. 새 시스템의 아나콘다 설치 경로는 원본 환경과 다를 수 있습니다. 예를 들어 원본 환경은 /xxxx/anaconda2023/이고 새 시스템은 /xxxx/anaconda/입니다. 이 경우 먼저 원래 경로 wsl.localhostUbuntuhometestanaconda3envsVLM과 같이 원본 환경 아나콘다 설치 경로와 동일한 새 시스템에 빈 디렉터리를 만들어야 합니다.
mkdir /xxxx/anaconda3/envs/
그런 다음 소프트 링크를 만듭니다.
ln -s /xxxx/아나콘다/envs/pyenv /xxxx/아나콘다3/envs/
빈 디렉토리를 실제 아나콘다 경로로 지정
그런 다음 환경 소스를 활성화하고 /xxxx/anaconda/envs/VLM을 활성화하십시오.

원활하게 완료되길 바랍니다!

그럼, 도움이 되셨다면 편하게 복사해주세요. 정리 및 재인쇄가 어려운 경우 qwq 표시 부탁드립니다!
더 좋은 제안이나 의견이 있으면 추가해 주세요!
제 이름은 Qi Yunpeng(Qí Qí)이고, 알고리즘의 즐거움을 모든 사람과 공유하기 위해 노력하고 있습니다!

블로그당 사진 1장(1/1)↓

참조:
conda-pack은 가상 환경을 마이그레이션합니다.
오프라인 환경 Conda 가상 환경 백업 마이그레이션 - Conda Pack 문제