Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Confezione dell'ambiente virtuale Anaconda

L'esperimento è stato verificato con successo su questa macchina. È necessario migrarlo su un'apparecchiatura di fascia alta. Con un singolo 4090D, sono state necessarie due ore e mezza per eseguire un modello multimodale di grandi dimensioni da 128k per l'inferenza e la valutazione su un set di dati. Era ancora troppo dispendioso in termini di tempo e un compito pesante. È urgentemente necessario affidarlo alla macchina 8A100.

Per migrare l'ambiente anaconda dal computer di origine al computer di destinazione, è necessario innanzitutto che entrambi i computer abbiano installato anaconda.

1. Packaging dell'ambiente del computer di origine

Utilizzare l'operazione Prompt di Anaconda

1. Installa lo strumento conda-pack

conda install conda-pack
1

2. Determinare l'ambiente

conda env list
1

Trova il nome dell'ambiente che desideri creare il pacchetto. Ad esempio, il nome del mio ambiente è VLM

3. Ambiente di imballaggio

conda pack -n VLM -o VLM.tar.gz
1

4. Copiare l'ambiente di confezionamento su un'unità flash USB

L'ambiente Windows è compresso nella directory corrente. Ad esempio, XX è il nome utente e il percorso è
C:/Utenti/XX/VLM.tar.gz
Lo stesso per Linux

2. Migrare l'ambiente sul computer di destinazione

①Metodo 1
1. Utilizza Anaconda Prompt per creare un nuovo ambiente, ad esempio il nuovo ambiente è py310:

conda create -n py310 python=3.10
1

2. Copiare l'ambiente di confezionamento nell'unità flash USB nella directory del nome utente del computer di destinazione:
C:/Utenti/XX/Py36.tar.gz
3. Utilizzare Anaconda Prompt per decomprimere l'ambiente compresso nel nuovo percorso dell'ambiente:

tar -zxvf Py36.tar.gz -C E:anaconda3envspy36
1

4. Attiva il nuovo ambiente

conda activate py310
1

Nota: se fallisce, prova il metodo due:
②Metodo 2
1. Trova la cartella dell'ambiente del computer di destinazione
Il percorso dell'ambiente è la cartella envs nella directory in cui si trova anaconda. Ad esempio, il mio è: E: anaconda3envs. I seguenti passaggi vengono eseguiti in questo percorso.
2. Copiare l'ambiente di confezionamento nell'unità flash USB nella cartella dell'ambiente envs.
3. Utilizzare la riga di comando cmd nel percorso dell'ambiente per creare una nuova cartella e denominarla py36:

mkdir py36
1

Oppure crea una nuova cartella manualmente
4. Utilizzare la riga di comando cmd per decomprimere l'ambiente di confezionamento in un nuovo ambiente

tar -zxvf Py36.tar.gz -C ./py36
1

3. Gestione delle eccezioni

pip install -e Causa l'impossibilità di eseguire il pack→ignorare

L'errore viene segnalato come segue

Collecting packages...
CondaPackError: Cannot pack an environment with editable packages
installed (e.g. from `python setup.py develop` or
 `pip install -e`). Editable packages found:

- /home/xxx
1
2
3
4
5
6

Utilizzare invece quanto segue

conda pack -n VLM -o VLM.tar.gz --ignore-editable-packages
1

Decomprimere utilizzando

mkdir ~/ananconda/envs/pcdet-tmp
tar -xf pcdet.tar.gz -C ~/ananconda/envs/pcdet-tmp
cd ~/ananconda/envs/pcdet-tmp
source ./bin/activate
1
2
3
4

I file gestiti sono stati cancellati o sovrascritti → compressi in tar

CondaPackError:  
	Files managed by conda were found to have been deleted/overwritten in the following packages: 
		 - charset-normalizer 2.0.4:
		 - xxxx
This is usually due to `pip` uninstalling or clobbering conda managed files,
resulting in an inconsistent environment. Please check your environment for
conda/pip conflicts using `conda list`, and fix the environment by ensuring
only one version of each package is installed (conda preferred).
1
2
3
4
5
6
7
8

La soluzione era provare a sfruttare i vantaggi di WSL per impacchettare l'ambiente env in anaconda direttamente sotto Windows. Tuttavia, è stato segnalato un numero enorme di errori di dipendenza ed errori di denominazione.

Alla fine ho rinunciato e ho provato a impacchettare e comprimere il sistema Linux. È fattibile?
In Linux, puoi utilizzare il comando tar per comprimere un file o una cartella nel formato .tar.gz.
tar è un comando utilizzato per impacchettare i file.
-c significa creare un nuovo file di archivio.
-z significa usare la compressione gzip.
-v indica di visualizzare informazioni dettagliate durante l'archiviazione.
-f è seguito dal nome del file di archivio.

Ad esempio, se desideri comprimere la cartella denominata VLM sotto env in anaconda, puoi utilizzare il seguente comando:

tar -czvf VLM.tar.gz VLM
1

Avviso

在Linux里去看位置，anaconda是不显示完整文件目录的，会直接不显示有env文件夹，但是可以直接cd 进env去看
1

Se vuoi comprimere un singolo file, come myfile.txt, puoi utilizzare:

tar -czvf myfile.tar.gz myfile.txt
1

Questi comandi creeranno un file .tar.gz nella directory corrente. Puoi modificare il percorso del file o specificare la directory di output, se necessario.

Compressione riuscita

Riattivare l'ambiente

3. Passaggio 3: attivare l'ambiente
Per la compressione tar, esecuzione della decompressione

tar -xzvf VLM.tar.gz
1

Se il file .zip viene copiato su un altro sistema ed estratto nella directory /xxxx/anaconda/envs/, viene

unzip -d /xxxx/anaconda/envs/  pyenv.zip
1

Avviso!L'ambiente virtuale in pacchetto registra l'ambiente di origine. Il percorso di installazione di anaconda sul nuovo sistema potrebbe essere diverso dall'ambiente di origine. Ad esempio, l'ambiente di origine è /xxxx/anaconda2023/ e il nuovo sistema è /xxxx/anaconda/ in questo caso, devi prima creare una directory vuota sul nuovo sistema che sia uguale al percorso di installazione di anaconda dell'ambiente di origine, come il percorso originale wsl.localhostUbuntuhometestanaconda3envsVLM
mkdir /xxxx/anaconda3/envs/
Quindi crea un collegamento software
ln -s /xxxx/anaconda/envs/pyenv /xxxx/anaconda3/envs/
Punta la directory vuota sul percorso anaconda effettivo
Quindi attivare la sorgente dell'ambiente activate /xxxx/anaconda/envs/VLM

Spero che possa essere completato senza intoppi!

Bene, se ti è utile, sentiti libero di copiarlo. Indica qwq se è difficile da organizzare e ristampare!
Se hai suggerimenti o commenti migliori, aggiungili!
Mi chiamo Qi Yunpeng (Qi Qí) e mi impegno a condividere la gioia degli algoritmi con tutti!

Una foto per blog (1/1)↓

Riferimento:
conda-pack migra gli ambienti virtuali
Migrazione del backup dell'ambiente virtuale conda dell'ambiente offline: problema del pacchetto conda