Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Verpackung der virtuellen Anaconda-Umgebung

Das Experiment wurde auf dieser Maschine erfolgreich verifiziert. Es musste auf ein High-End-Gerät migriert werden. Mit einem einzigen 4090D dauerte es zweieinhalb Stunden, um ein 128.000 multimodales großes Modell zur Inferenz und Auswertung eines Datensatzes auszuführen. Es war immer noch zu zeitaufwändig und eine schwere Aufgabe. Es musste dringend an die 8A100-Maschine übergeben werden.

Um die Anaconda-Umgebung vom Quellcomputer auf den Zielcomputer zu migrieren, muss zunächst auf beiden Computern Anaconda installiert sein.

1. Umgebungsverpackung des Quellcomputers

Verwenden Sie den Anaconda-Prompt-Vorgang

1. Installieren Sie das Conda-Pack-Tool

conda install conda-pack
1

2. Bestimmen Sie die Umgebung

conda env list
1

Suchen Sie den Namen der Umgebung, die Sie verpacken möchten. Mein Umgebungsname ist beispielsweise VLM

3. Verpackungsumgebung

conda pack -n VLM -o VLM.tar.gz
1

4. Kopieren Sie die Verpackungsumgebung auf ein USB-Flash-Laufwerk

Die Windows-Umgebung ist im aktuellen Verzeichnis gepackt. XX ist beispielsweise der Benutzername und der Pfad
C:/Benutzer/XX/VLM.tar.gz
Das Gleiche gilt für Linux

2. Migrieren Sie die Umgebung auf den Zielcomputer

①Methode 1
1. Verwenden Sie die Anaconda-Eingabeaufforderung, um eine neue Umgebung zu erstellen. Die neue Umgebung lautet beispielsweise py310:

conda create -n py310 python=3.10
1

2. Kopieren Sie die Verpackungsumgebung vom USB-Flash-Laufwerk in das Benutzernamenverzeichnis des Zielcomputers:
C:/Benutzer/XX/Py36.tar.gz
3. Verwenden Sie die Anaconda-Eingabeaufforderung, um die gepackte Umgebung in den neuen Umgebungspfad zu entpacken:

tar -zxvf Py36.tar.gz -C E:anaconda3envspy36
1

4. Aktivieren Sie die neue Umgebung

conda activate py310
1

Hinweis: Wenn dies fehlschlägt, versuchen Sie es mit Methode zwei:
②Methode 2
1. Suchen Sie den Umgebungsordner des Zielcomputers
Der Pfad der Umgebung ist der Ordner envs in dem Verzeichnis, in dem sich Anaconda befindet. Meiner lautet beispielsweise: E: anaconda3envs. Die folgenden Schritte werden unter diesem Pfad ausgeführt.
2. Kopieren Sie die Verpackungsumgebung vom USB-Stick in den Umgebungsordner envs.
3. Verwenden Sie die cmd-Befehlszeile im Umgebungspfad, um einen neuen Ordner zu erstellen und ihn py36 zu nennen:

mkdir py36
1

Oder erstellen Sie manuell einen neuen Ordner
4. Verwenden Sie die cmd-Befehlszeile, um die Verpackungsumgebung in eine neue Umgebung zu dekomprimieren

tar -zxvf Py36.tar.gz -C ./py36
1

3. Ausnahmebehandlung

pip install -e. Verursacht Fehler beim Packen → Ignorieren

Der Fehler wird wie folgt gemeldet

Collecting packages...
CondaPackError: Cannot pack an environment with editable packages
installed (e.g. from `python setup.py develop` or
 `pip install -e`). Editable packages found:

- /home/xxx
1
2
3
4
5
6

Verwenden Sie stattdessen Folgendes

conda pack -n VLM -o VLM.tar.gz --ignore-editable-packages
1

Mit entpacken

mkdir ~/ananconda/envs/pcdet-tmp
tar -xf pcdet.tar.gz -C ~/ananconda/envs/pcdet-tmp
cd ~/ananconda/envs/pcdet-tmp
source ./bin/activate
1
2
3
4

Die verwalteten Dateien wurden gelöscht oder überschrieben → in tar komprimiert

CondaPackError:  
	Files managed by conda were found to have been deleted/overwritten in the following packages: 
		 - charset-normalizer 2.0.4:
		 - xxxx
This is usually due to `pip` uninstalling or clobbering conda managed files,
resulting in an inconsistent environment. Please check your environment for
conda/pip conflicts using `conda list`, and fix the environment by ensuring
only one version of each package is installed (conda preferred).
1
2
3
4
5
6
7
8

Die Lösung bestand darin, die Vorteile von WSL zu nutzen, um die Umgebung env direkt unter Windows zu packen. Es wurde jedoch eine große Anzahl von Abhängigkeitsfehlern und Namensfehlern gemeldet.

Schließlich habe ich aufgegeben und versucht, Paketierung und Komprimierung unter dem Linux-System durchzuführen.
Unter Linux können Sie den Befehl tar verwenden, um eine Datei oder einen Ordner in das .tar.gz-Format zu komprimieren.
tar ist ein Befehl zum Packen von Dateien.
-c bedeutet, eine neue Archivdatei zu erstellen.
-z bedeutet, gzip-Komprimierung zu verwenden.
-v gibt an, dass beim Archivieren ausführliche Informationen angezeigt werden.
Auf -f folgt der Name der Archivdatei.

Wenn Sie beispielsweise den Ordner mit dem Namen VLM unter env in Anaconda komprimieren möchten, können Sie den folgenden Befehl verwenden:

tar -czvf VLM.tar.gz VLM
1

Beachten

在Linux里去看位置，anaconda是不显示完整文件目录的，会直接不显示有env文件夹，但是可以直接cd 进env去看
1

Wenn Sie eine einzelne Datei komprimieren möchten, z. B. myfile.txt, können Sie Folgendes verwenden:

tar -czvf myfile.tar.gz myfile.txt
1

Diese Befehle erstellen eine .tar.gz-Datei im aktuellen Verzeichnis. Sie können den Dateipfad ändern oder bei Bedarf das Ausgabeverzeichnis angeben.

Komprimierung erfolgreich

Reaktivieren Sie die Umgebung

3. Schritt 3: Aktivieren Sie die Umgebung
Für die Tar-Komprimierung und die Dekomprimierungsausführung

tar -xzvf VLM.tar.gz
1

Wenn die ZIP-Datei auf ein anderes System kopiert und in das Verzeichnis /xxxx/anaconda/envs/ extrahiert wird, ist dies der Fall

unzip -d /xxxx/anaconda/envs/  pyenv.zip
1

Beachten!Die gepackte virtuelle Umgebung zeichnet die Quellumgebung auf. Der Anaconda-Installationspfad kann sich von der Quellumgebung unterscheiden. Beispielsweise lautet die Quellumgebung /xxxx/anaconda/ In diesem Fall müssen Sie zunächst ein leeres Verzeichnis auf dem neuen System erstellen, das mit dem Anaconda-Installationspfad der Quellumgebung übereinstimmt, z. B. dem ursprünglichen Pfad wsl.localhostUbuntuhometestanaconda3envsVLM
mkdir /xxxx/anaconda3/envs/
Dann erstellen Sie einen Softlink
ln -s /xxxx/anaconda/envs/pyenv /xxxx/anaconda3/envs/
Verweisen Sie auf das leere Verzeichnis auf den tatsächlichen Anaconda-Pfad
Aktivieren Sie dann die Umgebungsquelle /xxxx/anaconda/envs/VLM

Ich hoffe, dass es reibungslos abgeschlossen werden kann!

Wenn es für Sie hilfreich ist, können Sie es gerne kopieren. Bitte geben Sie qwq an, wenn es schwierig ist, es zu organisieren und erneut zu drucken!
Wenn Sie bessere Vorschläge oder Kommentare haben, fügen Sie diese bitte hinzu!
Mein Name ist Qi Yunpeng (Qi Qí) und ich möchte die Freude an Algorithmen mit allen teilen!

Ein Bild pro Blog (1/1)↓

Referenz:
conda-pack migriert virtuelle Umgebungen
Backup-Migration der virtuellen Conda-Umgebung der Offline-Umgebung – Conda-Pack-Problem