Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

Das Ziel der MindSpore Transformers-Suite besteht darin, eine vollständige Prozessentwicklungssuite für das Training, die Feinabstimmung, die Bewertung, die Inferenz und die Bereitstellung großer Modelle zu erstellen. Sie bietet die branchenüblichen Vortrainingsmodelle vom Transformer-Typ und nachgelagerte SOTA-Aufgabenanwendungen. deckt umfangreiche Parallelfunktionen ab. Wir hoffen, Benutzern dabei zu helfen, auf einfache Weise große Modellschulungen und innovative Forschung und Entwicklung zu erreichen.

Die MindSpore Transformers-Suite basiert auf der integrierten parallelen Technologie und dem Komponentendesign von MindSpore und verfügt über die folgenden Funktionen:

• Eine Codezeile ermöglicht den nahtlosen Wechsel vom Einzelkarten-Training zum groß angelegten Cluster-Training.
• Bieten Sie eine flexible und benutzerfreundliche personalisierte Parallelkonfiguration;
• Kann automatisch eine Topologieerkennung durchführen und Datenparallelitäts- und Modellparallelitätsstrategien effizient integrieren;
• Starten Sie Einzelkarten-/Mehrkarten-Trainings-, Feinabstimmungs-, Bewertungs- und Inferenzprozesse für jede Aufgabe mit einem Klick.
• Unterstützen Sie Benutzer bei der Konfiguration beliebiger Module in Komponentenform, z. B. Optimierer, Lernstrategie, Netzwerkassemblierung usw.;
• Bietet hochwertige, benutzerfreundliche Schnittstellen wie Trainer, Pipeline und AutoClass;
• Bietet automatische Download- und Ladefunktionen voreingestellter SOTA-Gewichte;
• Unterstützung der nahtlosen Migration und Bereitstellung von Rechenzentren für künstliche Intelligenz;

Shengsi-Plattform für große Modelle (mindspore.cn)

mindformers: Das Ziel der MindSpore Transformers-Suite besteht darin, eine vollständige Prozesssuite für das Training, die Inferenz und den Einsatz großer Modelle zu erstellen: Bereitstellung der branchenweit gängigen Vortrainingsmodelle vom Transformer-Typ, die umfangreiche parallele Funktionen abdecken. Wir hoffen, Benutzern dabei zu helfen, das Training großer Modelle einfach umzusetzen. Dokumentation: https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1. Installation

Installieren Sie Git zuerst in der Linux-Ubuntu-Umgebung

sudo apt install git

Holen Sie sich Gedankenformer

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

Geben Sie das Verzeichnis ein, um das Skript auszuführen

cd mindformers

bash build.sh

Dieses Skript muss die Python-Setuptools-Bibliothek installieren und den Befehl im Link ausführen

Kein Modul mit dem Namen 'distutils.cmd_kein Modul mit dem Namen 'distutils.cmd-CSDN-Fehler

sudo apt-get install python3.7-distutils   3.7

Die Python-Version muss mindestens 3.7 sein, ich empfehle die Installation von 3.9

Ubuntu aktualisiert Python auf 3.7_apt-get aktualisiert Python3.7-CSDN-Blog

python3

Geben Sie „exit()“ ein, um zum normalen Befehlszeilenmodus zurückzukehren

build.h meldet möglicherweise einen Fehler FEHLER: Ungültige Anforderung: „mindformers*whl“

Ändern Sie die Python im Skript in Python3

Drücken Sie Esc und geben Sie „:wq!“ ein, um zu speichern und zu beenden.

führe es nochmals aus

bash build.sh

Erfolgreich ausgeführt und die Installation ist abgeschlossen.

Manchmal sind unterschiedliche Versionen von Python erforderlich. Beachten Sie, dass sich Python3 von Python unterscheidet. Ich erinnere mich, dass es auch konfigurierbar ist.

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

Wenn es 3,9 ist

sudo apt-get install python3.9-distutils   3.9