Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

L'objectif de la suite MindSpore Transformers est de créer une suite de développement complète pour la formation, le réglage fin, l'évaluation, l'inférence et le déploiement de grands modèles. Elle fournit les modèles de pré-formation de type Transformer les plus courants du secteur et les applications de tâches en aval SOTA. couvrant de riches fonctionnalités parallèles. Nous espérons aider les utilisateurs à réaliser facilement une formation sur de grands modèles et une recherche et développement innovants.

La suite MindSpore Transformers est basée sur la technologie parallèle intégrée et la conception des composants de MindSpore, et présente les fonctionnalités suivantes :

• Une seule ligne de code permet de passer facilement d'une formation à carte unique à une formation en cluster à grande échelle ;
• Fournir une configuration parallèle personnalisée, flexible et facile à utiliser ;
• Capable d'effectuer automatiquement une connaissance de la topologie et d'intégrer efficacement des stratégies de parallélisme de données et de parallélisme de modèles ;
• Démarrez des processus de formation, de réglage fin, d'évaluation et d'inférence avec une ou plusieurs cartes pour n'importe quelle tâche en un seul clic ;
• Aider les utilisateurs à configurer n'importe quel module sous forme de composant, tel qu'un optimiseur, une stratégie d'apprentissage, un assemblage de réseau, etc. ;
• Fournit des interfaces de haut niveau faciles à utiliser telles que Trainer, Pipeline et AutoClass ;
• Fournit des fonctions de téléchargement et de chargement automatiques de poids SOTA prédéfinis ;
• Soutenir la migration et le déploiement transparents de centres informatiques d’intelligence artificielle ;

Plateforme Mindspore grands modèles (mindspore.cn)

mindformers : L'objectif de la suite MindSpore Transformers est de créer une suite complète de processus pour la formation, l'inférence et le déploiement de grands modèles : en fournissant les modèles de pré-formation de type Transformer les plus courants du secteur, couvrant de riches fonctionnalités parallèles. Nous espérons aider les utilisateurs à mettre en œuvre facilement une formation sur de grands modèles. Documentation : https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1.Installation

Installez d'abord git dans l'environnement Linux Ubuntu

sudo apt install git

Obtenez des formateurs d'esprit

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

Entrez le répertoire pour exécuter le script

cd mindformers

bash build.sh

Ce script doit installer la bibliothèque python setuptools et exécuter la commande dans le lien

Aucun module nommé « distutils.cmd_no module nommé « distutils.cmd-CSDN博客

sudo apt-get install python3.7-distutils   3.7

La version de Python doit être au moins 3.7, je recommande d'installer la 3.9

Ubuntu met à niveau Python vers 3.7_apt-get met à jour le blog python3.7-CSDN

python3

Tapez "exit()" pour revenir au mode de ligne de commande normal

build.h peut signaler une erreur ERREUR : exigence non valide : 'mindformers*whl'

Changez le python dans le script en python3

Appuyez sur Echap et tapez ":wq!" pour enregistrer et quitter.

courir à nouveau

bash build.sh

Exécutez avec succès et l'installation est terminée.

Parfois, différentes versions de Python sont nécessaires. Notez que python3 est différent de python. Je me souviens que c'est également configurable.

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

Si c'est 3,9

sudo apt-get install python3.9-distutils   3.9