Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

Ο στόχος της σουίτας MindSpore Transformers είναι να δημιουργήσει μια σουίτα ανάπτυξης πλήρους διεργασίας για εκπαίδευση μεγάλων μοντέλων, τελειοποίηση, αξιολόγηση, συμπέρασμα και ανάπτυξη. καλύπτοντας πλούσια παράλληλα χαρακτηριστικά. Ελπίζουμε να βοηθήσουμε τους χρήστες να επιτύχουν εύκολα μεγάλη εκπαίδευση μοντέλων και καινοτόμο έρευνα και ανάπτυξη.

Η σουίτα MindSpore Transformers βασίζεται στην ενσωματωμένη παράλληλη τεχνολογία και σχεδιασμό εξαρτημάτων του MindSpore και έχει τα ακόλουθα χαρακτηριστικά:

• Μία γραμμή κώδικα επιτρέπει την απρόσκοπτη εναλλαγή από μία κάρτα σε μεγάλης κλίμακας εκπαίδευση συμπλέγματος.
• Παρέχετε ευέλικτη και εύκολη στη χρήση εξατομικευμένη παράλληλη διαμόρφωση.
• Ικανός να εκτελεί αυτόματα την επίγνωση της τοπολογίας και να ενσωματώνει αποτελεσματικά τον παραλληλισμό δεδομένων και τις στρατηγικές παραλληλισμού μοντέλων.
• Ξεκινήστε τις διαδικασίες εκπαίδευσης μιας κάρτας/πολλαπλών καρτών, τελειοποίησης, αξιολόγησης και συμπερασμάτων για οποιαδήποτε εργασία με ένα κλικ.
• Υποστήριξη των χρηστών να διαμορφώσουν οποιαδήποτε ενότητα σε μορφή στοιχείου, όπως βελτιστοποιητής, στρατηγική εκμάθησης, συναρμολόγηση δικτύου κ.λπ.
• Παρέχει υψηλού επιπέδου εύχρηστες διεπαφές όπως Trainer, pipeline και AutoClass.
• Παρέχει αυτόματες λειτουργίες λήψης και φόρτωσης προκαθορισμένων βαρών SOTA.
• Υποστήριξη απρόσκοπτης μετανάστευσης και ανάπτυξης κέντρων υπολογιστών τεχνητής νοημοσύνης.

Πλατφόρμα μεγάλου μοντέλου Mindspore (mindspore.cn)

mindformers: Ο στόχος της σουίτας MindSpore Transformers είναι να δημιουργήσει μια σουίτα πλήρους διεργασίας για εκπαίδευση μεγάλων μοντέλων, εξαγωγή συμπερασμάτων και ανάπτυξη: παρέχοντας τα κύρια μοντέλα προεκπαίδευσης τύπου Transformer της βιομηχανίας, που καλύπτουν πλούσια παράλληλα χαρακτηριστικά. Ελπίζουμε να βοηθήσουμε τους χρήστες να εφαρμόσουν εύκολα την εκπαίδευση μεγάλων μοντέλων. Τεκμηρίωση: https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1. Εγκατάσταση

Εγκαταστήστε πρώτα το git σε περιβάλλον Linux Ubuntu

sudo apt install git

Πάρτε mindformers

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

Εισαγάγετε τον κατάλογο για να εκτελέσετε το σενάριο

cd mindformers

bash build.sh

Αυτό το σενάριο πρέπει να εγκαταστήσει τη βιβλιοθήκη python setuptools και να εκτελέσει την εντολή στον σύνδεσμο

Καμία ενότητα με όνομα 'distutils.cmd_no module με όνομα 'distutils.cmd-CSDN博客

sudo apt-get install python3.7-distutils   3.7

Η έκδοση Python πρέπει να είναι τουλάχιστον 3.7, συνιστώ να εγκαταστήσετε την 3.9

Το Ubuntu αναβαθμίζει την Python σε 3.7_apt-get updates blog python3.7-CSDN

python3

Πληκτρολογήστε "exit()" για να επιστρέψετε στην κανονική λειτουργία γραμμής εντολών

Το build.h ενδέχεται να αναφέρει ένα σφάλμα ΣΦΑΛΜΑ: Μη έγκυρη απαίτηση: 'mindformers*whl'

Αλλάξτε το python στο σενάριο σε python3

Πατήστε Esc και πληκτρολογήστε ":wq!" για αποθήκευση και έξοδο.

Εκτελέστε ξανά

bash build.sh

Εκτελέστε με επιτυχία και η εγκατάσταση ολοκληρώθηκε.

Μερικές φορές χρειάζονται διαφορετικές εκδόσεις της Python. Σημειώστε ότι το python3 είναι διαφορετικό από το python. Θυμάμαι ότι είναι και παραμετροποιήσιμο.

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

Αν είναι 3,9

sudo apt-get install python3.9-distutils   3.9