Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

Tujuan dari rangkaian MindSpore Transformers adalah untuk membangun rangkaian pengembangan proses penuh untuk pelatihan model besar, penyempurnaan, evaluasi, inferensi, dan penerapan. Ini menyediakan model pra-pelatihan tipe Transformer arus utama di industri dan aplikasi tugas hilir SOTA. mencakup fitur paralel yang kaya. Kami berharap dapat membantu pengguna dengan mudah mencapai pelatihan model besar serta penelitian dan pengembangan inovatif.

Rangkaian MindSpore Transformers didasarkan pada teknologi paralel dan desain komponen bawaan MindSpore, dan memiliki beberapa fitur berikut:

• Satu baris kode memungkinkan peralihan yang mulus dari satu kartu ke pelatihan klaster skala besar;
• Menyediakan konfigurasi paralel pribadi yang fleksibel dan mudah digunakan;
• Mampu secara otomatis melakukan kesadaran topologi dan secara efisien mengintegrasikan paralelisme data dan strategi model paralelisme;
• Mulai pelatihan satu kartu/multi-kartu, penyesuaian, evaluasi, dan proses inferensi untuk tugas apa pun dengan satu klik;
• Mendukung pengguna untuk mengonfigurasi modul apa pun dalam bentuk komponen, seperti pengoptimal, strategi pembelajaran, perakitan jaringan, dll.;
• Menyediakan antarmuka tingkat tinggi yang mudah digunakan seperti Trainer, pipeline, dan AutoClass;
• Menyediakan fungsi pengunduhan dan pemuatan otomatis bobot SOTA yang telah ditetapkan;
• Mendukung migrasi yang lancar dan penyebaran pusat komputasi kecerdasan buatan;

Platform model besar Mindspore (mindspore.cn)

mindformers: Tujuan dari rangkaian MindSpore Transformers adalah untuk membangun rangkaian proses lengkap untuk pelatihan, inferensi, dan penerapan model besar: menyediakan model pra-pelatihan tipe Transformer arus utama di industri, yang mencakup fitur paralel yang kaya. Kami berharap dapat membantu pengguna menerapkan pelatihan model besar dengan mudah. Dokumentasi: https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1. Instalasi

Instal git terlebih dahulu di lingkungan Linux Ubuntu

sudo apt install git

Dapatkan pembentuk pikiran

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

Masuk ke direktori untuk menjalankan skrip

cd mindformers

bash build.sh

Skrip ini perlu menginstal pustaka python setuptools dan menjalankan perintah di tautan

Tidak ada modul bernama 'distutils.cmd_no module named 'distutils.cmd-CSDN tidak ada modul bernama 'distutils.cmd'

sudo apt-get install python3.7-distutils   3.7

Versi Python minimal harus 3.7, saya sarankan menginstal 3.9

Ubuntu meningkatkan Python ke 3.7_apt-get memperbarui blog python3.7-CSDN

python3

Ketik "exit()" untuk kembali ke mode baris perintah normal

build.h mungkin melaporkan kesalahan ERROR: Persyaratan tidak valid: 'mindformers*whl'

Ubah python di skrip menjadi python3

Tekan Esc dan ketik ":wq!" untuk menyimpan dan keluar.

berlari lagi

bash build.sh

Jalankan dengan sukses dan instalasi selesai.

Terkadang diperlukan versi Python yang berbeda. Perhatikan bahwa python3 berbeda dari python. Saya ingat ini juga dapat dikonfigurasi.

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

Jika 3,9

sudo apt-get install python3.9-distutils   3.9