Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

O objetivo do conjunto MindSpore Transformers é construir um conjunto de desenvolvimento de processo completo para treinamento, ajuste fino, avaliação, inferência e implantação de grandes modelos. Ele fornece os principais modelos de pré-treinamento do tipo Transformer e aplicativos de tarefas downstream SOTA. cobrindo recursos paralelos ricos. Esperamos ajudar os usuários a obter facilmente treinamento em grandes modelos e pesquisa e desenvolvimento inovadores.

O conjunto MindSpore Transformers é baseado na tecnologia paralela integrada e no design de componentes do MindSpore e possui os seguintes recursos:

• Uma linha de código permite a mudança perfeita de cartão único para treinamento em cluster em grande escala;
• Fornece configuração paralela personalizada flexível e fácil de usar;
• Capaz de realizar automaticamente o reconhecimento de topologia e integrar eficientemente o paralelismo de dados e modelar estratégias de paralelismo;
• Inicie processos de treinamento, ajuste fino, avaliação e inferência de cartão único/vários cartões para qualquer tarefa com um clique;
• Apoiar os usuários na configuração de qualquer módulo em forma de componente, como otimizador, estratégia de aprendizagem, montagem de rede, etc.;
• Fornece interfaces fáceis de usar de alto nível, como Trainer, pipeline e AutoClass;
• Fornece funções automáticas de download e carregamento de pesos SOTA predefinidos;
• Apoiar a migração e implantação contínua de centros de computação de inteligência artificial;

Plataforma de modelo grande Shengsi (mindspore.cn)

mindformers: O objetivo do conjunto MindSpore Transformers é construir um conjunto de processos completos para treinamento, inferência e implantação de grandes modelos: fornecendo os principais modelos de pré-treinamento do tipo Transformer da indústria, cobrindo recursos paralelos ricos. Esperamos ajudar os usuários a implementar facilmente o treinamento de modelos grandes. Documentação: https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1. Instalação

Instale o git primeiro no ambiente Linux Ubuntu

sudo apt install git

Obtenha formadores de mente

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

Digite o diretório para executar o script

cd mindformers

bash build.sh

Este script precisa instalar a biblioteca python setuptools e executar o comando no link

Nenhum módulo chamado 'distutils.cmd_nenhum módulo chamado 'distutils.cmd-CSDN博客

sudo apt-get install python3.7-distutils   3.7

A versão do Python deve ser no mínimo 3.7, recomendo instalar a 3.9

Ubuntu atualiza Python para 3.7_apt-get atualiza python3.7-CSDN blog

python3

Digite "exit()" para retornar ao modo normal de linha de comando

build.h pode relatar um erro ERRO: Requisito inválido: 'mindformers*whl'

Mude o python no script para python3

Pressione Esc e digite ":wq!" para salvar e sair.

Corra novamente

bash build.sh

Execute com sucesso e a instalação será concluída.

Às vezes, são necessárias versões diferentes do Python. Observe que python3 é diferente de python. Lembro que também é configurável.

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

Se for 3,9

sudo apt-get install python3.9-distutils   3.9