技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

         

MindSpore Transformers スイートの目標は、大規模なモデルのトレーニング、微調整、評価、推論、展開のためのフルプロセスの開発スイートを構築することです。これは、業界の主流の Transformer タイプの事前トレーニング モデルと SOTA ダウンストリーム タスク アプリケーションを提供します。豊富な並列機能をカバーします。私たちは、ユーザーが大規模モデルのトレーニングや革新的な研究開発を簡単に実現できるよう支援したいと考えています。

MindSpore Transformers スイートは、MindSpore の組み込み並列テクノロジとコンポーネント設計に基づいており、次の機能を備えています。

• 1 行のコードで、単一カードから大規模クラスター トレーニングへのシームレスな切り替えが可能になります。
• 柔軟で使いやすいパーソナライズされた並列構成を提供します。
• トポロジ認識を自動的に実行し、データ並列処理とモデル並列処理戦略を効率的に統合できます。
• ワンクリックで、あらゆるタスクのシングルカード/マルチカードのトレーニング、微調整、評価、推論プロセスを開始できます。
• ユーザーがオプティマイザー、学習戦略、ネットワークアセンブリなどのモジュールをコンポーネント形式で構成できるようにサポートします。
• トレーナー、パイプライン、AutoClass などの高レベルの使いやすいインターフェイスを提供します。
• プリセット SOTA 重みの自動ダウンロードおよびロード機能を提供します。
• 人工知能コンピューティング センターのシームレスな移行と展開をサポートします。

Shengsi 大型モデル プラットフォーム (mindspore.cn)

Mindformers: MindSpore Transformers スイートの目標は、大規模なモデルのトレーニング、推論、展開のためのフルプロセス スイートを構築することであり、豊富な並列機能をカバーする業界の主流の Transformer タイプの事前トレーニング モデルを提供します。 私たちは、ユーザーが大規模なモデルのトレーニングを簡単に実装できるようにしたいと考えています。 ドキュメント: https://mindformers.readthedocs.io/zh-cn/latest/ (gitee.com)

1. インストール

Linux Ubuntu環境に最初にgitをインストールします

sudo apt install git

マインドフォーマーを入手する

git clone -b r1.1.0 https://gitee.com/mindspore/mindformers.git

スクリプトを実行するディレクトリを入力します

cd mindformers

bash build.sh

このスクリプトは、Python setuptools ライブラリをインストールし、リンク内のコマンドを実行する必要があります。

'distutils.cmd' という名前のモジュールがありません_'distutils.cmd' という名前のモジュールがありません-CSDN ブログ

sudo apt-get install python3.7-distutils   3.7

Python バージョンは少なくとも 3.7 である必要があります。3.9 をインストールすることをお勧めします。

Ubuntu が Python を 3.7 にアップグレード_apt-get アップデート python3.7-CSDN ブログ

python3

「exit()」と入力して通常のコマンドラインモードに戻ります。

build.h がエラーを報告する場合があります ERROR: 無効な要件: 'mindformers*whl'

スクリプト内の Python を python3 に変更します。

Esc キーを押して「:wq!」と入力して保存し、終了します。

再実行

bash build.sh

正常に実行され、インストールが完了します。

場合によっては、異なるバージョンの Python が必要になる場合があります。python3 は Python とは異なることに注意してください。設定も可能だったと記憶しています。

whereis python3
rm /usr/bin/python3
ln -s /usr/bin/python3.9 /usr/bin/python3

3.9だと

sudo apt-get install python3.9-distutils   3.9