技術共有

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

質問 1: トランス マトリックスの次元解析とマルチヘッドの詳細な説明:

詳細リンク1
詳細リンク2

質問 2: トランスフォーマーの構造、プロセス、次元変換、エンコーダー、デコーダー:

マルチヘッドの次元を変更する方法: まず、q、k、v の入力端子を処理して、その次元が embedding_size/nums_head になるようにします。最後に、最終的なスプライシングが注目レイヤーで行われます。これが理由です: ヘッドの数は embedding_size で割り切れる必要があります。
アテンション: Q と K を通じてアテンションの重みを計算し、V に作用して全体の重みと出力を取得します。
詳細リンク

質問 3: p-tuning、lora、アダプターの詳細なアルゴリズム:

pチューニング
ローラ
アダプタ

質問 4: 評価フレームワークのタスクは何ですか? 青

質問 5: どのモデルがトレーニングされているか、データセットの問題

質問 6: cv、deepsortv3、yolo の開発履歴、yolo のバックボーン

質問 7: データローダーとデータセットの違い:

ⅰ. データセットは従来のクラスであり、ユーザーは特性要件に基づいて特定のクラスを設定します。
https://huggingface.co/docs/datasets/loading
ii. データローダーは、データセットによって定義されたクラスを受け入れ、後続のトレーニング、推論、その他の操作を容易にするためにそれらをバッチに分割します。
ⅲ. データセットはデータセットの特徴を取得し、一度に 1 つのサンプルにラベルを付けます。 データローダーがモデルをトレーニングするときは、通常、サンプルを「ミニバッチ」で配信し、モデルの過剰適合を減らすために各期間のデータを再編成する必要があります。これには、各エポック間で各バッチを中断するかどうかを決定するシャッフルが含まれます。