Partage de technologie

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Question 1 : Analyse dimensionnelle de la matrice du transformateur et explication détaillée de MultiHead :

Lien détaillé 1
Lien détaillé 2

Question 2 : Structure du transformateur, processus, transformation de dimension, encodeur, décodeur :

Comment modifier les dimensions du multi-tête : traitez d'abord les bornes d'entrée de q, k et v, de sorte que leurs dimensions soient embedding_size/nums_head. Enfin, l’épissage final est effectué dans la couche d’attention.C'est pourquoi : le nombre de têtes doit être divisible par embedding_size
Attention : calculez le poids d'attention via Q et K, puis agissez sur V pour obtenir le poids total et le résultat.
Liens détaillés

Question 3 : Algorithme détaillé de p-tuning, lora et adaptateur :

réglage p
lora
adaptateur

Question 4 : Quelles sont les tâches du cadre d'évaluation ? cbleu

Question 5 : Quels modèles ont été formés, problèmes liés aux ensembles de données

Question 6 : cv, deepsortv3, l'historique du développement de yolo, l'épine dorsale de yolo

Question 7 : La différence entre le chargeur de données et l'ensemble de données :

ⅰ. L'ensemble de données est une classe traditionnelle et les utilisateurs définissent des classes spécifiques en fonction des exigences caractéristiques.
https://huggingface.co/docs/datasets/loading
ⅱ. Le chargeur de données accepte les classes définies par l'ensemble de données et les divise en lots pour faciliter la formation ultérieure, l'inférence et d'autres opérations.
ⅲ. L'ensemble de données récupère les caractéristiques de notre ensemble de données et étiquette un échantillon à la fois. Lors de la formation du modèle de chargeur de données, nous souhaitons généralement fournir des échantillons en « mini-lots » et réorganiser les données à chaque période pour réduire le surajustement du modèle ; cela implique un remaniement qui détermine s'il faut perturber chaque lot entre chaque époque.