Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Frage 1: Dimensionsanalyse der Transformer-Matrix und detaillierte Erklärung von MultiHead:

Detaillierter Link 1
Detaillierter Link 2

Frage 2: Transformatorstruktur, Prozess, Dimensionstransformation, Encoder, Decoder:

So ändern Sie die Abmessungen des Mehrkopfes: Verarbeiten Sie zunächst die Eingabeterminals von q, k und v, sodass ihre Abmessungen „embedding_size/nums_head“ sind. Schließlich erfolgt das endgültige Spleißen in der Aufmerksamkeitsschicht.Aus diesem Grund muss die Anzahl der Köpfe durch die Einbettungsgröße teilbar sein
Achtung: Berechnen Sie das Aufmerksamkeitsgewicht über Q und K und wirken Sie dann auf V, um das gesamte Gewicht und die Gesamtausgabe zu erhalten
Detaillierte Links

Frage 3: Detaillierter Algorithmus für P-Tuning, Lora und Adapter:

p-tuning
Lora
Adapter

Frage 4: Welche Aufgaben hat der Evaluationsrahmen? cblau

Frage 5: Welche Modelle wurden trainiert, Probleme mit dem Datensatz

Frage 6: Lebenslauf, Deepsortv3, die Entwicklungsgeschichte von Yolo, Yolos Rückgrat

Frage 7: Der Unterschied zwischen Dataloader und Datensatz:

ⅰ Datensatz ist eine traditionelle Klasse und Benutzer legen spezifische Klassen basierend auf charakteristischen Anforderungen fest.
https://huggingface.co/docs/datasets/loading
ⅱ. Der Datenlader akzeptiert die durch den Datensatz definierten Klassen und unterteilt sie in Stapel, um nachfolgendes Training, Inferenz und andere Vorgänge zu erleichtern.
ⅲ. Der Datensatz ruft die Merkmale unseres Datensatzes ab und beschriftet jeweils eine Probe. Wenn der Dataloader ein Modell trainiert, möchten wir normalerweise Stichproben in „Mini-Batches“ liefern und die Daten in jeder Periode neu organisieren, um eine Überanpassung des Modells zu reduzieren. Dies hat einen Shuffle zur Folge, der bestimmt, ob jeder Batch zwischen den einzelnen Epochen unterbrochen werden soll.