Compartir tecnología

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Pregunta 1: Análisis dimensional de la matriz del transformador y explicación detallada de cabezales múltiples:

Enlace detallado 1
Enlace detallado 2

Pregunta 2: Estructura del transformador, proceso, transformación de dimensión, codificador, decodificador:

Cómo cambiar las dimensiones del cabezal múltiple: Primero procese los terminales de entrada de q, k y v, de modo que sus dimensiones sean embedding_size/nums_head. Finalmente, el empalme final se realiza en la capa de atención.Esta es la razón: el número de cabezas debe ser divisible por embedding_size
Atención: Calcule el peso de atención a través de Q y K, y luego actúe sobre V para obtener el peso y la salida totales.
Enlaces detallados

Pregunta 3: Algoritmo detallado de p-tuning, lora y adaptador:

afinación p
Lora
adaptador

Pregunta 4: ¿Cuáles son las tareas del marco de evaluación? azul

Pregunta 5: Qué modelos se han entrenado, problemas con el conjunto de datos

Pregunta 6: cv, deepsortv3, la historia de desarrollo de yolo, la columna vertebral de yolo

Pregunta 7: La diferencia entre cargador de datos y conjunto de datos:

ⅰ El conjunto de datos es una clase tradicional y los usuarios establecen clases específicas según los requisitos de las características.
https://huggingface.co/docs/conjuntosdedatos/cargando
ⅱ. El cargador de datos acepta las clases definidas por el conjunto de datos y las divide en lotes para facilitar el entrenamiento, la inferencia y otras operaciones posteriores.
ⅲ. El conjunto de datos recupera las características de nuestro conjunto de datos y etiqueta una muestra a la vez. Cuando el cargador de datos entrena un modelo, generalmente queremos entregar muestras en "minilotes" y reorganizar los datos en cada período para reducir el sobreajuste del modelo. Esto tiene una combinación que determina si se debe interrumpir cada lote entre cada época;