Hoe werkt zelfaandacht?
Hoe werkt zelfaandacht?

Video: Hoe werkt zelfaandacht?

Video: Hoe werkt zelfaandacht?
Video: Onderzoek het zelf: Professionaliseren door analytische aandacht 2024, November
Anonim

In termen van de leek, de zelf - aandacht mechanisme zorgt ervoor dat de inputs met elkaar kunnen interageren (“ zelf ”) en ontdek wie ze meer moeten betalen aandacht tot ( aandacht ”). de uitgangen zijn aggregaten van deze interacties en aandacht scoort.

En wat is zelfaandacht?

Zelf - aandacht , soms intra- aandacht is een aandacht mechanisme dat verschillende posities van een enkele reeks met elkaar in verband brengt om een representatie van de reeks te berekenen.

En wat is zelfaandacht bij deep learning? Laten we eerst definiëren wat “ zelf - Aandacht " is. Cheng et al, in hun artikel genaamd "Long Short-Term Memory-Networks for" Machine Lezen”, gedefinieerd zelf - Aandacht als het mechanisme om verschillende posities van een enkele reeks of zin met elkaar in verband te brengen om een meer levendige weergave te krijgen.

Wat is hierover het aandachtsmechanisme?

Aandachtsmechanisme: stelt de decoder in staat om bij elke stap van het genereren van uitvoer verschillende delen van de bronzin te behandelen. In plaats van de invoerreeks te coderen in een enkele vaste contextvector, laten we het model leren hoe een contextvector kan worden gegenereerd voor elke uitvoertijdstap.

Wat is een op aandacht gebaseerd model?

Aandacht - gebaseerde modellen behoren tot een klasse van modellen gewoonlijk sequentie-naar-sequentie genoemd modellen . Het doel van deze modellen , zoals de naam al doet vermoeden, het om een uitvoerreeks te produceren gegeven een invoerreeks die in het algemeen verschillende lengtes heeft.

Aanbevolen: