Hoe berekent Lstm het aantal parameters?
Hoe berekent Lstm het aantal parameters?

Video: Hoe berekent Lstm het aantal parameters?

Video: Hoe berekent Lstm het aantal parameters?
Video: LSTM: Understanding the Number of Parameters 2024, Mei
Anonim

Dus, volgens uw waarden. Als je het in de formule invoert, krijg je: ->(n=256, m=4096), totaal aantal parameters is 4*((256*256) + (256*4096) + (256)) = 4*(1114368) = 4457472. De nummer van gewichten is 28 = 16 (num_units * num_units) voor de terugkerende verbindingen + 12 (input_dim * num_units) voor invoer.

Ook gevraagd, hoe vind je het aantal parameters?

Tot berekenen het leerbare parameters hier hoeven we alleen maar te vermenigvuldigen met de vorm van breedte m, hoogte n en rekening te houden met al dergelijke filters k. Vergeet de bias-term voor elk van de filters niet. Aantal parameters in een CONV-laag zou zijn: ((m * n)+1)*k), toegevoegd 1 vanwege de bias-term voor elk filter.

Evenzo, hoeveel verborgen eenheden heeft Lstm? Een LSTM netwerk. Het netwerk heeft vijf ingangen: eenheden , een verborgen laag samengesteld uit twee LSTM geheugenblokken en drie output eenheden . Elk geheugenblok heeft vier ingangen, maar slechts één uitgang.

Vervolgens kan men zich ook afvragen, hoe vind je het aantal parameters in RNN?

1 Antwoord. De entiteiten W, U en V worden gedeeld door alle stappen van de RNN en dit zijn de enige parameters in het model beschreven in de figuur. Vandaar aantal parameters te leren tijdens de training = dim(W)+dim(V)+dim(U). Op basis van gegevens in de vraag is dit = n2+kn+nm.

Hoeveel lagen heeft Lstm?

Over het algemeen, 2 lagen hebben aangetoond voldoende te zijn om complexere kenmerken te detecteren. Meer lagen kan beter, maar ook moeilijker te trainen zijn. Als algemene vuistregel - 1 verborgen laag werk met eenvoudige problemen, zoals deze, en twee zijn voldoende om redelijk complexe functies te vinden.

Aanbevolen: