Paano gumagana ang Self Attention?
Paano gumagana ang Self Attention?

Video: Paano gumagana ang Self Attention?

Video: Paano gumagana ang Self Attention?
Video: Paano Mababasa Ang Isip Ng Isang Tao? (14 PSYCHOLOGICAL TIPS) 2024, Nobyembre
Anonim

Sa mga tuntunin ng karaniwang tao, ang sarili - pansin pinapayagan ng mekanismo ang mga input na makipag-ugnayan sa isa't isa (“ sarili ”) at alamin kung sino ang dapat nilang bayaran nang higit pa pansin sa (“ pansin ”). Ang mga output ay pinagsama-samang mga pakikipag-ugnayang ito at pansin mga score.

Gayundin, ano ang pansin sa sarili?

Sarili - pansin , minsan tinatawag na intra- pansin ay isang pansin mekanismong nag-uugnay sa iba't ibang posisyon ng iisang sequence upang makalkula ang representasyon ng sequence.

Gayundin, ano ang pansin sa sarili sa malalim na pag-aaral? Una, tukuyin natin kung ano ang " sarili - Pansin ” ay. Cheng et al, sa kanilang papel na pinangalanang "Long Short-Term Memory-Networks para sa Makina Pagbasa", tinukoy sarili - Pansin bilang mekanismo ng pag-uugnay ng iba't ibang posisyon ng iisang sequence o pangungusap upang makakuha ng mas malinaw na representasyon.

Tungkol dito, ano ang Attention mechanism?

Mekanismo ng Atensyon nagbibigay-daan sa decoder na dumalo sa iba't ibang bahagi ng pinagmulang pangungusap sa bawat hakbang ng pagbuo ng output. Sa halip na i-encode ang input sequence sa isang nakapirming vector ng konteksto, hinahayaan namin ang modelo na matutunan kung paano bumuo ng context vector para sa bawat hakbang ng oras ng output.

Ano ang Attention based model?

Pansin - batay sa mga modelo kabilang sa isang klase ng mga modelo karaniwang tinatawag na sequence-to-sequence mga modelo . Ang layunin ng mga ito mga modelo , gaya ng ipinahihiwatig ng pangalan, ito ay gumagawa ng isang output sequence na binibigyan ng input sequence na, sa pangkalahatan, ay may iba't ibang haba.

Inirerekumendang: