神經網路attention

❶ 目前主流的attention方法都有哪些

首先是Object Recognition。是因為模型結合了CNN，RNN 和 Reinforcement Learning，來解決問題。並且在其上對它進行很大程度了改進，並引入了weakly supervised的因素；然後是Image Caption。Xu在ICML上的 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention可謂應用Attetion來解image caption的經典。再是NLP中的MachinTranslation. 前面的工作都是用時序地進行Attention來關注一幅圖像的不同位置區域。類比sequence問題，也就順理成章地用在Machine Translation上了。劃重點來說attention機制聽起來高達上，其實就是學出一個權重分布，再拿這個權重分布施加在原來的特徵之上，就可以叫attention。當然這個加權可以是保留所有分量均做加權（即soft attention）；也可以是在分布中以某種采樣策略選取部分分量（即hard attention）。