在回去的路上，夏薇涼全程姨母笑地看著蘇飛。
“大神，你還蠻厲害的嘛。”
“你是指什麼方面？”
“之前就聽說您和姜大校花關係不清不楚的，在圖書館又和那個英文系的小學妹鄰座，今天又勾搭上一個新妹子。”
“……事情可能和你想象的完全不是一個樣子。”
毒舌女王姜傾雪，笑裡藏刀林依曼，現在又來個摸不清路數的顧亦如，如果不是要完成任務獲取學力，蘇飛是真的不想和這些妹子極限拉扯。
“所以，大神你更喜歡誰啊？”
問得好。
“她們都是我的翅膀。”
……
吃飽喝足後，下午自然是要去圖書館的。
蘇飛先回了趟寢室，把他那小破筆記本提了過去。
讓他有些意外的是，林依曼居然一直把他佔著座。
“謝謝。”蘇飛輕聲道。
“學長，你太客氣了啦……”林依曼咦了一聲，輕輕嗅了嗅，道：“學長，你是去吃烤魚了嗎？”
這也能聞得出來麼？
蘇飛自己輕輕聞了聞，還真有股麻辣鮮香。
林依曼又認真地聞了聞，道：“還是和女生一起吃的？”
臥槽，真的假的，這也能聞出來？
林依曼看著一臉不可置信的蘇飛，莞爾一笑，道：“其實我是猜的啦，學長這種直男，平常都三點一線的，突然要去吃大餐，肯定是和女生有約吧。”
她微笑道：“想不到猜對咯。”
‘叮！林依曼好感度-1，目前好感度43。’
這女人也太狡猾吧。
蘇飛開啟筆記本，他此刻只想遁入學習的世界。
在通讀完《認知神經科學》後，蘇飛有了一個新的論文想法，他思考了一會兒，在word文件上打下了一個題目。
【基於注意力機制的全新模型結構】。
隨後，他開始對這個想法進行一個大致的闡述，他想用注意力機制構建一個新的模型單元。
模型單元是最基礎的模型結構，任何複雜的模型結構其實都是由模型單元堆疊而成，近年深度學習大火，每年新的模型結構層出不窮，但是模型單元用來用去還是那麼幾個。如現在最常用的長短期記憶神經網絡（LSTM）甚至是1994年的產物，而如今比較普遍使用的卷積神經網絡（）和迴圈神經網絡（RNN）也是實際很多年前的論文成果。
為什麼這麼久都沒有新的模型單元誕生，究其原因，一個是技術上太難突破了，第二個原因就是劣幣驅逐良幣。
【鑑於大環境如此，本站可能隨時關閉，請大家儘快移步至永久運營的換源App，huanyuanapp.org 】
即便是在學術領域，劣幣驅逐良幣也是一個很常見的事情，簡單來說就是，大家都發現構造一個模型單元太難了，但是用現有的模型單元去堆疊出一個新的模型結構就簡單很多，那既然如此，為何要死磕前者呢。
例如一個商城只有蘋果、香蕉、桃子三種水果，現在要販賣水果拼盤，最具有經濟效益，也就是販賣的最好的拼盤是3蘋果2香蕉1桃子，這種組合就是一個模型結構，然後過了一年，有位大老發現，1蘋果1香蕉1桃子能產出更高的經濟效益，於是，這個模型大受歡迎，這位大老便榮登頂會。
當然，這只是一個很簡單的例子，真正的模型構造必定比販賣水果拼盤要難很多，需要大量數學理論來左證，但本質上其實與水果拼盤沒什麼不同。
蘇飛此前的ELMo模型所做的工作本質上也是水果拼盤，只不過他的拼盤領先了一個時代，能超越目前最好的模型10個效能百分點，大大提高了準確率還減少了算力消耗。
但是，如今整個學術界漸漸的，都開始拼水果拼盤，所有人都在現有的蘋果、香蕉、桃子裡選擇，開始自由組合，對不同的任務和實驗拼出解決這個問題的最優模型。
而很少有人會去往這個拼盤裡創造一個新的水果，畢竟吃力不討好。
但既然選擇了做學術界的清流，蘇飛就想要成為創造新水果的人，他想要往這個水果拼盤裡引入菠蘿，至於為什麼稱之為菠蘿，嗯……因為他最愛吃菠蘿。
而他與大多數人寫論文的方式相反，對蘇飛來說，再難的技術問題都不是問題，他懷疑只要有足夠的靈感激發卡，他甚至可以突破號稱永遠的三十年的“核聚變”技術。
於他而言，最重要的就是idea或者說一個正確的思路。
注意力機制毫無疑問就是一個很好的idea。近年無論圖領域還是自然語言處理領域，對注意力機制這塊動刀子的人可不少，但至今為止，注意力機制更像是在其他的模型單元上起到一個基礎運算，或者說錦上添花的作用。
蘇飛不認為注意力機制的作用僅限於此，不止蘇飛不這麼認為，世界上幾乎所有相關領域學者都不認為注意力機制僅限於此，然而令人遺憾的是，還沒有人能真正發揮注意力機制的作用。
蘇飛在學習《認知神經科學》後，認為這是一個很好的機會。
於是，他把近年的注意力機制相關的論文全部羅列了出來。
【基於注意力機制的端到端機器翻譯演算法】。
【基於注意力機制的新自適應權重演算法】。
【以注意力權重再分配改善注意力機制】。
【目標檢測上的注意力機制新型應用】。
…
…
蘇飛就這麼看了整整一個下午的注意力機制文獻，然而，他只想說，還是小看了深度學習領域人們灌水的能力。
他在過目不忘和知識快解的加持下，一下午看了上百篇，其中百分之九十五都沒有任何價值，其中有好幾篇說是學術垃圾都算抬舉他們了。最過分的一些論文是通篇講解這個模型結構多牛逼多牛逼，最後一看，連個程式碼庫都不上傳。
這種做法無疑是此地無銀三百兩，就是明著告訴別人，我不敢傳程式碼給你復現，怎麼滴！
即便是華科院一區和CCF-A類的部分頂刊頂會論文，灌水者也是不少。
對於這種情況，蘇飛也是無可奈何，學者也是人，也是有所謂的關係戶和各種潛規則的，即便是頂會頂刊也沒法保證每一篇都有相應的含金量，一些阿貓阿狗也還真的能上。
看了一個下午的蘇飛只得到了七八篇比較有價值的論文。
“算了，急不得，慢慢來吧。”
蘇飛深吸了一口氣，他現在只想好好洗洗眼，某些論文實在辣他眼睛。