【學長學長，你的複試結束了麼？】
蘇飛剛從企鵝會議上下線，VX就收到了林依曼的訊息。
這小學妹還附著一個哇庫哇庫.jpg。
【嗯嗯，剛結束。】
【感覺如何？】
對面秒回。
【應該沒什麼問題。】
【不愧是學長！】
小學妹發來了一個棒棒的表情包。
額，蘇飛覺得，在表情包上，這小學妹和老趙應該會很有話題。
【你呢？昨天國競應該就結束了吧？感覺如何？】
【還是蠻難的，但學長押對了作文題，而且聽力考的專業範圍也和學長預料的差不多，我感覺有機會前三！】
小學妹又發了個顏文字的表情包。
蘇飛看到這句話和附帶的表情包，都能想象到這小學妹那激動的樣子。
看來這次競賽，她還蠻有把握的。
不過蘇飛隨即就想起，林依曼對她自己的廚藝和象棋好像也蠻有把握的……算了算了，還是聽天由命吧。
【新章節更新遲緩的問題，在能換源的app上終於有了解決之道，這裏下載 huanyuanapp.org 換源App, 同時查看本書在多個站點的最新章節。】
蘇飛也不強求林依曼的這個任務能成功，畢竟這小學妹是差點沒進國賽的水平，讓她在一個月內突擊到國賽前三，這難度屬實是地獄級，當然，如果能完成任務拿到獎勵那是最好不過了。
蘇飛這邊發了個很棒的表情包過去，結束了和小學妹的對話。
接下來的幾分鐘，他又分別收到了老趙、舍友們甚至他老爸老媽的詢問，蘇飛一一回覆。
在搞定所有事情後，他便離開了為了參加面試而訂的鐘點房。
在宿舍面試的話，蘇飛怕樓道間吵鬧的聲音影響到教授們，而校園裡的一些會議室他又沒權使用，也不想因為這點小事就去麻煩老趙，所以在外邊訂了個鐘點房。
事實證明，隔音效果還真不錯，怪不得每次週末這個時間段鐘點房都是滿滿的。
…
…
接下來了半周，蘇飛沉迷於圖書館，一直在機器學習這本書和深度學習的一些教材上打轉。
而在週三這一天，他的Transformer模型終於再次跑完了機器翻譯任務。
在蘇飛再次更改和微調引數後，Transformer的機器翻譯任務評價提升到了28.4分，但是所花的時間比上次也多了一天。
這個分數蘇飛是很滿意了，在如今機器翻譯的國際評價普遍只有26分上下的時代，28.4分已經遠遠超越了如今的所有主流模型，速度上雖然不如上次的結果，但也比主流模型快了百分之十。
蘇飛想了想，決定把上次的模型引數和這次的模型引數一起上傳，上次的實驗結果在速度上比這次快，但分數只有27.3，而這次的實驗結果雖然速度慢了點，但分數又漲了1分。
這歸根結底，其實是第一次實驗時引數比較少，所以計算量小，速度快，精度低。
但無論哪次實驗結果，無論速度還是精度，都大大優於目前的主流模型。
既然如此，就把第一次的模型命名為Transformer（base），意為基礎版本的Transformer，而把第二次新增引數後的模型命名為Transf），意為加強版本的Transformer。
額，我算不算自己給自己打補丁？
蘇飛突然感覺自己的做法有些奇怪，搞得像是遊戲程式碼的維修老師傅一樣。
因為論文的框架之前就已經打好了，這次蘇飛直接做好圖和資料，新增進論文裡，《Attention is all you need》這篇論文就完稿了。
蘇飛登入ACL的收稿網站，直接把論文和程式碼庫一起傳了上去。
ACL這個頂會的審稿效率比AAAI要高得多。
ACL採用滾動審稿機制，這個審稿機制能保證投稿人的論文在一個月內被審稿，這也就保證了不會出現一篇論文因為遲遲不審稿而錯過截止日期的尷尬情況。
也正是有這種滾動審稿機制，原本許多想投AAAI的論文轉投到了ACL這邊，就是因為這邊有保障啊。
投到AAAI那邊，審稿時間就是看審稿人心情，質量好的論文還好說，只要能一輪完成審稿，幾乎都趕得上時間，但問題是投這種頂會的很多論文都是不上不下，卡在及格線邊緣的，這些論文趕不趕得上截止日期純憑運氣。
隨著蘇飛提交成功，論文狀態被修改為“已分配AC”，意思是蘇飛的論文被提交給了領域主席，ACL的領域主席和AAAI的技術編輯很像，就是先初篩一遍這篇論文，如果是垃圾論文，那就沒必要轉交給審稿人了，順便再查下實驗內容有沒有違反道德或者論文表述過不過關之類的。
‘系統，使用插隊卡。’
上次蘇飛買了一張插隊卡還沒用，這次直接就用上了。
由於ACL的獨特機制，他倒不擔心會因為審稿問題而錯過截止日期，但如果能儘快出結果他也是十分樂意的。
差不多十幾分鍾，蘇飛的郵箱就收到了提示，他的論文狀態被修改為“正在審稿”。
不過，這個過程估計得蠻久的，審稿的流程上，ACL和AAAI有些類似，也是採用完全的盲審制度，但與AAAI不同的是，ACL只會聘請三位審稿人，一輪審完，然後最神奇的來了，最後把審稿意見還得返還給領域主席，由審稿人和領域主席一起討論，決定錄不錄用這篇論文，這個討論的過程可能會耗點時間。
前前後後搞了差不多一個多月的Transformer終於被投了出去，蘇飛也是伸了個懶腰。
這篇論文他傾注的心血不可謂不多啊，系統的兩張靈感激發卡，又死皮賴臉地向老趙借了一個月的伺服器使用許可權，而且還把這伺服器給霸權了。
為了讓模型的效能達到最佳，他兩次調參實驗，因為他不想讓Transformer像ELMo一樣，在實驗任務和一些細節上顯得粗糙，他想儘量讓這個模型達到完美。
近十年來，有多少深度學習和機器學習的專家們都在嘗試用注意力機制做文章，每個人都知道注意力機制有大用，但又都無法將它的功效發揮的淋漓盡致。
注意力機制就像是深度學習這顆大樹上的誘人的粉嫩果實，每個人都想踮起腳尖去採摘這水嫩嫩的嫣紅，然而從沒人真正品嚐到它的魅力。
而今天，蘇飛算是把這果實連枝帶葉一起帶走了。