作者 | 琰琰
編輯 | 青暮

EMNLP 是由國際語言學會(ACL)下屬的 SIGDAT 小組主辦的自然語言處理領域的頂級國際會議,在計算語言學類別下影響力排名全球第二。EMNLP 每年舉辦一次,由於疫情的關係從去年開始轉為線上線下結合的形式舉辦。
前不久,EMNLP 官網博客提前公布了今年的論文獲獎情況。在入選的7篇論文中,華人學者霸佔3篇,其中劍橋大學博士生劉方宇、哥倫比亞大學博士生楊子小帆分別斬獲最佳長、短論文;北大校友、谷歌科學家雷濤榮獲傑出論文獎。
今日開幕上,幾位程序主席介紹了EMNLP投稿趨勢以及評審工作。EMNLP 2021收到有效投稿3717篇,接收論文840篇,總體接受率為23.3%,相比去年略有下降。Findings論文接收419篇,包括300篇長論文,119篇短論文。
其中,NLP 應用、機器學習、機器翻譯與多語言等研究方向依然最熱門,相關論文佔比26.5%。
從地區分佈來看,中國大陸投稿量最高達1137篇,接收論文合計331篇,略次於投稿量第二的美國(441篇)。排在第三名的是英國,投稿論文177篇,接收論文77篇,與中國兩國相差懸殊。往後依次是德國、韓國和印度。
EMNLP 2021有3112名評審員和370名二級評審員參與論文評審工作,每篇論文至少有3名評審者共同評審。經過Rebuttal環節,12.3%的評審者提高了論文評分;7.6%的評審者降低了評審分數。
接受率為23.3%,中美兩國投稿量最高
在開幕式上,復旦大學教授黃萱菁介紹了EMNLP 2021的論文投稿趨勢。
EMNLP 2021共收到投稿4834篇,有效投稿3717篇,總接收論文840篇,比去年增加了88篇,接受率為23.3%。長、短論文接收數量也略有上升,其中長論文接收650篇,短論文190篇。
此外,Findings論文接收率為11.6%,包括300篇長論文,119篇短論文,比去年的520篇略有減少。
「Plus Findings」是EMNLP 2020新增的一種接收論文類型。這類論文符合可發表標準,但由於各種原因無法被會議所接收的論文,其衡量標準包括兩項:
1、擴展了有關特定任務的SOTA水平的論文,但是對於EMNLP社區而言,沒有新穎的見解或發現;
2、實驗數據良好,提供了詳盡的分析和發現過程,但使用的方法仍不夠「新穎」;
具體可參見AI科技評論報道:EMNLP 2020 錄取結果已出,聽說你中的是Findings?
從接收率來看,近五年來EMNLP的論文接收率沒有太大浮動,基本維持在24.6%-25.8之間。去年長、短論文的接收率均為歷史最低,尤其是短論文接收率僅為16.6,今年這兩項指標都有所回升,分別為23.3%和17.9%,這可能與Finding 評審機制有關。
此前EMNLP官方曾表示,Findings機制將使更多高質量短篇和長篇論文被接收。從數據來看,相比EMNLP 2020,今年ACL 和 EMNLP 會議的Findings論文接收率均有所增加。其中EMNLP 2021收到論文445篇,佔有效投稿總量的12.4%,最終接收419篇,佔比11.6%。
EMNLP接收論文的平均分都在3分以上,主要集中在3.50-3.83區間,大概有560篇以上。Findings論文只有少量論文不足3分,但也有4分以上的高分。
從研究方向上來看,NLP 應用、機器學習、機器翻譯與多語言的投稿論文最多,合計佔比26.5%。
其次是,信息提取(8%)、對話和交互(7%)和語義詞彙(6.9%)。這六個方向近50%。最冷門的研究方向依然是語法、標籤和倫理NLP,佔比不超過2%。
從地區分佈來看,中國大陸和美國投稿量最高均在1000篇以上,超過第三名800多篇。其中中國大陸接收論文207篇,Findings論文124篇,略低於美國。英國、德國、韓國緊隨其後,分別位列第三四五名,接收論文總數最高77篇,最低33篇。
Rebuttal環節:19.9%評審者改了分數
EMNLP 2021評選出了236名區域主席,46名高級區域主席和3名程序主席。Lucia Specia在會上介紹了EMNLP 會議的評審過程:3112名評審員和370名二級評審員參與論文評審工作,每篇論文至少有3名評審者共同評審,每個評審者平均會受到3.5篇論文。
其中,超過80.4%的論文收到了評審者的回復。經過rebuttal環節,12.3%的評審者提高了論文評分,7.6%的評審者降低了評審分數。
倫理委員會成員(EC)包括2名主席和33名評審者,他們指派了203名評審者,對技術評審委員會提出的道德問題進行了調查。在技術評審委員會提出的61篇論文中,EC主席接受17篇為EMNLP論文;20篇為Findings論文。
此外,730篇提交論文接受了Sticky 評審,其中208篇被EMNLP會議接收,112篇被Findings論文接收,佔比20.3%。
今年EMNLP 2021引入了滾動審稿機制(ACL Rolling Review,ARR),ARR機制要求投稿論文通過集中滾動審查,並提交至公共出版平台。經過SAC和PC共同決議,今年有17篇ARR論文被EMNLP接收。
開幕式最後,Scott Wen-tau Yih教授介紹稱,EMNLP 2021 會議為期三天,巴伊蘭大學計算機科學系教授.Ido Dagan,麻省理工學院副教授Evelina Fedorenko,查爾斯達爾文大學、加州大學伯克利分校教授Steven Bird將分別帶來三場精彩的Keynote演講。此外,會議開設了主會議、教程和研討會,其中 5-6 場按主題組織的平行會議,會談后可進行現場問答和互動討論。
官網鏈接:https://2021.emnlp.org/
雷鋒網雷鋒網