Long Range Arena: A Benchmark For Efficient Transformers

Conference: ICLR
Year: 2021
link: https://openreview.net/pdf?id=qVyeW-grC2k

This is the new benchmark evaluating the efficiency of variant Transformer models

測試的資料範圍：
長度 1K to 16K tokens (K=thousand)
範圍 text, natural, synthetic images, and mathematical expressions requiring similarity, structural, and visual-spatial reasoning

Read More

ICLR 2017

Smoothing

對NLP來說，很容易發生test dataset的字並沒有出現在training dataset，所計算 $c(word)$ 會等於零。
這不代表那些字就不重要，所以要用Smoothing的方法調整機率。

If data sparsity isn’t a problem for you, your model is too simple!

Read More

paper : Attention Is All You Need

TSVM (Transductive Inference for Text Classification using Support Vector Machines)

tags: SVM, semi-supervised learning, SSL

paper link
cited：3517
參考書籍：Learning to Classify Text Using Support Vector Machines

Feature Denoising for Improving Adversarial Robustness

tags: adversarial

Cihang Xie(1,2) Yuxin Wu(2) Laurens van der Maaten(2) Alan Yuille(1) Kaiming He(2)
1 Johns Hopkins University 2 Facebook AI Research
2019 CVPR - 228次引用
由於圖像攻擊對卷積網路來說產生了挑戰，並且卷積網路可能會提取那些噪音的特徵。
基於這種觀察，我們開發了新的網絡體系結構，該結構通過執行特徵去噪來提高對抗性。

DDSA: A Defense Against Adversarial Attacks Using Deep Denoising Sparse Autoencoder

tags: adversarial

精心製作的細緻擾動會大大降低其性能並導致毀滅性後果，尤其是對於自動駕駛汽車，醫療保健和面部識別等對安全要求嚴格的應用而言
使用了基於DDSA的方式在前處理的步驟執行，其在白,灰,黑盒子上都有不錯的效果。

Topic Modeling in Embedding Spaces

tags: NLP,Topic Modeling

論文網址
參考網址
LDA

Get To The Point: Summarization with Pointer-Generator Networks

tags: NLP,S2S,Pointer Network,Summary,Loss

主要目的

因為在s2s時遇到人名或是地名，可能遇到OOV問題而只輸出[UNK]這種輸出。而Pointer Generator Network則是從原本輸入的某一些片段直接擷取過來當成輸出，彌補字典集限制的問題。
Extractive(pointing),Abstractive(generating)
傳統S2S問題，可能複製同樣的錯誤，重複同樣錯誤的字詞

Supervised Topic Modeling Using Word Embedding with Machine Learning Techniques

tags: NLP,Topic Modeling

ieee論文網址