tags: study paper DSMI lab

paper: Effective Approaches to Attention-based Neural Machine Translation

Introduction

• Neural Machine Translation (NMT) requires minimal domain knowledge and is conceptually simple
• NMT generalizes very well to very long word sequences => don’t need to store phrase tables
• The concept of “attention”: learn alignments between different modalities
  • image caption generation task: visual features of a picture v.s. text description
  • speech recognition task: speech frames v.s. text
• Proposed method: novel types of attention- based models
  • global approach
  • local approach

Read More

這篇文章主要是提供一個對於NLP翻譯後的預測結果的一個快速評估方法。

Read More

在面試時，如果順利解完白板題了，面試官可能會接著問:

“這樣的時間複雜度是多少?”

“還能更快嗎?”

所以，我們試著從簡單的問題來學習如何分析時間複雜度xD

Time complexity

試圖用個不嚴謹的方法來理解他，想像有一個計數變數count = 0在你的程式裡

每執行一次你的程式count就會+1，請問執行完後count會等於多少?

Read More

tags: references

本篇文章介紹常用的時間序列model和相關概念，希望以後大家有遇到時序分析的問題的時候，稍微知道他們在幹嘛XD

Notations:

$r_t$: a time series, $a_t$: a white noise series, $\rho_l$: lag-$l$ autocorrelation,
$\gamma_l:Cov(r_t,r_{t-l})$,$\sigma^2$: variance of $a_t$, $B$: back-shift operator

名詞解釋:

• Stationary:
  • Strict: distribution is time-invariant (基本上不可能達到)
  • Weak: first 2 moments are time-invariant (平均、標準差、共變數不隨著時間變)

Read More

tags: leetcode

687. Longest Univalue Path

https://leetcode.com/problems/longest-univalue-path/

Read More

本文章簡述了GloVe論文中較為重要的概念，部分細節並無詳細闡述，若有疑問，請參考原始論文。

Related work

• LSA (Latent Semantic Analysis)
• HAL (Hyperspace Analogue to Language)
• word2vec with CBOW
• word2vec with skip-gram

Read More

論文網址: Efficient Estimation of Word Representations in Vector Space

4 model architectures:

NNLM; RNNLM; CBOW; Skip-Gram

為了比較模型好壞，先定義接下來訓練深度模型的複雜度皆為:$$O = E\times T\times Q$$

• E: 迭代次數
• T: 訓練集的詞個數
• Q: 模型參數

old: NNLM, RNNLM

1. What’s NNLM (Feedforward Neural Net Model)?

   
   (上圖是原始paper(A Neural Probabilistic Language Model)的圖，annotation可能會跟下面word2vec的對不起來，下面使用原本word2vec的annotation)

有4層: input, projection, hidden, output

Read More

Basic Overview of Natural Language Processing

本篇文章粗略介紹了從古(?)至今(2020)NLP重要的發展史及技術，希望能讓大家對NLP有一些基礎的概念與了解🧐。

Read More

Meta Learning

Introduction

Meta Learning = Learn to learn 讓機器學習如何去做學習這件事。

實際例子：
當我們接觸到一個裝糖果的玻璃罐時，我們察覺玻璃罐與保特瓶相似的本質，因而有辦法套用既往的知識快速的移轉到新的任務上，而Meta learning便是在學這個過程，在遍覽多種任務後，學習一組對任務敏感的參數，當新任務進來時能快速的將先驗知識移轉到新任務中。

Read More

Read More