What is Semi-Supervised Learning?
When you counter some real problem…
我們先來快速看一下supervised 和semi-supervised 的差別
self-training
最常用且最簡單的概念及手法，任何模型都可以很easy的套用
Teacher-Student
co-training
常用的概念及手法之二，只要你有多個feature就可以使用
S3VM
前身為TSVM，是一個以SVM為基礎建構的半監督式學習手法。
Generative Models
藉由沒有label的data調整Gussian分布
深度學習中，最早由Google所提出Deep Generative Model，但其實效果沒有到很好。而後，許多論文開始依照這樣的概念著手，Semi-Supervised Learning with Ladder network便是半監督式學習中，曾經風靡一時的論文。
Clustering Space
偷偷推廣我的論文😛
藉由自定義loss function已告訴模型分群空間中的分群好壞，強制network學習一個好的分群空間。
這裡就不贅述了，大家有興趣之後可以參加我的口試囉😎
Follow up - 新時代的SSL (Self-Supervised Learning)
⚠️這不是self-training⚠️
⚠️這不是self-training⚠️
⚠️這不是self-training⚠️
#很重要所以說三遍
Then, what is self-supervised learning??????
Self-Supervised Learning的前提假設是沒有任何的labeled data！！！
那麼…這要怎麼訓練模型呢…?
既然沒有任何的labeled data…
自己的data自己標🙃🙃🙃
思考出發點
就像剛出生的嬰兒，沒有人教導前，僅藉由”觀察”進行學習。在這樣的學習中，或許他認得”手”也辨別得出來”手”，但他並不知道他所看到的就是”手”。而Self-Supervised Learning便是用這樣的概念所建構的方法。希望模型能從毫無label的狀況下，”觀察”並”學習”。如此一來，未來只要稍加提點，或許就能得到很好的效果。
經典例子
BERT
CV
