Masked Autoencoders: 借鏡BERT與ViT的Self-Supervised Learners
Masked Autoencoders: 借鏡BERT與ViT的Self-Supervised Learners 長期以來， deep learning在 NLP與 CV領域建模 (modeling) 擁有各自強大的慣例。在架構部分是比較顯而易見的，NLP領域使用 attention為基礎 …
Continue ReadingShowing items from self-supervised learning
Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點
Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點 近年self-supervised learning最知名的兩個方法是Google Brain的SimCLR 與Facebook AI Research的MoCo ，不過這兩個方法都有各自實作上的麻煩 …
Continue Reading
Self-training當道：對比Pre-training的優缺點
Self-training當道：對比Pre-training的優缺點 通常在做大部分deep learning任務時，使用pre-training模型是很常見的做法。隨著近年self-training再次引起研究目光，開始有人思考與其用不同domain的資料做pre-training，或許直接拿來 …
Continue Reading
Self-Supervised Learning的新高度：從SimCLR認識SSL與Contrastive Learning
Self-Supervised Learning的新高度：從SimCLR認識SSL與Contrastive Learning 今年 (2020年) Google release了SimCLR ，與Facebook AI團隊 (FAIR)提出的MoCo 都是近年self-supervised …
Continue Reading