Residual Leaning：認識ResNet與他的冠名後繼者ResNeXt、ResNeSt
Residual Leaning: 認識ResNet與他的冠名後繼者ResNeXt、ResNeSt 打從ResNet出現後，以residual block / residual learning為主架構的網路接連地在各個論文中出現，也正式撬開了深層數網路的時代。事實上，目前在computer …
Continue ReadingShowing items from ml studies
使用Pre-training的方法與時機
使用Pre-training的方法與時機 在做大部分deep learning任務時，使用pre-training模型是很常見的做法。雖然Kaiming He在2018年的Rethinking ImageNet Pre-training 論文中提到即使train from scratch也可以達到使 …
Continue Reading
Self-Supervised Learning的新高度：從SimCLR認識SSL與Contrastive Learning
Self-Supervised Learning的新高度：從SimCLR認識SSL與Contrastive Learning 今年 (2020年) Google release了SimCLR ，與Facebook AI團隊 (FAIR)提出的MoCo 都是近年self-supervised …
Continue Reading
為什麼Adam常常打不過SGD？癥結點與改善方案
為什麼Adam常常打不過SGD？癥結點與改善方案 對於做deep learning的人，Adam是個令人又愛又恨的優化器。Adam擁有收斂速度快、調參容易的優點，卻也存在時常被人攻擊的泛化性與收斂問題。因此，在許多論文中實驗會使用傳統的SGD+momentum來做分析。但實際上Adam並非不堪用，仍 …
Continue Reading
Network Deep之後：融合深層與淺層特徵的FPN、U-Net與Hourglass
Network Deep之後：融合深層與淺層特徵的FPN、U-Net與Hourglass 在CNN的設計中，如何有效地融合深層與淺層的特徵是這幾年很重要的研究重點之一，因為網路的深度與down sample其實是一件有點矛盾的事情。一般來說我們相信較淺的特徵主要提供細節資訊，而較深的資訊提供語 …
Continue Reading
TridentNet: Object Detection多尺度的新視角
TridentNet: Object Detection多尺度的新視角 所謂的多尺度問題指的是同一個物件因為視角的遠近導致視覺上的大小變化，對於單一影像(monocular)相當難以分辨。其時不只是在object detection上，computer vision上的多尺度問題一直以來都是廣泛被討 …
Continue Reading