Sharpness-Aware Minimization (SAM): 簡單有效地追求模型泛化能力
Sharpness-Aware Minimization (SAM): 簡單有效地追求模型泛化能力 在訓練類神經網路模型時，訓練目標是在定義的 loss function 下達到一個極小值 (minima)。然而，在現今的運算資源下， …
Continue ReadingShowing items from ml studies
Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點
Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點 近年self-supervised learning最知名的兩個方法是Google Brain的SimCLR 與Facebook AI Research的MoCo ，不過這兩個方法都有各自實作上的麻煩 …
Continue Reading
通往Anchor-Free的真相：Object Detection的正負樣本定義
通往Anchor-Free的真相：Object Detection的正負樣本定義 在物件偵測的發展中，Faster-RCNN 所使用的anchor在往後的幾年主導了高精度detector的發展。隨著2019年許多高精度的anchor-free方法提出，anchor似乎已經不是高精度detector的 …
Continue Reading
MobileDets: FLOPs不等於Latency，考量不同硬體的高效架構
MobileDets: FLOPs不等於Latency，考量不同硬體的高效架構 關於深度學習模型可以說有兩個大方向：一個是不考慮運算量，追求最好的結果；另一個是在有限的運算量，追求足夠好的結果。明顯地，在應用端上後者尤其重要。 在這方面，2019年EfficientNet …
Continue Reading
Generative Adversarial Network (GAN) 的基礎理論
Generative Adversarial Network (GAN) 的基礎理論 生成對抗網路 (GAN) 在2014年由Goodfellow等人提出 ，透過一組對抗的網路實現無監督學習 (unsupervised learning)。GAN至今已經是一個非常全面的技術，而且有許多耳熟能詳的應 …
Continue Reading
Convolutional Neural Network的設計論：NAS (EfficientNet) v.s Handcraft (RegNet)
Convolutional Neural Network的設計論：NAS (EfficientNet) v.s Handcraft (RegNet) 訓練Convolutional neural network (CNN) 時，一般都會先選定一個知名的backbone (比如說ResNet-50)， …
Continue Reading