Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點
Self-Supervised Learning可以很簡單: BYOL與SimSiam的觀點 近年self-supervised learning最知名的兩個方法是Google Brain的SimCLR 與Facebook AI Research的MoCo ,不過這兩個方法都有各自實作上的麻煩 …
Continue ReadingSelf-Supervised Learning可以很簡單: BYOL與SimSiam的觀點 近年self-supervised learning最知名的兩個方法是Google Brain的SimCLR 與Facebook AI Research的MoCo ,不過這兩個方法都有各自實作上的麻煩 …
Continue ReadingTensorflow 2的Quantization Aware Training指南 在低運算資源的平台上,神經網路的計算資源通常會有明顯的限制。為了追求低運算量的神經網路,有兩個常見大方向,一個大方向是透過各種魔改技巧,將最有效率的架構保留下來,包含架構設計 (如MobileNet) 、 …
Continue Reading通往Anchor-Free的真相:Object Detection的正負樣本定義 在物件偵測的發展中,Faster-RCNN 所使用的anchor在往後的幾年主導了高精度detector的發展。隨著2019年許多高精度的anchor-free方法提出,anchor似乎已經不是高精度detector的 …
Continue ReadingMobileDets: FLOPs不等於Latency,考量不同硬體的高效架構 關於深度學習模型可以說有兩個大方向:一個是不考慮運算量,追求最好的結果;另一個是在有限的運算量,追求足夠好的結果。明顯地,在應用端上後者尤其重要。 在這方面,2019年EfficientNet …
Continue ReadingGenerative Adversarial Network (GAN) 的基礎理論 生成對抗網路 (GAN) 在2014年由Goodfellow等人提出 ,透過一組對抗的網路實現無監督學習 (unsupervised learning)。GAN至今已經是一個非常全面的技術,而且有許多耳熟能詳的應 …
Continue ReadingConvolutional Neural Network的設計論:NAS (EfficientNet) v.s Handcraft (RegNet) 訓練Convolutional neural network (CNN) 時,一般都會先選定一個知名的backbone (比如說ResNet-50), …
Continue Reading