Masked Autoencoders: 借鏡BERT與ViT的Self-Supervised Learners
Masked Autoencoders: 借鏡BERT與ViT的Self-Supervised Learners 長期以來， deep learning在 NLP與 CV領域建模 (modeling) 擁有各自強大的慣例。在架構部分是比較顯而易見的，NLP領域使用 attention為基礎 …
Continue ReadingShowing items from ml studies
深入淺出 Normalizing Flow: Generative Model不只有 GAN跟 VAE
深入淺出 Normalizing Flow: Generative Model不只有 GAN跟 VAE 在這幾年的類神經網路發展中，生成模型 (generative model) 網路是很熱門的一個題目。而這之中最常被提起的則是** VAE (Variational Auto-Encoder) …
Continue Reading
白話Neural Radiance Fields (NeRF): 類神經網路在View Synthesis的熱門新方向
白話Neural Radiance Fields (NeRF): 類神經網路在View Synthesis的熱門新方向 每年類神經網路的發展都會有些最佳關鍵字，比如說以往如 deep CNN (Convolution Neural Network)、GAN (Generative …
Continue Reading
ACON與TFNet: 分析ReLU與近期Swish、SENet發展的關連性
ACON與TFNet: 分析ReLU與近期Swish、SENet發展的關連性 **在近期類神經網路的架構設計， Swish與 SE (squeeze-and-excitation) 是蠻常看見的兩個小技巧。**前者是在 design space中搜出來的 activation function，後者 …
Continue Reading
EfficientNet V2的背後: 釋放MobileNet在GPU/TPU上的效率
EfficientNet V2的背後: 釋放MobileNet在GPU/TPU上的效率 **在低運算量的類神經網路架構中，結合 inverted bottleneck與 depth-wise convolution的 **MobileNet **與其衍生的 **EfficientNet **系列堪稱 …
Continue Reading
Unbiased Teacher: 探究並突破 Semi-Supervised Object Detection (SS-OD)
Unbiased Teacher: 探究並突破 Semi-Supervised Object Detection (SS-OD) 近年 semi-supervised learning由於同時享有 supervised的穩定性與使用 unlabeled data的方便性，逐漸成為主流的方法之一。在電 …
Continue Reading