Showing items from machine learning

為什麼Adam常常打不過SGD？癥結點與改善方案

• Jia-Yau Shiau
• Date : April 26, 2020
• Categories : Ml studies
• Tags : Machine learning ,Optimization

為什麼Adam常常打不過SGD？癥結點與改善方案 對於做deep learning的人，Adam是個令人又愛又恨的優化器。Adam擁有收斂速度快、調參容易的優點，卻也存在時常被人攻擊的泛化性與收斂問題。因此，在許多論文中實驗會使用傳統的SGD+momentum來做分析。但實際上Adam並非不堪用，仍 …