Comparing Spectral Bias and Robustness For Two-Layer Neural Networks: SGD vs Adaptive Random Fourier

link管理

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

相关文章推荐

憨厚的仙人掌 · NASA电动飞机挑战获胜者：如何优雅地打造我 ...· 6 月前 ·

另类的酱肘子 · 沈阳地铁6号线23座车站详细出入口位置定了！ ...· 9 月前 ·

神勇威武的茶壶 · 瓦尔基里(组织) - 萌娘百科 ...· 1 年前 ·

慷慨大方的茴香 · 封印在女孩体内的魔力被触手怪发现！_哔哩哔哩 ...· 1 年前 ·

霸气的弓箭 · 2020年元宵晚会节目单，央视主持团队大批更换！· 2 年前 ·

We present experimental results highlighting two key differences resulting from the choice of training algorithm for two-layer neural networks. The spectral bias of neural networks is well known, while the spectral bias dependence on the choice of training algorithm is less studied. Our experiments demonstrate that an adaptive random Fourier features algorithm (ARFF) can yield a spectral bias closer to zero compared to the stochastic gradient descent optimizer (SGD). Additionally, we train two identically structured classifiers, employing SGD and ARFF, to the same accuracy levels and empirically assess their robustness against adversarial noise attacks. 中文翻译：

推荐文章

憨厚的仙人掌 · NASA电动飞机挑战获胜者：如何优雅地打造我的Vapor飞机 | 雷峰网

6 月前

另类的酱肘子 · 沈阳地铁6号线23座车站详细出入口位置定了！快看家门口有站吗？_公示

9 月前

神勇威武的茶壶 · 瓦尔基里(组织) - 萌娘百科万物皆可萌的百科全书

1 年前

慷慨大方的茴香 · 封印在女孩体内的魔力被触手怪发现！_哔哩哔哩_bilibili

1 年前

霸气的弓箭 · 2020年元宵晚会节目单，央视主持团队大批更换！

2 年前