MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
输入“/”快速插入内容
MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
MLP一夜被干掉！MIT加州理工等革命性KAN破记录，发现数学定理碾压DeepMind
2024年8月12日修改
转载请联系原作者取得授权
新智元报道
编辑：桃子 LRS
📌
【新智元导读】 无需怀念MLP，新网络KAN基于柯尔莫哥洛夫-阿诺德定理，带着更少的参数、更强的性能、更好的可解释性来了，深度学习架构革新进入新时代！
一夜之间，机器学习范式要变天了！
当今，统治深度学习领域的基础架构便是，多层感知器（MLP）——将激活函数放置在神经元上。
那么，除此之外，我们是否还有新的路线可走？
就在今天，来自MIT、加州理工、东北大学等机构的团队重磅发布了，全新的神经网络结构——Kolmogorov–Arnold Networks（KAN）。
研究人员对MLP做了一个简单的改变，即将可学习的激活函数从节点（神经元）移到边（权重）上！
这个改变乍一听似乎毫无根据，但它与数学中的「逼近理论」（approximation theories）有着相当深刻的联系。
事实证明，Kolmogorov-Arnold表示对应两层网络，在边上，而非节点上，有可学习的激活函数。
正是从表示定理得到启发，研究人员用神经网络显式地，将Kolmogorov-Arnold表示参数化。
值得一提的是，KAN名字的由来，是为了纪念两位伟大的已故数学家Andrey Kolmogorov和Vladimir Arnold。