在这篇论文里，江寒打算提出一个重要概念：“万能逼近定理”。

    【一个前馈神经网络，如果具有线性输出层，和至少一层隐藏层，并且任意隐藏层的激活函数，具有“挤压”性质，例如使用了logistic函数、sigmoid函数……

    那么，只要该网络拥有足够多的隐藏单元，就可以以任意的精度，来近似地表达任何从一个有限维空间到另一个有限维空间的borel可测函数。】

    这就是著名的“万能逼近定理”，“人工神经网络”最重要的理论基础之一。

    这个定理表明：

    一个前馈神经网络就等于一个表示函数的万能系统。

    无论计算机试图学习什么函数，都可以找到一个规模足够的mlp，来表示这个函数。

    换句话说，给定一个函数，必然存在一个前馈网络，能够近似表达该函数！

    多层神经网络，在理论上来说，几乎可以完成任何学习任务！

    但不存在一个万能过程，既能够验证训练集上的特殊样本，又能够选择一个函数，来扩展到训练集上没有的点……

    即使mlp能够表示该函数，学习也有可能失败。

    原因很简单：谁也不能保证，训练算法一定能够学得这个函数。

    用于训练的优化算法，有可能找不到用于期望函数的参数值；

    训练算法也可能由于过拟合而选择了错误的函数……

    这也是没办法的事情。

    普遍优越的机器学习算法？

    抱歉，在这个世界上并不存在！

    很明显，“万能逼近定理”正是对于“感知机如何处理非线性问题”的正面解答。

    “多层感知机”那篇论文里，虽然也表明了类似的观点，但更多是直觉上、经验上的，并没有在理论上加以证明。

    事实上，“万能逼近定理”的严格证明，用到了极其复杂的高等数学技巧。

    江寒之前研究了很久，始终也没能攻克这个难关。

    然而，今天也不知怎么了，竟然如有神助，只用了5个多小时，就找到了思路，并完成了证明。

    好吧，估计这就是脑力提升的效果了。

    现在自己的大脑，和那些一流科学家比，可能还有点差距，但在普通大学生里，应该算是特别强悍的一类了。

    接下来，江寒就把完整的证明过程书写了下来，输入计算机形成文稿，再起个牛逼拉轰的名字，然后……

    江寒将其妥善保存了起来。

    先不急着扔出去。

    等小号的《论感知机的局限——异或问题的无解》登刊之后，才是这一篇《万能逼近定理》问世的最好时机。

    当然，如果《论感知机的局限——异或问题的无解》不幸被退回……

    那就用小号将其扔到amc的官方论坛上，曝个光，然后用大号把《万能逼近定理》投出去！

    工作终于告一段落，江寒忽然感觉眼前有点发黑。

    精神很疲倦，肉体有点匮乏，仿佛被掏空……

    “这续航有点不太行啊，得想个办法解决一下……”

    江寒自言自语。

    想了想，他拿起座机听筒，拨了个内线电话。

    “703的客人，您好，请问您有什么需求？”

    一个好听的女子嗓音传来，好像就是那个年纪不大，有点好看的小前台。

    江寒也不废话：“请帮我买些巧克力，要纯黑的，品牌在金丝猴和hkc中选。”

    “数量呢？”

    “100块。”

    “好的，请稍等。”

    那边还是很有专业素质的，什么都没问，直接照办。

    二十分钟后，门铃响起。