前史需求重写AlexNet之前早有算法完结计算机视觉四大应战

机器之心报导

机器之心编辑部

2012 年，深度学习三巨子之一、图灵奖得主 Geoffrey Hinton 的学生 Alex Krizhevsky 提出了 AlexNet，并在当年度的 ILSVRC（ImageNet 大规模视觉应战赛）以明显的优势获妥当届冠军，成果远超第二名。这一成果引起了学界和业界的极大重视，计算机视觉也开端逐步进入深度学习主导的年代。但这样一个划年代的研讨最近也受到了质疑。

近来，有网友在 reddit 上宣称，Jurgen Schmidhuber 团队的 Dan Ciresan 提出的 DanNet（也是一种依据 CUDA 的卷积神经网络）先于 AlexNet 完成了四项图画辨认应战。

DanNet 早于 AlexNet 的有力依据

发帖者在 reddit 中展现了如下一些依据：

1. 发帖者从 Jurgen 宣布的《Deep Learning: Our Miraculous Year 1990-1991》第 19 章节的参阅文献中看出了端倪；

2. 发帖者表明，在 AlexNet（2012 年 ImageNet 比赛冠军）之前，Jurgen 团队的罗马尼亚博士后 Dan Ciresan 就已在 2011 年 5 月 15 日和 2012 年 9 月 10 日之间赢得了四项重要的计算机视觉比赛，所选用的 CUDA CNN 权且称为 DanNet；

图中红框标示的 IDSIA 即 Dan Ciresan 等人地点的团队，他们在 2011 年 5 月 15 日和 2012 年 9 月 10 日期间赢得了中文书写、交通标识、脑区域切割和癌症检测四项重要的计算机视觉比赛。

3. 发帖者曾看到有新闻报导称，AlexNet 在 2012 年敞开了深度学习革新，但事实上依据 Jurgen 的文章，DanNet 在 2011 年就成为首个赢得 superhuman 视觉模式辨认比赛的办法，而且还选用比 AlexNet 更大的图画赢得了医疗成像比赛；

Dan Ciresan 参加初次赢得了 superhuman 视觉模式辨认比赛。

Dan Ciresan 参加赢得了乳腺癌组织学图画的有丝分裂检测比赛。

4. DanNet 被引最多的论文《Multi-column Deep Neural Networks for Image Classification》（CVPR，2012 年 7 月）要比介绍 AlexNet 的论文《ImageNet Classification with Deep Convolutional Neural Networks》（NIPS，2012 年 12 月）早了 5 个月，但关于 DanNet 更早的论文出现在 IJCAI 2011 和 IJCNN 2011 会议上；

Dan Ciresan 的论文。

Alex Krizhevsky 的论文。

5. 公平地说，AlexNet 引用了 DanNet，并供认两者相似，但 AlexNet 并没有说到 DanNet 曾早于它赢得了四项计算机视觉应战；

6. ResNet 在 2015 年的 ImageNet 比赛中打败了 AlexNet，但 ResNet 其实便是更为前期的 Highway networks 的一个特例，后者也是 Jurgen 实验室最早提出的，在「第一个超越 100 层的可行前向传达网络」中，Jurgen 把他们的先行性研讨归功于自己的学生 Rupesh Kumar Srivastava 和 Klaus Greff。

Jurgen 以为微软的 ResNet 是其团队提出 Highway Nets 的一种特例。

7. 在 Jurgen 文章的第五章节中，他胪陈了「GAN 的来源」，而在第四章节中，他介绍了 2009 年取得成功的 LSTM。上述内容咱们现已耳熟能详，不过大多数人或许还不知道 Jurgen 团队仍是第一个在 CUDA 上搞 CNN 并取得成功的。

以上便是发帖者以为 DanNet 先于 AlexNet 出现的一些文献依据。

人间欠 Schmidhuber 一个图灵奖？

那么这样看来，当今深度学习的许多概念，都是 30 年前 LSTM 之父 Jürgen 玩过的？Reddit 上热烈的评论，源自于本年 10 月，Jürgen Schmidhuber 专门对此宣布的一篇文章，其具体论说了近 30 年前（1990-1991 年间）他和团队所进行的许多研讨。据他自己称，其间的研讨思想为当今的许多深度学习前沿研讨奠定了根底，包含 LSTM、元学习、忘记门机制、注意力和强化学习等。

人们关于 Jürgen Schmidhuber 的形象通常是「LSTM 之父」，他来自德国，现任瑞士 Dalle Molle 人工智能研讨所负责人，是人工智能范畴的闻名学者。在 LSTM 之外，他还一向以为近年来开展很快的 GAN 模型是其早在 1992 年提出的 PM 模型的变体。除此之外，他还在语音辨认等方向上有着不小的奉献。

在本年 3 月，计算机范畴最高荣誉图灵奖颁发给深度学习三巨子 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 之后，有关「学界欠 Jürgen 一座图灵奖」的评论一时变得热烈起来。

人工智能闻名学者，南京大学人工智能学院院长周志华也曾表明：「要论对深度学习的奉献，Hinton 无疑居首，LeCun 和 Schmidhuber 奉献都很大。但 HLB 总绑缚在一起，而 S 跟 HLB 都不对劲……获奖需有提名有投票，分缘也重要……不过不要紧，有 LSTM 这样教科书级的奉献足以淡定。」

Jürgen 自己关于本身学术位置「遭受不公待遇」一向颇有微词，他近年来总是在各个场合宣传自己的创造性研讨，乃至不吝与其他闻名学者揭露对质（你或许会对 Jürgen 在人工智能顶会 NIPS 2016 现场大战「GAN 之父」Ian Goodfellow 的事情浮光掠影）。因而，人们关于 Jürgen 的观念也出现两极分化的景象。

今日的评论也没有破例，在 DanNet 超前于 AlexNet 评论刚刚开端的时分，占上风的观念是这样的：

好了好了，Jürgen 便是咱们的造物主。

但总的来说，关于个人性情的戏弄仍是要让坐落理性，人们终究仍是以为 Jürgen Schmidhuber 确实吃了名声的亏。

正视他的奉献吧，网友说道：

尽管咱们都在乐祸幸灾，但 Jürgen 确实配得上取得图灵奖。在 LSTM 之外，他的许多研讨都令人形象深入。

在计算机科学范畴里，有许多特性怪癖的学者，特立独行总是不受欢迎的。但我总是古怪人们会拿这个理由来评判他们的学术奉献。

我以为现在以北美为中心的 CS 学术系统彻底限制了全球其他研讨机构相似的奉献。

参阅链接：https:///r/MachineLearning/comments/dwnuwh/d_dannet_the_cuda_cnn_of_dan_ciresan_in_jurgen/

机器之心「SOTA模型」：22大范畴、127个使命，机器学习 SOTA 研讨一扫而光。