[文章分享] 卷積神經網路 (Convolutional Neural Nets) 及物件偵測 (Object Detection) 方法演化史

分享 18 年的兩篇文章，有關 ConvNet 以及基於 ConvNets 的物件偵測方法的演化史，適合對 CNN 有一定程度了解的人作為深入學習 CNN 結構改進的方法與背後的數學思考的入門，以及有 CNN 基礎者的物件偵測方法入門，或是對這兩個領域都很熟悉，可以作為複習或參考筆記使用。

因為這兩篇是 18 年的文章，這兩年這兩個領域有更多後續的發展，但 18 年可說是 CNN 跟 ObjectDetection 的頂峰之年，許多關鍵的演算法都在 12~18 年間提出，若想了解整個領域的發展過程，節至 18 年的內容已經很全面，對最新的技術有興趣者可另外再找資料。

卷积神经网络结构演变（form Hubel and Wiesel to SENet）——学习总结，文末附参考论文

這篇文章講解了 CNN 從最早啟發卷積神經網路研究，由 Hubel 和 Wiesel 等人發表建模貓視覺神經系統的文章開始，至 LeNet、AlexNet、VGG、Inception、ResNet、SENet，文末還有對輕量化網路如 MobileNet、ShuffleNet 的討論，可說是相當全面。文章中講解各個網路的發明的動機為何，解決了什麼問題，以及有哪些缺陷，對於理解 CNN 中各種工具的作用相當有幫助。

[Table of Content]

1. 早期的嘗試
   1. Hubel and Wiesel 的貓實驗 [Hubel and Wiesel (1968)]
   2. NeoCognitron [Fukushima (1980)]
   3. LeCun 的早期研究 [LeCun (1989)]
   4. LeNet [LeCun (1998)]
2. 歷史轉折
   1. AlexNet Krizhevsky (2012)]
3. 網路加深
   1. VGG [Simonyan (2014)]
   2. PReLU Net (MSRA-Net) [He (2015)]
4. 卷積模組 (Conv Modules)
   1. NIN [Lin (2013)]
   2. GoogleNet [Szegedy (2014)]
   3. Inception V3 [Szegedy (2015)]
   4. Inception V4 (Inception ResNet) [Szegedy (2016)]
5. 集成線路 (應該是 Ensemble Connection)
   1. ResNet [He (2015)]
   2. Identity Mappings in ResNet (改進 ResNet 的缺點) [He (2016)]
   3. ResNeXt [Xie (2016)]
   4. DenseNet [Huang (2016)]
   5. Xception [Chollet (2016)]
   6. SENet [Hu (2017)]
6. 輕量化模型
   1. MobileNet V1 [Howard (2017)]
   2. MobileNet V2 [Sandler (2018)]
   3. SuffleNet [Zhang (2017)]

關於影像辨識，所有你應該知道的深度學習模型

這篇則是針對 NN-based 的物件偵測演算法的介紹，從 R-CNN、Fast R-CNN、Faster R-CNN、Mask R-CNN 至 YOLO，做詳細的演進過程介紹。

[Table of Content]

1. R-CNN [Girshick (2014)]
2. Fast R-CNN [Girshick (2015)]
3. Faster R-CNN [Ren (2016)]
4. Mask R-CNN [He (2017)]
5. YOLO [Redmon (2015)]
6. YOLOv2 [Redmon (2016)]

另外補充一篇 19 年的文章 A 2019 Guide to Object Detection，英文的，但內容大致上相同，除了下列幾個模型

1. SSD [Liu (2015)]
2. CenterNet [Zhou (2019)]

此外下列論文是比較新的，也值得去看看

1. RetinaNet [Lin (2017)]
2. FPN [Lin 2017]
3. YOLOv3 [Redmon (2018)]
4. Casecade R-CNN [Cai (2019)]
5. ResNeSt [Zhang (2020)]

Object Detection 的 Network Architecture Search (NAS)

1. NAS-FPN [Ghaisi (2019)]
2. NAS-FCOS [Wang (2019)]
3. DetNAS [Chen (2019)]

Other references

• Object Detection for Dummies Part 1: Gradient Vector, HOG, and SS
• Object Detection for Dummies Part 3: R-CNN Family
• Object Detection for Dummies Part 2: CNN, DPM and Overfeat
• Object Detection Part 4: Fast Detection Models
• DeepLearning Tutorial
• Object Detection and Tracking in 2020
• Object Detection | Paper with Code