最近要提升手上模型分類的準確度，

所以在讀各種各樣的論文（＃

這篇主要發想來自 Geoffrey E. Hinton 大師覺得 BP 根本太荒謬了，

人腦不會有 BP 這種架構，他想把神經網路更優化、更趨近於人腦所做的 Capsule 計畫。

（避免誤會，這篇是左岸同胞的延伸論文，並不是 Geoffrey E. Hinton 大師手筆。）

CapsuleNet 架構最主要想解決的問題是：

1.傳統 CNN 需要大量資料學習

2.提升 Permutation invariance

（廢話xD 一堆論文都在做這東西）

這篇論文與 CapsuleNet 架構最大的不同就是：

把空間特徵塞進去膠囊裡面

簡單用一張圖解釋：

人腦辨識左邊是R的過程是把圖型旋轉過來，但是 CNN 是需要看過很多不同狀態的R。

像是轉了30度、60度、90度 的 R 都拿下去訓練，最後把這些結果分給 R 這個 Label，

CNN 才知道：噢？這個是R？

大師覺得要解決這種問題，就要從圖型的內部結構下手。

像是人臉的眼睛會在鼻子的上面、鼻子在嘴巴的上面、嘴巴會在下巴的上面。

只要獲得這一連串的內部對應關係，神經網路就不用每個角度再造一次車輪。

這篇怎麼做的？

Geometric Feature Aggregation

Multi-Scale Local Feature Extraction

首先用 GMM (Gaussian Mixture Model – Free Mind) + MSG (Multi-Scale Grouping)

抓相鄰點特徵。

作者說因為計算量會比較小所以用 GMM 而不是 K-Means。

這點我認為是完全唬爛，

GMM的計算量、變數量都比 K-Means 要來得大。

經過 MSG抓特徵的影響

經過 MSG 抓特徵後會有特徵太相似的困擾，

設想一個狀況，上圖是 MSG 抓兩層特徵 ( K=2 )  的狀況下的圖示。

外面那圈重疊的面積比裡面那圈大很多，對吧？

面積在這裡可以換成機率，所以對於相鄰點來說：

外面那圈的大尺度抓到的特徵有很大的機率會很像。

Multi-Scale Shuffling

洗牌！(T代表抓取的尺度,C代表通道維度)

所以我們做一個洗牌的動作（文字癌），把大小尺度的特徵混在一起增強特徵。

Spatial Relationship Aggregation

Rearrange and Squashing

其中 C(qk) 代表 xyz 軸輸入、 C(yk) 代表 MLP 過後的 高維度特徵。

C(Sk) 僅代表 C(qk) 與 C(yk)  concat 起來，也是本篇最大的改進。

ui是 C(Sk) 經過全連接層做出來的東西，論文用 256個 輸出的全連接層做。

物理意義上ui代表每個不同的特徵（顏色、深度、方向…等）。

以下詳細解說膠囊如何運作：

我們要知道 CapsuleNet 架構裡面，

每個特徵點被觸發的方式是由底層的膠囊一層一層傳播上去。

至於為什麼膠囊架構會長成這樣，這篇講得很好，我就不多贅述了。

（fixation point 的部分）

首先從第 i 層抓一個膠囊啟動，輸出向量為 Ui。

這個 Ui 會乘上權重矩陣 變成預測的 hat Uij，

hat Uij 的物理意義是估計 Uj 這顆膠囊的輸出向量來說 Ui 輸出向量的比重。

然後乘上耦合函數 Cij 後用 squashing函數 做真實輸出 -> 這顆膠囊的真實輸出 Vj

乘上耦合函數 Cij 的物理意義是當 Ui 這顆膠囊對於 Uj 貢獻巨大時，

Cij 會趨近於一（或等於一），Uj 的參數會全部灌給 Uj 去做輸出。

很巧妙的一個設計。

CapsuleNet 系列都有一個 squashing 函式，

這邊給出的解釋是 Geoffrey E. Hinton 大師 希望膠囊的長度（本篇膠囊=ui）能夠代表機率，

長度越長的膠囊長度越要趨近於一、長度越短的膠囊長度要趨近於零。

所以這個函數會把每個向量（膠囊）長度正規化，

圖形會長這樣：

X軸代表原向量長度、Y軸代表經過函數轉換後乘上的乘積。

這邊的長度要用 Two-norm 帶入，否則會證不出來。

然後特別要注意的一點是這裡的 squashing 只會在 Vj 做一次，

第一行 squashing 的函式與 第三行的 Ui 沒有半點毛線關係。

這篇看很久都看不透，一部分是因為數學符號混用，

強烈建議這篇方程式要跟原版論文對照著看。

（嚴重懷疑變數會長這麼醜，是為了規避論文重疊性比對。）

後面的 bij 就是迭代真實輸出與估計去更新 Cij 而已。

 因為前陣子在審視架構的時候，亂報（X）沒讀熟（Ｏ），

所以架構被老師質疑，被遣送回實驗室重讀一遍 DGCNN 怎麼刻 KNN 的部分？

以下的 KNN 程式碼 都是 base on DGCNN 的 model.py 裡面的 KNN function。

前情提要：

1. KNN 要幹嘛？

：拿到兩點的歐式距離。

2. 歐式距離是什麼？

吃公式：

我們塞進 KNN function 的資料 x 會長得像是：

[ Batch_size, Channel, Number_of_point ]

其中 Channel 是資料維度的意思，如果是三維的 x, y ,z 座標，

Channel 就會等於 3。

接下來來看程式碼：

inner = -2*torch.matmul(x.transpose(2, 1), x)

因為 torch.matmul 代表矩陣相乘

ineer 出來的資料尺寸就會是

[ Batch_size, Number_of_point , Number_of_point ]

令 P1 = [ x1, y1, z1], P2 =[ x2, y2, z2]

ineer 所代表的數學意義為

[ x1*x2 + y1*y2 + z1*z2]

再來看第二行程式碼：

xx = torch.sum(x**2, dim=1, keepdim=True)

xx 出來的資料尺寸為

[ Batch_size, 1 , Number_of_point ]

因為 keepdim=True 的關係，所有 sum 起來的資料會存到第一格。

xx 所代表的數學意義為

[x1^2 + y1^2 + z1^2, … , xn^2 + yn^2 + zn^2]

最後一行程式碼就是組合起來，變成歐式距離的平方：

pairwise_distance = -xx - inner - xx.transpose(2, 1)

會變成：

我為什麼要讀這篇論文？

這篇論文可以做什麼？

這篇論文怎麼做？

首先，因為我的 DGCNN 模型遭遇到了訓練瓶頸，

所以我到處找論文來 inprove 模型的準確度。

這篇論文可以加強模型的準確度，前提是 base on ResNet-50。

裡面提到這種架構可以插在任意的 convolution 層中間，

是不會消耗太多計算量的輕量型架構。

這篇論文是從 SE-Net 加強而來，

最主要的差別在於 SE-Net 只對 Channel 做 Attention Module，

而 CBAM 對 Spatial 也做了 Attention Module 並且把它加進來。

整個核心觀念就是用 attention Module 對 CNN 去優化，

至於 Attention Module 是什麼概念可以參考上一篇 SE-Net。

整個架構會長這樣：

圖一：CBAM整體架構

圖二：Channel Attention 架構

請參照圖一，那顆 Feature 的尺寸是 C x H x W，

至於最重要的，為什麼要做 Maxpooling + Avgpooling？

原作者表示：啊這樣可以更精確地分別每個通道的權重…（幹話。

我自己的觀察：

從 PointConv 這篇論文提到 PointNet 的問題在於 Maxpooling 只能提供 global 或是 local 的 Feature。

又 SE-Net 使用 Avgpooling 能夠促進模型的性能。

所以小孩子才做選擇，我們兩種混在一起做撒尿牛丸！

圖三：Spatial Attention 架構

結論：