摘要:[TOC] 博客: "博客園" | "CSDN" | "blog" 寫在前面 在博客《ResNet詳解與分析》中,我們談到ResNet不同層之間的信息流通隱含在“和”中,所以從信息流通的角度看并不徹底, 相比ResNet,DenseNet最大的不同之處在于,并不對feature map求elemen 閱讀全文
posted @ 2020-02-28 21:57 shine-lee 閱讀 (114) 評論 (2) 編輯
摘要:[TOC] 博客: "博客園" | "CSDN" | "blog" Resnet要解決的是什么問題 ResNets要解決的是深度神經網絡的“退化”問題。 什么是“退化”? 我們知道,對淺層網絡逐漸疊加layers,模型在訓練集和測試集上的性能會變好,因為模型復雜度更高了,表達能力更強了,可以對潛在的 閱讀全文
posted @ 2020-02-25 20:03 shine-lee 閱讀 (330) 評論 (0) 編輯
摘要:博客: "博客園" | "CSDN" | "blog" [TOC] 本文的主要目的在于理解 的內存結構及其背后的設計哲學。 ndarray是什么 NumPy provides an N dimensional array type, the "ndarray" , which describes a 閱讀全文
posted @ 2020-02-10 22:14 shine-lee 閱讀 (156) 評論 (0) 編輯
摘要:博客: "博客園" | "CSDN" | "blog" python中一般并不需要查看內存內容,但作為從C/C++過來的人,有的時候還是想看看內存,有時是為了驗證內容是否與預期一致,有時是為了探究下內存布局。 用于獲取對象占用的內存大小, 用于獲取指定地址、指定字節長度的內容,因為返回的對象類型是 閱讀全文
posted @ 2020-02-09 13:02 shine-lee 閱讀 (177) 評論 (0) 編輯
摘要:[TOC] 博客: "博客園" | "CSDN" | "blog" 寫在前面 在計算機視覺中, 濾波 ( filtering )是指 Image filtering : compute function of local neighborhood at each position. —— from 閱讀全文
posted @ 2020-02-04 20:59 shine-lee 閱讀 (68) 評論 (0) 編輯
摘要:博客: "博客園" | "CSDN" | "blog" 先上圖,下圖通過輸入輸出來區分不同學科。 計算機視覺 ( Computer Vision , CV ),輸入為圖像或圖像序列,輸出為某種信息或描述, 目的在于理解圖像,獲得語義信息 。比如目標識別任務,輸入一張圖片,輸出圖中有哪些物體、都在什么 閱讀全文
posted @ 2020-01-31 18:58 shine-lee 閱讀 (68) 評論 (2) 編輯
摘要:[TOC] 博客: "博客園" | "CSDN" | "blog" 什么是感受野 The receptive field is defined as the region in the input space that a particular CNN’s feature is looking at 閱讀全文
posted @ 2019-12-19 17:47 shine-lee 閱讀 (844) 評論 (3) 編輯
摘要:博客: "博客園" | "CSDN" | "blog" 遠程桌面打開MATLAB會報錯,解決辦法,打開matlab的licenses路徑,如 ,路徑下存有license文件,如 (可能為其他名字),打開文件,在每行如下位置添加 。 行數較多,可通過執行如下 腳本自動添加, 注意,執行前先備份 再遠程 閱讀全文
posted @ 2019-12-14 16:06 shine-lee 閱讀 (78) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 交叉熵損失與均方誤差損失 常規分類網絡最后的softmax層如下圖所示,傳統機器學習方法以此類比, 一共有$K$類,令網絡的輸出為$[\hat{y}_1,\dots, \hat{y}_K]$,對應每個類別的概 閱讀全文
posted @ 2019-12-12 22:26 shine-lee 閱讀 (524) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 動機 在博文《 為什么要做特征歸一化/標準化? "博客園" | "csdn" | "blog" 》中,我們介紹了對輸入進行Standardization后,梯度下降算法更容易選擇到合適的(較大的)學習率,下降 閱讀全文
posted @ 2019-12-05 15:20 shine-lee 閱讀 (461) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 時間復雜度 如何評估一個算法的計算時間? 一個算法的 實際運行時間很難評估 ,當時的輸入、CPU主頻、內存、數據傳輸速度、是否有其他程序在搶占資源等等,這些因素都會影響算法的實際運行時間。為了公平地對比不同算 閱讀全文
posted @ 2019-11-22 18:15 shine-lee 閱讀 (291) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 權重初始化最佳實踐 書接上回,全0、常數、過大、過小的權重初始化都是不好的,那我們需要什么樣的初始化? 因為對權重$w$的大小和正負缺乏先驗,所以應初始化 在0附近 ,但不能為全0或常數,所以要有一定的 隨機 閱讀全文
posted @ 2019-11-21 21:42 shine-lee 閱讀 (820) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 前向傳播與反向傳播回顧 神經網絡的訓練過程可以簡化成以下步驟, 1. 輸入預處理(feature scaling等) 2. 初始化網絡weight和bias 3. 前向傳播,得到網絡輸出 4. 計算損失函數, 閱讀全文
posted @ 2019-11-07 09:14 shine-lee 閱讀 (489) 評論 (2) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 Feature scaling,常見的提法有“特征歸一化”、“標準化”,是數據預處理中的重要技術,有時甚至決定了算法能不能work以及work得好不好。談到feature scaling的必要性,最 閱讀全文
posted @ 2019-11-02 18:27 shine-lee 閱讀 (1883) 評論 (2) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 梯度是微積分中的基本概念,也是機器學習解優化問題經常使用的數學工具(梯度下降算法),雖然常說常聽常見,但其細節、物理意義以及幾何解釋還是值得深挖一下,這些不清楚,梯度就成了“熟悉的陌生人”,僅僅“記 閱讀全文
posted @ 2019-10-21 17:59 shine-lee 閱讀 (2500) 評論 (1) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 如果對Python源碼感興趣,那“窺探”其實現的最佳方式就是調教它,不,調試它。 獲取源代碼 Python的官方默認實現為CPython,即C語言實現(主要指解釋器的實現,其他實現見 "Other 閱讀全文
posted @ 2019-10-16 15:28 shine-lee 閱讀 (642) 評論 (3) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 VGG(2014)網絡出自paper "《Very Deep Convolutional Networks for Large Scale Image Recognition》" ,為 "ILSVR 閱讀全文
posted @ 2019-10-14 20:08 shine-lee 閱讀 (342) 評論 (0) 編輯
摘要:[toc] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 "《Network in Network》" 簡稱NIN,出自 "顏水成老師" 團隊,首次發表在arxiv的時間為2013年12月,至20190921引用量為2871(google scholar) 閱讀全文
posted @ 2019-10-11 17:58 shine-lee 閱讀 (253) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 ZFNet出自論文 "《 Visualizing and Understanding Convolutional Networks》" ,作者Matthew D. Zeiler和Rob Fergus 閱讀全文
posted @ 2019-09-21 15:14 shine-lee 閱讀 (370) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 開篇先上圖,圖為 deconvolution 在像素級語義分割中的一種應用,直觀感覺deconvolution是一個upsampling的過程,像是convolution的對稱過程。 本文將深入de 閱讀全文
posted @ 2019-09-20 20:55 shine-lee 閱讀 (1366) 評論 (0) 編輯
ag二分彩