摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 動機 在博文《 為什么要做特征歸一化/標準化? "博客園" | "csdn" | "blog" 》中,我們介紹了對輸入進行Standardization后,梯度下降算法更容易選擇到合適的(較大的)學習率,下降 閱讀全文
posted @ 2019-12-05 15:20 shine-lee 閱讀 (134) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 時間復雜度 如何評估一個算法的計算時間? 一個算法的 實際運行時間很難評估 ,當時的輸入、CPU主頻、內存、數據傳輸速度、是否有其他程序在搶占資源等等,這些因素都會影響算法的實際運行時間。為了公平地對比不同算 閱讀全文
posted @ 2019-11-22 18:15 shine-lee 閱讀 (59) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 權重初始化最佳實踐 書接上回,全0、常數、過大、過小的權重初始化都是不好的,那我們需要什么樣的初始化? 因為對權重$w$的大小和正負缺乏先驗,所以應初始化 在0附近 ,但不能為全0或常數,所以要有一定的 隨機 閱讀全文
posted @ 2019-11-21 21:42 shine-lee 閱讀 (142) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 前向傳播與反向傳播回顧 神經網絡的訓練過程可以簡化成以下步驟, 1. 輸入預處理(feature scaling等) 2. 初始化網絡weight和bias 3. 前向傳播,得到網絡輸出 4. 計算損失函數, 閱讀全文
posted @ 2019-11-07 09:14 shine-lee 閱讀 (185) 評論 (2) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 Feature scaling,常見的提法有“特征歸一化”、“標準化”,是數據預處理中的重要技術,有時甚至決定了算法能不能work以及work得好不好。談到feature scaling的必要性,最 閱讀全文
posted @ 2019-11-02 18:27 shine-lee 閱讀 (397) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 梯度是微積分中的基本概念,也是機器學習解優化問題經常使用的數學工具(梯度下降算法),雖然常說常聽常見,但其細節、物理意義以及幾何解釋還是值得深挖一下,這些不清楚,梯度就成了“熟悉的陌生人”,僅僅“記 閱讀全文
posted @ 2019-10-21 17:59 shine-lee 閱讀 (879) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 如果對Python源碼感興趣,那“窺探”其實現的最佳方式就是調教它,不,調試它。 獲取源代碼 Python的官方默認實現為CPython,即C語言實現(主要指解釋器的實現,其他實現見 "Other 閱讀全文
posted @ 2019-10-16 15:28 shine-lee 閱讀 (361) 評論 (3) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 VGG(2014)網絡出自paper "《Very Deep Convolutional Networks for Large Scale Image Recognition》" ,為 "ILSVR 閱讀全文
posted @ 2019-10-14 20:08 shine-lee 閱讀 (168) 評論 (0) 編輯
摘要:[toc] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 "《Network in Network》" 簡稱NIN,出自 "顏水成老師" 團隊,首次發表在arxiv的時間為2013年12月,至20190921引用量為2871(google scholar) 閱讀全文
posted @ 2019-10-11 17:58 shine-lee 閱讀 (162) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 ZFNet出自論文 "《 Visualizing and Understanding Convolutional Networks》" ,作者Matthew D. Zeiler和Rob Fergus 閱讀全文
posted @ 2019-09-21 15:14 shine-lee 閱讀 (238) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 開篇先上圖,圖為 deconvolution 在像素級語義分割中的一種應用,直觀感覺deconvolution是一個upsampling的過程,像是convolution的對稱過程。 本文將深入de 閱讀全文
posted @ 2019-09-20 20:55 shine-lee 閱讀 (350) 評論 (0) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 本文重點在于回顧深度神經網絡在CV領域的 First Blood —— AlexNet ,AlexNet是首個在大規模圖像識別問題取得突破性進展的深度神經網絡,相比基于SIFT+FVs、稀疏編碼的傳 閱讀全文
posted @ 2019-09-10 12:05 shine-lee 閱讀 (187) 評論 (0) 編輯
摘要:深度神經網絡繁多,各自的性能指標怎樣? 實際應用中,在速度、內存、準確率等各種約束下,應該嘗試哪些模型作為backbone? 有paper對各個網絡模型進行了對比分析,形成了一個看待所有主要模型的完整視角,其分析結果可以在實踐中提供指導和幫助。 這篇博客主要整合了其中3篇文章的結論,分別是 1. " 閱讀全文
posted @ 2019-08-28 19:53 shine-lee 閱讀 (564) 評論 (0) 編輯
摘要:博客: "blog.shinelee.me" | "博客園" | "CSDN" [toc] 寫在前面 2D圖像常見的坐標變換如下圖所示: 這篇文章不包含 透視變換 (projective/perspective transformation),而將重點放在 仿射變換 (affine transfor 閱讀全文
posted @ 2019-05-30 17:37 shine-lee 閱讀 (4156) 評論 (4) 編輯
摘要:博客: "blog.shinelee.me" | "博客園" | "CSDN" B站上傳字幕時,如果srt文件中出現如下空行,則會報錯,僅上傳了空行前的部分 于是寫了個python腳本,如下: 解析srt文本,對象化為 ,判斷當前字幕的文本是不是空串,如果是空串,變為空格,再保存文件。 這樣上傳字幕 閱讀全文
posted @ 2019-05-23 14:01 shine-lee 閱讀 (111) 評論 (0) 編輯
摘要:[toc] 博客: "blog.shinelee.me" | "博客園" | "CSDN" 寫在前面 隨便翻一翻流行的推理框架(加速器),如 "NCNN" 、 "NNPACK" 等,可以看到,對于卷積層,大家不約而同地采用了Winograd快速卷積算法,該算法出自CVPR 2016的一篇 paper 閱讀全文
posted @ 2019-05-22 16:08 shine-lee 閱讀 (6372) 評論 (1) 編輯
摘要:[TOC] 博客: "blog.shinelee.me" | "博客園" | "CSDN" im2col實現 如何將卷積運算轉為矩陣相乘?直接看下面這張圖,以下圖片來自論文 "High Performance Convolutional Neural Networks for Document Pr 閱讀全文
posted @ 2019-04-26 18:04 shine-lee 閱讀 (2673) 評論 (0) 編輯
摘要:博客: "blog.shinelee.me" | "博客園" | "CSDN" [TOC] 這篇文章中,我們將定義一個相對復雜的數據結構,直接分析其序列化后的二進制文件。 Proto文件 編寫addressbook.proto文件,在官方例子上略作修改,增加了 字段,以分析浮點數的存儲方式。 生成編 閱讀全文
posted @ 2019-04-20 17:36 shine-lee 閱讀 (535) 評論 (0) 編輯
摘要:博客: "blog.shinelee.me" | "博客園" | "CSDN" [toc] Message Structure 在上一篇文章中我們提到,對于序列化后字節流,需要回答的一個重要問題是“ 從哪里到哪里是哪個數據成員 ”。 message中每一個field的格式為: 在序列化時,一個fie 閱讀全文
posted @ 2019-04-16 15:35 shine-lee 閱讀 (647) 評論 (0) 編輯
摘要:博客: "blog.shinelee.me" | "博客園" | "CSDN" [toc] Protocol Buffers docs:https://developers.google.com/protocol buffers/docs/overview github:https://github 閱讀全文
posted @ 2019-04-13 16:50 shine-lee 閱讀 (1128) 評論 (0) 編輯
站長工具:
ag二分彩