浙江十一选五开奖走势图表
datasheet

對機器學習的七個誤解

2019-04-12來源: 雷鋒網關鍵字:機器學習  誤解

近日,哥倫比亞大學計算機科學專業博士生 Oscar Chang 發博闡述了關于機器學習的七個誤解,雷鋒網 AI 科技評論將原文編譯整理如下。


在了解深度學習的過程中盛傳著 7 個誤解,它們中很多都是以前固有的偏見,但在最近又被新的研究提出了質疑,現在我們把它整理出來:


誤解 1: TensorFlow 是個張量運算庫

誤解 2: 圖像數據集反映了自然世界真實圖像分布

誤解 3: 機器學習研究者并不使用測試集進行驗證

誤解 4: 神經網絡訓練過程會使用訓練集中的所有數據點

誤解 5: 我們需要批標準化來訓練超深度殘差網絡

誤解 6: 注意力優于卷積

誤解 7: 顯著圖是解釋神經網絡的一種穩健方法


以下將分別說明:


誤解1:TensorFlow 是個張量運算庫?


事實上,TensorFlow 是一個矩陣運算庫,這與張量運算庫存在顯著差異。


在 NeurIPS 2018 的論文Computing Higher Order Derivatives of Matrix and Tensor Expressions 中,研究者表明,他們基于張量微積分(Tensor Calculus)所建立的新自動微分庫具有明顯更緊湊(compact)的表達式樹(expression trees)。這是因為,張量微積分使用了索引標識,這使得前向模式和反向模式的處理方式相同。


南轅北轍的是——矩陣微積分為了標識方便而隱藏了索引,這通常會導致自動微分的表達式樹顯得過于冗雜。


若有矩陣的乘法運算:C=AB。在前向模式中,有:


而在反向模式中,則有:


為了正確完成乘法計算,我們需要注意乘法的順序和轉置的使用。對于機器學習開發者而言,這只是在標識上的一點困惑,但對于程序而言,需要計算花銷。


下一個例子顯然意義更加重大:對于求行列式 c=det(A)。在前向模式中,有:


而在反向模式中,則有:


這里可以明顯看出,無法使用同一個表達式樹來表示兩種模式,因為二者是由不同運算組成的。


總的來說,TensorFlow 和其他庫(如 Mathematica、Maple、 Sage、SimPy、ADOL-C、TAPENADE、TensorFlow, Theano、PyTorch 和 HIPS autograd)實現的自動微分方法,會在前向模式和反向模式中,得出不同的、低效的表達式樹。而在張量微積分中,通過索引標識保留了乘法的可交換性,進而輕松避免了這些問題(具體的實現原理,請閱讀論文原文)。


研究者在三個不同的問題上測試了他們進行反向模式自動微分的方法,也就是反向傳播,并測試了其計算 Hessian 矩陣所消耗的時間。


第一個問題是優化一個形如 xAx 的二次函數;第二個問題是求解一個邏輯回歸;第三個問題是求解矩陣分解。


在 CPU 上,新方法與當下流行的 TensorFlow、Theano、PyTorch 和 HIPS autograd 等自動微分庫相比,要快兩個數量級。



在 GPU 上,研究者發現,新方法的提速更加明顯,超出流行庫的速度近似三個數量級。


意義:利用目前的深度學習庫完成對二次或更高階函數的求導,所花費的成本比本應消耗的更高。這包含了計算諸如 Hessian 的通用四階張量(例:在 MAML 中,以及二階牛頓法)。幸運的是,在深度學習中,二階函數并不常見。但在傳統機器學習中,它們卻廣泛存在:SVM 對偶問題、最小二乘回歸、LASSO,高斯過程……


誤解2:圖像數據集反映了自然世界真實圖像分布


人們大概會認為,如今的神經網絡在目標識別任務上,水平已經超過真人。其實并不盡然。也許在 ImageNet 等篩選出來的圖像數據集上,它們的效果的確比人工優秀;但對于自然界的真實圖像,它們在目標識別上絕對無法比過任何一個正常的成年人。這是因為,從目前的圖像數據集中抽取的圖像,和從真實世界整體中抽取的圖像的分布不同。


在一篇 2011 年舊論文 Unbiased Look at Dataset Bias 里,研究者根據 12 個流行的圖像數據集,嘗試通過訓練一個分類器用以判斷一個給定圖像來自于哪個數據集,來探索是否存在數據集偏差。



隨機猜測的正確率應該是 1/12 = 8%,而實驗結果的準確率高于 75%。



研究者在 HOG 特征上訓練了一個 SVM,并發現其正確率達到 39%,高于隨機猜測水平。如今,如果使用最先進的 CNN 來復現這一實驗,分類器的表現可能更好。


如果圖像數據集確實能夠代表來自自然世界的真實圖像,就不應能夠分辨出某個特定圖像是來自于哪個數據集的。



但數據中的偏差,使得每個數據集都與眾不同。例如,在 ImageNet 中,有非常多的「賽車」,不能認為這代表了通常意義上「汽車」的典型概念。


研究者在某數據集訓練分類器,并在其他數據集上評估表現效果,進一步度量數據集的價值。根據這個指標,LabelMe 和 ImageNet 是偏差最小的數據集,在「一籃子貨幣(basket of currencies)」上得分 0.58。所有數據集的得分都小于 1,表明在其他數據集上訓練的模型都給出了更低的準確度。在沒有數據集偏差的理想情況下,應該有一些得分是高于 1 的。


作者做了悲觀的總結:


那么,如果我們把現在用來訓練算法的數據集部署在現實世界里,它有什么價值呢?總結下浮現出的答案會是:「比沒有好,但沒好太多。」


誤解 3:機器學習研究者并不使用測試集進行驗證


在機器學習的第一門課中,我們會學習到將數據集分為訓練集、驗證集以及測試集。將在訓練集上訓練得到模型,在驗證集上進行效果評估,用以指導開發者調節模型,以求在真實場景下獲得效果最好的模型。直到模型調節好之后,才應該使用測試集,提供模型在真實場景下實際表現的無偏估計。如果開發者「作弊」地在訓練或驗證階段使用了測試集,那么模型就很可能遇到對數據集偏差產生過擬合的風險:這類偏差信息是無法在數據集外泛化得到的。


機器學習研究競爭激烈,對新算法/模型的評估,通常都會使用其在測試集上的表現。因此對于研究者而言,沒有理由去寫/提交一篇測試集效果不 SOTA 的論文。這也說明在機器學習研究領域,總體而言,使用測試集進行驗證是一個普遍現象。


這種「作弊」行為的影響是什么?



在論文 DoCIFAR-10Classifiers Generalize to CIFAR-10? 中,研究者們通過在 CIFAR-10 上建立了一個新的測試集,來研究此問題。為此,他們解析標注了來自 Tiny Images 庫的圖像,在最初的數據采集過程也是如此。


研究者們之所以選擇 CIFAR-10,是因為它是機器學習界使用最廣泛的數據集之一,也是 NeurIPS 2017 中第二受歡迎的數據集(在 MNIST 之后)。CIFAR-10 數據集的創建過程也有完善公開的文檔記錄。而龐大的 Tiny Images 庫中,也有足夠的細粒度標簽數據,進而使得在盡量不引起分布偏移的情況下重建一個測試集成為可能。



研究者發現,很多神經網絡模型在從原來的測試集切換到新測試集的時候,都出現了明顯的準確率下降(4% - 15%)。但各模型的相對排名依然相對穩定。



總的來說,相較于表現較差的模型,表現較好模型的準確率下降程度也相對更小。這是一個振奮人心的消息,因為至少在 CIFAR-10 上,隨著研究社群發明出更好的機器學習模型/方法,由于「作弊」得到的泛化損失,也變得更加輕微。


誤解4:神經網絡訓練過程會使用訓練集中的所有數據點


人們常說,數據是新型財富,數據量越大,我們就能將數據相對不足的、過參數化的深度學習模型訓練得越好。


在 ICLR 2019 的一篇論文 An Empirical Study of Example Forgetting During Deep Neural Network Learning 中,研究者們表示在多個常見的較小圖像數據集中,存在顯著冗余。令人震驚的是,在 CIFAR-10 中,我們可以在不顯著影響測試集準確率的情況下剔除 30% 的數據點。



當神經網絡在時刻 t 給出準確分類,而在 t+1 時刻發生誤分類,此時稱為發生遺忘事件。這里的時刻是指網絡中 SGD 的更新次數。為了追蹤遺忘事件,研究者每次只在 SGD 更新時的小批次數據中的樣本上運行神經網絡,而不是在數據集的每個樣本上運行。對于在訓練時不會發生遺忘事件的樣本,稱之為難忘性樣本。


研究者發現,MNIST 中 91.7%、permutedMNIST 中 75.3%、CIFAR-10 中 31.3% 以及 CIFAR-100 中 7.62% 的數據屬于難忘性樣本。這符合直觀理解,因為隨著圖像數據集的多樣性和復雜性上升,神經網絡對數據的遺忘性越大。




相較于難忘性樣本,可遺忘樣本似乎表現了更多不尋常的獨特特征。研究者將其類比于 SVM 中的支持向量,因為它們似乎劃分了決策邊界。



與此相反,難忘性樣本則編碼了絕大部分的冗余信息。如果將樣本按難忘性進行排序,就可以通過刪除絕大部分的難忘性樣本,進而減小數據集。


在 CIFAR-10 中,在不影響測試集準確率的情況下,30% 的數據是可以移除的,刪除 35% 的數據后準確率會下降 0.2%。如果所移除的 30% 的數據是隨機挑選的,不是基于難忘性來選取,準確率將會顯著下降 1%。



與此類似,在 CIFAR-100 上,8% 的數據可以在不影響測試集準確率的情況下移除。


這些發現表明,在神經網絡的訓練中,存在明顯的數據冗余,就像 SVM 的訓練中,非支持向量的數據可以在不影響模型決策的情況下移除。


意義:如果在開始訓練之前,就能確定哪些樣本是不可遺忘的,那么我們就可以通過刪除這些數據來節省存儲空間和訓練時間。


誤解5:我們需要批標準化來訓練超深度殘差網絡


長久以來,人們都相信「通過隨機初始參數值和梯度下降,直接優化有監督目標函數(如:正確分類的對數概率)來訓練深度網絡,效果不會很好。」


從那時起,就有很多聰明的隨機初始化方法、激活函數、優化方法以及其他諸如殘差連接的結構創新,來降低利用梯度下降訓練深度神經網絡的難度。


但真正的突破來自于批標準化(batch normalization)的引入(以及其他的后續標準化技術),批標準化通過限制深度網絡每層的激活值,來緩和梯度消失、爆炸等問題。


值得注意的是,在今年的論文 Fixup Initialization: Residual Learning Without Normalization 中,研究表明在不引入任何標準化方法的情況下,通過使用 vanilla SGD,可以有效地訓練一個 10,000 層的深度網絡。



研究者比較了在 CIFAR-10 上,不同深度殘差網絡訓練一個 epoch 的結果,并發現,標準初始化方法在 網絡達到 100 層時就失敗了,但 Fixup 和批標準化在 10,000 層的網絡都能成功。



研究者通過理論分析,證明了「特定神經層的梯度范數,以某個隨網絡深度增加而增大的數值為期望下界」,即梯度爆炸問題。


為避免此問題,Fixup 中的核心思想是在每 L 個殘差分支上,使用同時依賴于 L 和 m 的因子來調整 m 個神經層的權重。



Fixup 使得能夠在 CIFAR-10 上以高學習速率訓練一個 110 層的深度殘差網絡,得到的測試集表現和利用批標準化訓練的同結構網絡效果相當。




研究者也進一步展示了在沒有任何標準化處理下,基于 Fixup 得到的神經網絡在 ImageNet 數據集和英語-德語機器翻譯任務上與 LayerNorm 網絡得分相當。


誤解6:注意力機制優于卷積


在機器學習領域,有一個正得到認同的說法,認為注意力機制是卷積的更優替代。重要的是 Vaswani et al 注意到「一個可分離卷積的計算成本,和一個自注意力層與一個逐點前饋層結合后的計算成本一致」。


即使是最新的 GAN 網絡,也展示出自注意力相較于標準卷積,在對長期、多尺度依賴性的建模上效果更好。


在 ICLR 2019 的論文 Pay Less Attention with Lightweight and Dynamic Convolutions 中,研究者對自注意力機制在長期依賴性的建模中參數的有效性和效率提出了質疑,他們表示一個受自注意力啟發而得到的卷積變體,其參數效率更高。



輕量級卷積(lightweight convolutions)是深度可分離(depthwise-separable)的,它在時間維度上進行了 softmax 標準化,通道維度上共享權重,且在每個時間步上重新使用相同權重(類似于 RNN 網絡)。動態卷積(dynamic convolutions)則是在每個時間步上使用不同權重的輕量級卷積。


這些技巧使得輕量級卷積和動態卷積相較于傳統的不可分卷積,在效率上優越幾個數量級。




研究者也證明,在機器翻譯、語言建模和抽象總結等任務上,這些新卷積能夠使用數量相當或更少的參數,達到或超過基于自注意力的基準效果。


誤解7:顯著圖(saliency maps)是解釋神經網絡的一個穩健方法


雖然神經網絡通常被認為是黑匣子,但現在還是已經有了有非常多對其進行解釋的探索。顯著圖,或其他類似對特征或訓練樣本賦予重要性得分的方法,是其中最受歡迎的形式。


我們很容易得出這樣的結論,即對給定的圖像進行某種分類的原因是由于圖像的特定部分對神經網絡進行分類時的決策起了重要作用。已有的幾種計算顯著圖的方法,通常都基于神經網絡在特定圖像上的激活情況,以及網絡中所傳播的梯度。


在 AAAI 2019 的一篇論文 Interpretation of Neural Networks is Fragile 中,研究者表明,可以通過引入一個無法感知的擾動,從而扭曲給定圖像的顯著性圖。



「帝王蝶之所以被分類為帝王蝶,并不是因為翅膀的圖案樣式,而是因為背景上一些不重要的綠色樹葉。」



高維圖像通常都位于深度神經網絡所建立的決策邊界附近,因此很容易受到對抗攻擊的影響。對抗攻擊會將圖像移動至決策邊界的另一邊,而對抗解釋攻擊則是將圖像在相同決策區域內,沿著決策邊界等高線移動。



為實現此攻擊,研究者所使用的基本方法是 Goodfellow 提出的 FGSM(fast gradient sign method)方法的變體,這是最早的一種為實現有效對抗攻擊而引入的方法。這也表明,其他更近的、更復雜的對抗攻擊也可以用于攻擊神經網絡的解釋性。





意義:


隨著深度學習在醫學成像等高風險應用中變得越來越普遍,我們必須注意如何解釋神經網絡做出的決定。例如,盡管 cnn 能將 mri 圖像上的一個點識別為惡性腫瘤是件好事,但如果這些結果是基于脆弱的解釋方法,那么這些結果就不應該被信任。


關鍵字:機器學習  誤解

編輯:baixue 引用地址:http://www.vdizh.tw/IoT/2019/ic-news04125234.html
本網站轉載的所有的文章、圖片、音頻視頻文件等資料的版權歸版權所有人所有,本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如果本網所選內容的文章作者及編輯認為其作品不宜公開自由傳播,或不應無償使用,請及時通過電子郵件或電話通知我們,以迅速采取適當措施,避免給雙方造成不必要的經濟損失。

上一篇:提高數字媒體市場競爭力 SK電信收購Incross公司
下一篇:三星勾勒的美好生活:品質體驗+智慧互聯

關注eeworld公眾號 快捷獲取更多信息
關注eeworld公眾號
快捷獲取更多信息
關注eeworld服務號 享受更多官方福利
關注eeworld服務號
享受更多官方福利

推薦閱讀

出版商使用機器學習生成研究書籍,內容讀起來并不輕松

據科技媒體The verge報道,學術出版商Springer Nature公布了它聲稱的第一本使用機器學習生成的研究書籍。  這本名為《Lithium-Ion Batteries: A Machine-Generated Summary of Current Research》的書讀起來并不輕松。相反,正如它的名字所暗示的,它是對相關主題發表的同行評議論文的總結。它包括引用作品及其超鏈接和自動生成的參考內容。如果你晚上難以入睡,也可以免費下載和閱讀。 雖然這本書的內容令人昏昏欲睡,但它的存在卻令人興奮。Springer Nature的Henning Schoenenberger在序言中寫道,無需
發表于 2019-04-13
出版商使用機器學習生成研究書籍,內容讀起來并不輕松

馬斯克讓特斯拉的全自動駕駛夢又邁進了嗎?

了這種有附加條件的全自動駕駛,但離全社會的完全自動駕駛還是很遙遠的。”  開車睡到家,技術和社會都得加把勁法國自動駕駛技術專家李鈾對科技日報記者表示,目前的自動駕駛系統主要包含感知、定位、高精地圖、導航與控制五大塊。其中,感知模塊通過處理攝像頭、毫米波雷達、激光雷達、超聲波雷達等各種傳感器的數據,來獲取障礙物、行道線、路面等信息,再結合定位、地圖生成駕駛路徑,最后再由控制器執行。由此可以看出,感知系統在自動駕駛系統中占據重要位置,也是主要難點。  李鈾說:“機器學習被視為實現自動駕駛的重要核心技術,其通過在已標記的數據集上進行統計學習,來模擬人的認知能力。”  目前機器學習集中應用在感知系統當中,包括圖像識別、點云識別等。最近
發表于 2019-04-12

谷歌新人工智能工具 可以掃描文檔、接聽電話和搜索產品

  隨著企業對人工智能的采用度不斷的增加(根據數據調查,在過去的四年里,這個數據增長了270%),谷歌很明智的開始利用機器學習技術,驅動新的云服務來吸引客戶。谷歌本周在舊金山舉行的Google Cloud Next會議上,該公司就發布了一系列針對企業需要痛點的產品,比如文檔分析、庫存和需求預測以及客戶服交互管理。  谷歌云集團產品經理Levent Besik在一篇博客中表示:“許多企業都看到了將人工智能和機器學習和自己的業務結合的未來,但是也并不是所有企業都有足夠的資源能夠實現自己的野心。企業需要一種快速便捷的方式將人工智能引入,從一開始,我們的目標就是讓盡可能多的企業能夠使用人工智能技術。“  為此,谷歌發布了Document
發表于 2019-04-11
谷歌新人工智能工具 可以掃描文檔、接聽電話和搜索產品

加速深度神經網絡和機器學習系統開發 FlexNoC?4互連IP問市

經過實際驗證的創新性片上網絡(NoC)互連知識產權(IP)產品的全球領先供應商Arteris IP,宣布推出新的Arteris IP FlexNoC版本4互連IP和配套的人工智能(AI)軟件包。  FlexNoC 4和人工智能(“FlexNoC 4 AI”) 軟件包實現了許多新技術,它們可以簡化今天最復雜的人工智能(AI)、深度神經網絡(DNN)和自主駕駛系統級芯片(SoC)的開發。   Arteris IP向一些世界領先的人工智能和深度學習(DNN)系統級芯片(SoC)設計團隊學習,在此基礎上,創造了FlexNoC 4 AI中的新技術。在Arteris IP客戶中,開發人工智能芯片的客戶包括Mobileye
發表于 2019-04-11

Wayve憑借機器學習算法就可以實現自動駕駛汽車上路行駛

劍橋大學工程系團隊創辦的Wayve憑借機器學習算法,只需要使用攝像頭和基本的衛星導航就可以實現自動駕駛汽車在陌生的道路上行駛。 自從2016年,英偉達公開了用于自動駕駛汽車的端到端深度學習技術之后,已經有不計其數的公司、單位甚至愛好者用此技術做出自動駕駛的demo。簡單網絡結構,可以實現攝像頭輸入到剎車油門方向盤輸出的直接映射。然而這種低門檻也注定了它可以解決的問題并不多,很難應對具體駕駛環境上的復雜性。有專家甚至認為端到端不適合開發實用無人駕駛系統,可以做demo,大規模商用可能非常困難。 端到端只配做demo嗎?由劍橋大學團隊創辦的Wayve無人駕駛軟件公司卻不這么認為。他們沒有用高精地圖,也沒有用激光雷達
發表于 2019-04-09
Wayve憑借機器學習算法就可以實現自動駕駛汽車上路行駛

劉作虎再回應“DC調光”:大家誤解 我們也在研究DC調光

3月21日消息,一位網友詢問一加創始人兼首席執行官劉作虎:一加有沒有DC調光?劉作虎回應:看來你也被營銷了。隨后劉作虎再回應,表示大家有點誤解我的意思了。我不是反對DC調光,但我看到評論里面有點過于夸大DC調光的價值。我們去年開始就在研究DC調光的軟件算法,但目前感覺還沒有做到自己想要的樣子。目前已經發布的黑鯊游戲手機2、黑鯊游戲手機Helo均為全程DC調光。魅族系統工程師洪漢生透露Flyme也在做DC調光,魅族16th、16th Plus、16X等等后續都有可能支持DC調光方式。據悉,DC調光是通過提高或降低電路功率來改變屏幕亮度,功率=電壓x電流,所以改變電壓或電流都改變屏幕亮度。PWM調光則是通過屏幕的亮、滅交替來改變屏幕
發表于 2019-03-22
劉作虎再回應“DC調光”:大家誤解 我們也在研究DC調光

小廣播

電子工程世界版權所有 京ICP證060456號 京ICP備10001474號 電信業務審批[2006]字第258號函 京公海網安備110108001534 Copyright ? 2005-2019 EEWORLD.com.cn, Inc. All rights reserved
浙江十一选五开奖走势图表 基金配资多少倍 中国十大理财平台官网 极星策略 淘股吧股票论坛官网 关于科创板股票涨跌幅限制 中国股票指数期货交易 美国股票指数 中国股指期货配资网 四海策略 股票行情今天大盘600020