華為高級研究員謝凌曦: 下一代人工智能計算模型探索
導 讀
為什么、難在哪、怎么做：——下一代人工智能計算模型探索
Next Generation of AI－Computing Models：——Why， What， and How下一代人工智能計算模型，主要是使用一些自動化技術幫助我們設計更好的深度學習網絡結構，并在任務中提升性能。本文會重點從Why、What、How這3個地方重點講解。
第一部分 什么是網絡架構搜索（NAS）？為什么很重要？
一、AI領域未來面臨的挑戰
有3件事是確定的：數據（data），模型（model），知識（knowledge）
1． 數據
Data－efficiency：如何利用有限或多模態數據訓練模型？
在如今的數據爆炸時代，會產生海量的數據，其中只有很少的數據有數據標注，大量的數據沒有數據標注，且數據很“臟”。于是引出了第一個問題：如何從海量數據重，真正學習到自己想要的東西。
AI未來的發展方向是從全監督發展成自監督和無監督的方向。
2． 模型
Auto－learning：如何為人工智能應用設計強大高效的模型？
這一代的計算模型主要是基于深度學習的，尤其是卷積神經網絡。深度學習在圖像識別領域的應用，使得原先的模型從手工識別特征發展到自動學習特征。
基于這種發展的趨勢，我們將模型繼續推進一步，使得深度學習的網絡設計也從手動轉為自動。這是模型部分所面臨的挑戰。
3． 知識
Knowledge－aware：如何定義和存儲知識，使訓練后的模型安全可靠？
現有模型的算法，大部分都是擬合和訓練數據，并不能保證擬合得到的結果具備分析常識的能力，即“不能真正地學習知識”。由于計算機缺乏常識，對知識的學習，可能會成為AI未來5年的研究方向。
二、AutoML介紹
本文的重點是模型部分，主要分析手動和自動，這兩種思路的區別。
2017年自動化網格搜索架構被提出后，“手動更好”還是“自動更好”這類爭論不斷。在爭論的過程中逐漸催生出了一個新的方向，稱為自動化機器學習（AutoML）。這一方向在工業界得到了更多的關注度。
工業界的關注度超過學術結，主要有兩個原因：
（1） 工業界的算力更強。
AutoML算法對計算資源的消耗非常大。例如，Google發表的NAS方面的論文，需要上萬個GPU ／天才能完成這樣的計算。
（2） 工業界有很強的需求。AutoML可以幫工業界節省很多的開發成本。
以華為為例，華為有各種各樣不同的手機產品，從旗艦機到低端的手機，芯片的計算能力會差很多。用戶會需要在不同的手機中完成相似的功能（如拍視頻），因此針對不同的芯片需要設計不同的網絡架構以滿足用戶的需求；另一方面，用戶的需求（如清晰度的要求）是實時變化的，如果使用人工機器學習算法，會帶來巨大的人力投入�；诖耍I界存在自動化算法的需求。
分享
請輸入評論內容...
請輸入評論/評論長度6~500個字
