原標題:要像人類一樣聰明 AI先得突破算力極限 來源:科技日報 高級人工智慧所需算力每三個半月就會翻一番 要像人類一樣聰明 AI先得突破算力極限 演算法、數據和算力被視為推動人工智慧發展的三大要素,其中算力更是被形容為支撐人工智慧走嚮應用的「發動機」。人工智慧研究組織OpenAI最近指出,「高級人工智慧所需的計算能力每三個半月就會翻一番」。 近日,臉譜(Facebook)人工智慧副總裁傑羅姆·佩森蒂在接受《連線》雜誌採訪時認為,AI科研成本的持續上漲,或導致我們在該領域的研究碰壁,現在已經到了一個需要從成本效益等方面考慮的地步,我們需要清楚如何從現有的計算力中獲得最大的收益。 人工智慧「動腦」 背後算力消耗驚人 「2016年3月,谷歌人工智慧阿爾法圍棋(AlphaGo)戰勝韓國棋手李世石時,人們慨嘆人工智慧的強大,而其背後巨大的『付出』卻鮮為人知——數千台伺服器、上千塊CPU、高性能顯卡以及對弈一場棋所消耗的驚人電量。」遠望智庫人工智慧事業部部長、圖靈機器人首席戰略官譚茗洲在接受科技日報記者採訪時表示。 「相比雲計算和大數據等應用,人工智慧對計算力的需求幾乎無止境。」中國工程院院士、浪潮集團首席科學家王恩東指出。 據介紹,人工智慧最大的挑戰之一是識別度不高、準確度不高,提高準確度就要提高模型的規模和精細度,提高線下訓練的頻次,這需要更強的計算力。準確度也是算出來的,比如大型互聯網公司或者知名人工智慧創業公司,有能力部署規模比較大的人工智慧計算平台,演算法的模型已經達到千億參數、萬億的訓練數據集規模。 「現在人工智慧運用的深度學習框架,多數依賴大數據進行科研訓練,形成有效模型,這些都需要較高的計算力。」譚茗洲指出,當前隨著人工智慧演算法模型的複雜度和精度愈來愈高,互聯網和物聯網產生的數據呈幾何倍數增長,在數據量和演算法模型的雙層疊加下,人工智慧對計算的需求越來越大。無疑,人工智慧走向深度學習,計算力已成為評價人工智慧研究成本的重要指標。可以說,計算力即是生產力。 數據搬運頻繁 「內存牆」問題凸顯 人工智慧為何如此耗費算力?具體而言,在經典的馮·諾伊曼計算機架構中,存儲單元和計算單元涇渭分明。運算時,需要將數據從存儲單元讀取到計算單元,運算後會把結果寫回存儲單元。在大數據驅動的人工智慧時代,AI運算中數據搬運更加頻繁,需要存儲和處理的數據量遠遠大於之前常見的應用。當運算能力達到一定程度,由於訪問存儲器的速度無法跟上運算部件消耗數據的速度,因此再增加運算部件也無法得到充分利用,就形成了所謂的馮·諾伊曼「瓶頸」或「內存牆」問題。這就如同一台馬力強勁的發動機,卻因為輸油管的狹小而無法產生應有的動力。 顯然,頻繁的數據搬運導致的算力瓶頸,已經成為對更為先進演算法探索的限制因素。而算力瓶頸對更先進、複雜度更高的AI模型的研究將產生更大影響。情趣商品 王恩東曾指出:「計算力的提升對體繫結構提出挑戰。在半導體技術逐步接近極限的情況下,計算機發展迎來體繫結構創新的黃金期,計算力的提升將更多通過體繫結構創新來滿足。」 據了解,最先進的自然語言處理模型XLNet約有4億模型參數。據估算,人腦中細胞間互聯軸突個數在百萬億到千萬億數量級。顯然AI在認知問題上離我們追求的所謂通用人工智慧還有巨大差距,而要達到通用人工智慧的水平,預計研究所需要的計算能力和計算系統的能源效率將比現在至少提高幾個數量級。因此人工智慧要進一步突破,必須採用新的計算架構,解決存儲單元和計算單元分離帶來的算力瓶頸。 譚茗洲說,目前人工智慧的無用計算較多。現在人工智慧還像不斷灌水一樣,處在輸入數據、調整參數的階段,是個「黑盒子」模式,特別在圖片視頻方面消耗很多能量,而其中真正的有效計算卻不多,非常浪費能源。今後AI有待在「可解釋性」上進行突破,搞清是什麼原因導致後面的結果,這樣可以精準運用數據和算力,大大減少運算量。這也是目前重要的研究課題,將大大推動深度學習的發展。 計算儲存一體化 或成下一代系統入口 「雖然目前階段計算力還談不上限制人工智慧的發展,但計算力確實提高了參與人工智慧研究的門檻。」譚茗洲指出。 除了研發資金的增長,在計算力爆發之前的很長一段時間,產生數據的場景隨著互聯網的發展滲透到生活、生產的各個角落,並且隨著通訊技術的進步,尤其是5G的商用,使得產生數據的基礎場景覆蓋面和深度達到新的層次,數據的生產也將達到一個新的數量級。 2020年伊始,阿里達摩院發佈《2020十大科技趨勢》報告顯示,在人工智慧方面,計算存儲一體化,類似於人腦,將數據存儲單元和計算單元融為一體,能顯著減少數據搬運,極大提高計算并行度和能效。 然而,計算存儲一體化的研究無法一蹴而就。這個報告提出策略,對於廣義上計算存儲一體化計算架構的發展,近期策略的關鍵在於通過晶元設計、集成、封裝技術拉近存儲單元與計算單元的距離,增加帶寬,降低數據搬運的代價,緩解由於數據搬運產生的瓶頸;中期規劃是通過架構方面的創新,設存儲器於計算單元中或者置計算單元於存儲模塊內,可以實現計算和存儲你中有我,我中有你;遠期展望是通過器件層面的創新,實現器件既是存儲單元也是計算單元,不分彼此,融為一體,成為真正的計算存儲一體化。近年來,一些新型非易失存儲器,如阻變內存,顯示了一定的計算存儲融合的潛力。 據介紹,計算存儲一體化正在助力、推動演算法升級,成為下一代AI系統的入口。存內計算提供的大規模更高效的算力,使得AI演算法設計有更充分的想像力,不再受到算力約束。從而將硬體上的先進性,升級為系統、演算法的領先優勢,最終加速孵化新業務。 而除了計算存儲一體化的趨勢,量子計算或是解決AI所需巨額算力的另一途徑。目前量子計算機的發展已經超越傳統計算機的摩爾定律,以傳統計算機的計算能力為基本參考,量子計算機的算力正迅速發展。 譚茗洲表示,未來人工智慧的突破,除了不斷提升技術本身之外,還需要全球各國協同創新,融合發展,探索新的合作模式,如採取共享思維,調動世界各方面的計算資源集中發力,以降低計算的巨大成本。 延伸閱讀 延伸閱讀 人工智慧計算力展現五大發展趨勢 互聯網數據中心(IDC)與浪潮聯合發佈的《2019—2020中國人工智慧計算力發展評估報告》指出,全球新創建的數據量將從2018年的33ZB增長到2025年的175ZB。隨著數據持續爆炸性增長及演算法的不斷演進,未來算力仍有很大的發展空間。 該報告公佈的最新中國人工智慧計算力城市排名顯示:排在前5位的城市依次為北京、杭州、深圳、上海、廣州;排名6—10位的城市是合肥、蘇州、重慶、南京、西安。 報告還提出了未來人工智慧計算力發展的5個重要趨勢,一是到2022年,人工智慧推理市場佔比將超過訓練市場;二是預計到2023年,中國人工智慧基礎架構市場未來5年復合增長率將達到33.8%,是中國整體基礎架構市場增速的3倍以上;三是5G和物聯網將推動邊緣、端側人工智慧基礎架構的快速發展;四是人工智慧與雲的融合將進一步加速,未來5年AIaaS(人工智慧基礎設施即服務)市場規模的年復合增長率預計達到66%;五是隨著計算力的提升,越來越多的企業將參與到人工智慧開源軟體的研發和行業性能評測基準的建設中。
- 1月 14 週二 202006:31
要像人類一樣聰明 AI先得突破算力極限
原標題:要像人類一樣聰明 AI先得突破算力極限 來源:科技日報 高級人工智慧所需算力每三個半月就會翻一番 要像人類一樣聰明 AI先得突破算力極限 演算法、數據和算力被視為推動人工智慧發展的三大要素,其中算力更是被形容為支撐人工智慧走嚮應用的「發動機」。人工智慧研究組織OpenAI最近指出,「高級人工智慧所需的計算能力每三個半月就會翻一番」。 近日,臉譜(Facebook)人工智慧副總裁傑羅姆·佩森蒂在接受《連線》雜誌採訪時認為,AI科研成本的持續上漲,或導致我們在該領域的研究碰壁,現在已經到了一個需要從成本效益等方面考慮的地步,我們需要清楚如何從現有的計算力中獲得最大的收益。 人工智慧「動腦」 背後算力消耗驚人 「2016年3月,谷歌人工智慧阿爾法圍棋(AlphaGo)戰勝韓國棋手李世石時,人們慨嘆人工智慧的強大,而其背後巨大的『付出』卻鮮為人知——數千台伺服器、上千塊CPU、高性能顯卡以及對弈一場棋所消耗的驚人電量。」遠望智庫人工智慧事業部部長、圖靈機器人首席戰略官譚茗洲在接受科技日報記者採訪時表示。 「相比雲計算和大數據等應用,人工智慧對計算力的需求幾乎無止境。」中國工程院院士、浪潮集團首席科學家王恩東指出。 據介紹,人工智慧最大的挑戰之一是識別度不高、準確度不高,提高準確度就要提高模型的規模和精細度,提高線下訓練的頻次,這需要更強的計算力。準確度也是算出來的,比如大型互聯網公司或者知名人工智慧創業公司,有能力部署規模比較大的人工智慧計算平台,演算法的模型已經達到千億參數、萬億的訓練數據集規模。 「現在人工智慧運用的深度學習框架,多數依賴大數據進行科研訓練,形成有效模型,這些都需要較高的計算力。」譚茗洲指出,當前隨著人工智慧演算法模型的複雜度和精度愈來愈高,互聯網和物聯網產生的數據呈幾何倍數增長,在數據量和演算法模型的雙層疊加下,人工智慧對計算的需求越來越大。無疑,人工智慧走向深度學習,計算力已成為評價人工智慧研究成本的重要指標。可以說,計算力即是生產力。 數據搬運頻繁 「內存牆」問題凸顯 人工智慧為何如此耗費算力?具體而言,在經典的馮·諾伊曼計算機架構中,存儲單元和計算單元涇渭分明。運算時,需要將數據從存儲單元讀取到計算單元,運算後會把結果寫回存儲單元。在大數據驅動的人工智慧時代,AI運算中數據搬運更加頻繁,需要存儲和處理的數據量遠遠大於之前常見的應用。當運算能力達到一定程度,由於訪問存儲器的速度無法跟上運算部件消耗數據的速度,因此再增加運算部件也無法得到充分利用,就形成了所謂的馮·諾伊曼「瓶頸」或「內存牆」問題。這就如同一台馬力強勁的發動機,卻因為輸油管的狹小而無法產生應有的動力。 顯然,頻繁的數據搬運導致的算力瓶頸,已經成為對更為先進演算法探索的限制因素。而算力瓶頸對更先進、複雜度更高的AI模型的研究將產生更大影響。情趣商品 王恩東曾指出:「計算力的提升對體繫結構提出挑戰。在半導體技術逐步接近極限的情況下,計算機發展迎來體繫結構創新的黃金期,計算力的提升將更多通過體繫結構創新來滿足。」 據了解,最先進的自然語言處理模型XLNet約有4億模型參數。據估算,人腦中細胞間互聯軸突個數在百萬億到千萬億數量級。顯然AI在認知問題上離我們追求的所謂通用人工智慧還有巨大差距,而要達到通用人工智慧的水平,預計研究所需要的計算能力和計算系統的能源效率將比現在至少提高幾個數量級。因此人工智慧要進一步突破,必須採用新的計算架構,解決存儲單元和計算單元分離帶來的算力瓶頸。 譚茗洲說,目前人工智慧的無用計算較多。現在人工智慧還像不斷灌水一樣,處在輸入數據、調整參數的階段,是個「黑盒子」模式,特別在圖片視頻方面消耗很多能量,而其中真正的有效計算卻不多,非常浪費能源。今後AI有待在「可解釋性」上進行突破,搞清是什麼原因導致後面的結果,這樣可以精準運用數據和算力,大大減少運算量。這也是目前重要的研究課題,將大大推動深度學習的發展。 計算儲存一體化 或成下一代系統入口 「雖然目前階段計算力還談不上限制人工智慧的發展,但計算力確實提高了參與人工智慧研究的門檻。」譚茗洲指出。 除了研發資金的增長,在計算力爆發之前的很長一段時間,產生數據的場景隨著互聯網的發展滲透到生活、生產的各個角落,並且隨著通訊技術的進步,尤其是5G的商用,使得產生數據的基礎場景覆蓋面和深度達到新的層次,數據的生產也將達到一個新的數量級。 2020年伊始,阿里達摩院發佈《2020十大科技趨勢》報告顯示,在人工智慧方面,計算存儲一體化,類似於人腦,將數據存儲單元和計算單元融為一體,能顯著減少數據搬運,極大提高計算并行度和能效。 然而,計算存儲一體化的研究無法一蹴而就。這個報告提出策略,對於廣義上計算存儲一體化計算架構的發展,近期策略的關鍵在於通過晶元設計、集成、封裝技術拉近存儲單元與計算單元的距離,增加帶寬,降低數據搬運的代價,緩解由於數據搬運產生的瓶頸;中期規劃是通過架構方面的創新,設存儲器於計算單元中或者置計算單元於存儲模塊內,可以實現計算和存儲你中有我,我中有你;遠期展望是通過器件層面的創新,實現器件既是存儲單元也是計算單元,不分彼此,融為一體,成為真正的計算存儲一體化。近年來,一些新型非易失存儲器,如阻變內存,顯示了一定的計算存儲融合的潛力。 據介紹,計算存儲一體化正在助力、推動演算法升級,成為下一代AI系統的入口。存內計算提供的大規模更高效的算力,使得AI演算法設計有更充分的想像力,不再受到算力約束。從而將硬體上的先進性,升級為系統、演算法的領先優勢,最終加速孵化新業務。 而除了計算存儲一體化的趨勢,量子計算或是解決AI所需巨額算力的另一途徑。目前量子計算機的發展已經超越傳統計算機的摩爾定律,以傳統計算機的計算能力為基本參考,量子計算機的算力正迅速發展。 譚茗洲表示,未來人工智慧的突破,除了不斷提升技術本身之外,還需要全球各國協同創新,融合發展,探索新的合作模式,如採取共享思維,調動世界各方面的計算資源集中發力,以降低計算的巨大成本。 延伸閱讀 延伸閱讀 人工智慧計算力展現五大發展趨勢 互聯網數據中心(IDC)與浪潮聯合發佈的《2019—2020中國人工智慧計算力發展評估報告》指出,全球新創建的數據量將從2018年的33ZB增長到2025年的175ZB。隨著數據持續爆炸性增長及演算法的不斷演進,未來算力仍有很大的發展空間。 該報告公佈的最新中國人工智慧計算力城市排名顯示:排在前5位的城市依次為北京、杭州、深圳、上海、廣州;排名6—10位的城市是合肥、蘇州、重慶、南京、西安。 報告還提出了未來人工智慧計算力發展的5個重要趨勢,一是到2022年,人工智慧推理市場佔比將超過訓練市場;二是預計到2023年,中國人工智慧基礎架構市場未來5年復合增長率將達到33.8%,是中國整體基礎架構市場增速的3倍以上;三是5G和物聯網將推動邊緣、端側人工智慧基礎架構的快速發展;四是人工智慧與雲的融合將進一步加速,未來5年AIaaS(人工智慧基礎設施即服務)市場規模的年復合增長率預計達到66%;五是隨著計算力的提升,越來越多的企業將參與到人工智慧開源軟體的研發和行業性能評測基準的建設中。
- 1月 13 週一 202011:47
Instagram為Boomerang限時動態加入三種特效
Instagram為Boomerang限時動態加入三種特效
- 1月 13 週一 202009:53
Facebook第三度推出選舉大聲公 提醒選民投下神聖一票
Facebook第三度推出選舉大聲公 提醒選民投下神聖一票
- 1月 13 週一 202007:01
《Pokémon Go》導入交換進化機制 合眾寶可夢野外出沒
《Pokémon Go》導入交換進化機制 合眾寶可夢野外出沒
- 1月 13 週一 202004:34
錯過高通S865 三星新摺疊機傳僅用去年處理器
錯過高通S865 三星新摺疊機傳僅用去年處理器
- 1月 12 週日 202021:52
臉書CEO祖克柏放棄個人年度挑戰 許下十年目標
臉書CEO祖克柏放棄個人年度挑戰 許下十年目標
- 1月 12 週日 202016:26
摺疊機Galaxy Fold熱賣近50萬台 三星進帳超過200億
摺疊機Galaxy Fold熱賣近50萬台 三星進帳超過200億
- 1月 11 週六 202023:04
投票日白天多雲到晴 下半天起北部降雨機
(中央社台北11日電)今天是總統、立委選舉投票日, 中央氣象局表示,白天各地多雲到晴,但隨鋒面通過及 東北季風逐漸增強,下半天起到明天北部、東半部雲量 漸增,迎風面降雨機率增加,氣溫也有下降趨勢。
氣象局指出,今天白天各地仍是多雲到晴,僅東半 部有零星短暫雨,北部及東半部地區高溫攝氏25度上下 ,中南部可達到26至28度。
氣象局表示,隨著鋒面通過及東北季風逐漸增強, 下半天起到明天北部地區、東半部雲量漸增,迎風面越 接近基隆北海岸、北部山區及東半部地區降雨機率也隨 之增加,氣溫也會有下降的趨勢,其中明天比今天更加 明顯;夜間清晨低溫15至19度,中南部山區也開始有飄 雨的可能,平地雲量增多。
此外,金門、馬祖地區以及西半部地區易有局部霧 或低雲影響能見度,行車用路、航班資訊請多加注意。 (編輯:管中維)1090111
- 1月 10 週五 202022:02
2凱道造勢韓流破百萬?名嘴6字揭真相
娛樂中心/綜合報導2020總統大選進入最後倒數,昨(9)日國民黨總統候選人韓國瑜號召支持者上凱道造勢,現場湧入大批韓粉,主辦單位也宣布人潮突破百萬人,但對於這個數字,資深媒體人王時齊卻有不同看法。▲韓國瑜9日凱道造勢晚會現場宣布超過百萬人。昨天韓國瑜凱道造勢晚會五點登場,主持人利菁立刻宣布現場已聚集10萬人,45分鐘過後,利菁表示現場人數已翻1倍,達20萬人,到6點5分時又喊出現場30萬人,接著馬英九上台致詞,立刻又衝上40萬人,晚間8點7分利菁熱情喊出現場已80萬人,直到韓國瑜抵達後,現場宣布人潮已突破百萬人。▲韓國瑜凱道造勢湧入大批韓粉。對此,王時齊上節目《新台灣加油》時透露,有遇到韓辦發言人,得知其實她稱破百萬「只是一種意象」,並沒有真正確切的數字,而王時齊也在韓國瑜到場後派人到現場觀察,發現與去年6月的凱達誓師大會人數有明顯的落差,看起來群眾比較鬆散。▲王時齊認為百萬這個數字恐待商榷。(圖/翻攝自臉書)
- 1月 10 週五 202020:47
許承諾為何要勾手?由來跟切手指有關
節目中心/綜合報導「說謊的人要吞一千根針」這句話相信大家不陌生,在歌手林宥嘉《說謊》MV裡也提到這句話,聽了總令人毛骨悚然。你可能很難相信,這句話其實是來自日本童謠,「指きりげんまん 噓ついたら針千本飲ま~す 指切った」,其中「指きり」就是「切手指」,其背後的故事比吞針更不寒而慄。▲說謊的人要吞一千根針。(圖/擷取自林宥嘉《說謊》MV)「指きり」這個詞起源於江戶時代日本第一花柳街吉原。應召女為了表示對客人的心意不變,會從小拇指的第一個關節的部位切下送給客人,比起送指甲、送頭髮這些切掉還會再長的東西,送個無法再生的手指更能體現誓言的堅定。後來這樣的做法流傳到了民間,被人們認為是必須遵守諾言的意思。▲日本勾小指含義為「約定、諾言」。(圖/擷取自網路)
