QQ在線
企業(yè)微信
資訊
426
人工智能在加速器等方面的應(yīng)用
隨著科技的發(fā)展，最近幾年，人工智能越來(lái)越火，AI也在逐漸深入到各領(lǐng)域。
人工智能在云計(jì)算領(lǐng)域，阿里巴巴繼亞馬遜、谷歌之后，推出了自己的定制加速器。Facebook也參與其中，微軟在Graphcore中持有大量股份。英特爾(Intel)和Mobileye在汽車領(lǐng)域擁有強(qiáng)大的邊緣人工智能(AI)，而無(wú)線基礎(chǔ)設(shè)施開(kāi)發(fā)商正在為5G的小電池和基站增加AI功能。所有這些應(yīng)用程序都依賴于大量靈活性和對(duì)未來(lái)的檢驗(yàn)，以便在快速發(fā)展的環(huán)境中獲得長(zhǎng)期的相關(guān)性。
但是有許多應(yīng)用程序，對(duì)于它們來(lái)說(shuō)，功率、成本或透明的使用模型是更重要的度量標(biāo)準(zhǔn)。一個(gè)農(nóng)業(yè)監(jiān)視器在一個(gè)偏僻的地方，一個(gè)微波語(yǔ)音控制器，交通傳感器分布在一個(gè)大城市。對(duì)于這些問(wèn)題，一個(gè)通用的解決方案，甚至一個(gè)通用的AI解決方案，都可能是多余的。所以，一個(gè)特定的應(yīng)用程序的AI功能將會(huì)更加引人注目。
在人工智能時(shí)代之前，你會(huì)立刻想到一個(gè)硬件加速器——它可以做任何它必須做的事情，但比在CPU上運(yùn)行一個(gè)軟件要快得多。這就是人工智能加速器的作用。它可能仍然是以軟件驅(qū)動(dòng)的，但與通用CPU方式不同。軟件是在大型平臺(tái)(如TensorFlow或Torch)上用Python開(kāi)發(fā)的，然后通過(guò)多個(gè)步驟編譯到目標(biāo)加速器上。
這就是神奇之處。只要加速器保持在神經(jīng)網(wǎng)絡(luò)架構(gòu)的一般范圍內(nèi)，它就可以像你希望的那樣狂野。它可以支持多個(gè)卷積引擎，每個(gè)引擎又由SRAM作為一個(gè)整體來(lái)支持，同時(shí)還支持本地內(nèi)存，以優(yōu)化對(duì)操作的優(yōu)先順序的訪問(wèn)。
它可能支持專業(yè)功能池等常用操作。為了提高速度和性能，它通常會(huì)在不同的推理階段支持不同的字寬，并在處理稀疏數(shù)組時(shí)支持專門的優(yōu)化。這兩個(gè)領(lǐng)域都是神經(jīng)網(wǎng)絡(luò)架構(gòu)的創(chuàng)新熱點(diǎn)，一些架構(gòu)師甚至嘗試使用單比特權(quán)值——如果一個(gè)權(quán)值只能是1或0，那么你就不需要在卷積和稀疏性增加中進(jìn)行乘法運(yùn)算了!
所有這些的挑戰(zhàn)在于，當(dāng)你想要致力于最終架構(gòu)時(shí)，你會(huì)發(fā)現(xiàn)有太多的旋鈕，以至于很難知道從哪里開(kāi)始，或者你是否真正探索了全部的可能性空間。更加復(fù)雜的是，你需要在大范圍的大型測(cè)試用例(大圖像、語(yǔ)音樣本等等)上測(cè)試和描述。
用C語(yǔ)言而不是RTL來(lái)運(yùn)行大部分測(cè)試是常識(shí)，因?yàn)樗萊TL運(yùn)行速度快幾個(gè)數(shù)量級(jí)，而且比RTL更容易調(diào)優(yōu)。此外，神經(jīng)網(wǎng)絡(luò)算法可以通過(guò)高級(jí)合成(HLS)很好地映射，因此你的C模型可以不僅僅是一個(gè)模型，它還可以是生成RTL。你可以探索你正在考慮的選擇的能力、性能和區(qū)域含義——多個(gè)卷積處理器、本地內(nèi)存、字寬、廣播更新。所有這些都具有快速的周轉(zhuǎn)時(shí)間，允許你更充分地探索可能的優(yōu)化范圍。
