搞機器學(xué)習模型訓練，算力不行，不行。谷歌 Cloud TPU v4 Pods 預覽版最新發(fā)布，算力再刷新高。

　　最近，在谷歌的I/O開(kāi)發(fā)者大會(huì )上，谷歌除了發(fā)布令人眼花繚亂的新手機、AR 眼鏡和全家桶軟件升級之外， 還為全球的機器學(xué)習玩家帶來(lái)了一發(fā)「重磅炸彈」。

　　一年前亮相的 TPU v4，已經(jīng)正式部署在谷歌云機器學(xué)習集群上了。這件機器學(xué)習「大殺器」，已經(jīng)正式用在了 Google Cloud 最新機器學(xué)習集群的預覽版上。

　　谷歌表示，它將成為世界上最大的公開(kāi)機器學(xué)習中心。

　　目前，除了最新的 Google Cloud 預覽版外，谷歌其余 SOTA 級別的產(chǎn)品，比如搜索引擎、視頻網(wǎng)站 Youtube 等等，都應用了 TPU 處理器(即張量處理單元)。

　　劃時(shí)代的 TPU v4，碾壓 v3

　　TPU v4 是谷歌在去年的I/O大會(huì )上推出的芯片。

　　在當時(shí)的開(kāi)發(fā)者大會(huì )上，谷歌 CEO Sundar Pichai 花了 1 分 42 秒的時(shí)間介紹了這款芯片。

　　TPU v4 是谷歌的第四代定制 AI 芯片，其算力是上一版本 v3 的兩倍。性能相比前一代也提升了十倍多。

　　可以說(shuō)，TPU v4 芯片給谷歌谷歌云平臺補上了十分關(guān)鍵的一環(huán)。機器學(xué)習的訓練速度得以顯著(zhù)提升。

　　量化來(lái)看，4096 個(gè) v4 TPU，即一個(gè) pod 的芯片，就可以提供超過(guò)一個(gè) exaflop(百億億浮點(diǎn)運算)的 AI 計算能力。

　　可能上述數據還不夠直觀(guān)。對比來(lái)看，一個(gè) TPU pod 的計算能力如果達到了每秒百億億次浮點(diǎn)計算的級別，相當于一千萬(wàn)臺筆記本電腦之和。

　　以前要想獲得 1 個(gè) exaflop(每秒 10 的 18 次方浮點(diǎn)運算)的算力，通常需要建立一個(gè)定制的超級計算機。

　　TPU 是谷歌的第一批定制芯片之一，當包括微軟在內的其他公司決定為其機器學(xué)習服務(wù)采用更靈活的 FPGA 時(shí)，谷歌很早就在這些定制芯片上下了賭注。

　　谷歌早已部署了許多這樣的計算機，在他們的數據中心有幾十個(gè) TPU v4 pods。

　　此外，最重要的是，谷歌這些數據中心將以 90% 或接近 90% 的無(wú)碳能源運行。

　　看來(lái)，TPU v4 不光性能強大，還環(huán)保。

　　Google Cloud 最新預覽版!

　　在最近的谷歌I/O開(kāi)發(fā)者大會(huì )上發(fā)布的 Google Cloud 最新機器學(xué)習集群的預覽版可謂是會(huì )上的一大亮點(diǎn)。

　　谷歌表示，「客戶(hù)對機器學(xué)習的容量、性能和規模的需求一直在快速增長(cháng)。為了支持 AI 的下一代基礎性進(jìn)步，我們推出了谷歌云機器學(xué)習集群。其中就包括預覽版的 Cloud TPU v4 Pod?！?/p>

　　谷歌毫不客氣的表示，「這就是世界上最快、最高效和最可持續的機器學(xué)習基礎設施中心?！?/p>

　　在 Cloud TPU v4 Pods 的支持下，研究和開(kāi)發(fā)人員能夠訓練日益復雜的模型，來(lái)支持諸多算法系統。

　　比如，NLP(大規模自然語(yǔ)言處理)、推薦系統和計算機視覺(jué)算法等等。

　　谷歌表示，在算力最高可達 9 exaflops 的峰值聚合性能下，Cloud TPU v4 Pods 集群在算力方面是全世界最大的公開(kāi)可用的機器學(xué)習中心。

　　而且別忘了上面說(shuō)過(guò)的，不光算力強，還環(huán)保。

　　谷歌數據中心的 Matt Eastwood 表示，「我們最近對 2000 名 IT 從業(yè)者進(jìn)行了調查。我們發(fā)現，基礎設施算力不足往往是 AI 項目失敗的根本原因?！?/p>

　　「這也正是我們要推出 Cloud TPU v4 Pods 的原因。再加上我們能夠做到 90% 的操作由無(wú)碳能源提供動(dòng)力，說(shuō)明我們不光在拔高算力水平，還同時(shí)關(guān)注可持續性?！?/p>

　　這其實(shí)很好理解。哪怕算力再強，如果耗能過(guò)大，也不會(huì )是長(cháng)久之計。

　　既然聊到了可持續性，就再多說(shuō)點(diǎn)有關(guān)該集群對能源利用的高效性。

　　除了上述提到的清潔能源供應外，谷歌數據中心的電源使用效率(PUE)等級為 1.10。

　　而且，TPU v4 芯片每瓦特最大功率的峰值 Flop 還是上一代的 3 倍。

　　在去年推出這款芯片的時(shí)候，谷歌就承諾會(huì )在去年年底前推廣。當時(shí)，谷歌就給了一些 AI 巨頭使用許可，包括 Cohere、LG AI 研究中心、Meta、Salesforce 等等。

　　谷歌表示，用戶(hù)很喜歡新款芯片的性能和可擴展性，TPU v4 的快速互連和優(yōu)化的軟件堆棧滿(mǎn)足了他們的需求?？蛻?hù)可以通過(guò)該芯片優(yōu)良的架構構建各自的交互發(fā)展環(huán)境。

　　并且，因為 TPU v4 的靈活性，這款芯片也能完美的契合到客戶(hù)使用的框架中，包括 JAX、Pytorch、TensorFlow 等等。

　　這些特點(diǎn)讓研究人員能不斷推動(dòng) AI 的發(fā)展，訓練大規模的 SOTA 機器學(xué)習模型。

　　幾年前谷歌還成立了 TRC，即 TPU Research Cloud 項目，給機器學(xué)習的從業(yè)人員提供了極強的算力支持。

　　憑借谷歌推出的芯片架構，開(kāi)發(fā)人員得以實(shí)現自己的各種奇思妙想。

　　比方說(shuō)，有人用 AI 寫(xiě)波斯語(yǔ)詩(shī)集，有人利用計算機視覺(jué)和行為遺傳學(xué)來(lái)研究睡眠和運動(dòng)引起的疲勞的區別等等。

　　谷歌副總裁、人工智能研究中心的 Jeff Dean 表示，「Cloud TPU v4 是一個(gè)里程碑式的產(chǎn)品。我們相信，有了它，未來(lái)我們可以和全球的機器學(xué)習開(kāi)發(fā)人員開(kāi)展更多合作，讓 AI 造福整個(gè)世界?！?br /> 　?。?a href="http://www.reeanfmc.com/wechat/">邯鄲小程序開(kāi)發(fā)）