11 月 1 日，騰訊 AI Lab 在南京舉辦的騰訊全球合作伙伴論壇上宣布正式開(kāi)源“PocketFlow”項目， 該項目是一個(gè)自動(dòng)化深度學(xué)習模型壓縮與加速框架，整合多種模型壓縮與加速算法并利用強化學(xué)習自動(dòng)搜索合適壓縮參數，解決傳統深度學(xué)習模型由于模型體積太大，計算資源消耗高而難以在移動(dòng)設備上部署的痛點(diǎn)，同時(shí)極大程度的降低了模型壓縮的技術(shù)門(mén)檻，賦能移動(dòng)端 AI 應用開(kāi)發(fā)。

　　這是一款適用于各個(gè)專(zhuān)業(yè)能力層面開(kāi)發(fā)者的模型壓縮框架，基于 Tensorflow 開(kāi)發(fā)，集成了當前主流與 AI Lab 自研的多個(gè)模型壓縮與訓練算法，并采用超參數優(yōu)化組件實(shí)現了全程自動(dòng)化托管式的模型壓縮。開(kāi)發(fā)者無(wú)需了解具體模型壓縮算法細節，即可快速地將 AI 技術(shù)部署到移動(dòng)端產(chǎn)品上，實(shí)現用戶(hù)數據的本地高效處理。

　　目前該框架在騰訊內部已對多個(gè)移動(dòng)端 AI 應用模型進(jìn)行壓縮和加速，并取得了令人滿(mǎn)意的效果， 對應用整體的上線(xiàn)效果起到了非常重要的作用。

　　隨著(zhù)移動(dòng)互聯(lián)網(wǎng)的普及和 AI 算法的愈加成熟，移動(dòng)端 AI 的需求和應用場(chǎng)景也愈加豐富，如智能美顏，瘦身，手勢識別，場(chǎng)景識別，游戲 AI，視頻檢測，車(chē)載語(yǔ)音交互，智能家居，實(shí)時(shí)翻譯等。將模型部署在移動(dòng)端代替服務(wù)器端可以實(shí)現實(shí)時(shí)交互，在無(wú)網(wǎng)絡(luò )環(huán)境的情況下也可正常運行，并且保護了數據的隱私和安全性，降低運維成本。而在移動(dòng)端 AI 模型部署方面，小而快變成了模型推理最渴望的要求之一，因為小的模型可以使得整個(gè)應用的存儲空間減小;而提高模型的推理速度則可以使得整個(gè)模型應用場(chǎng)景的反應速度加快，同時(shí)也可以在低配設備上取得很好的效果。因此，模型的推理速度逐漸已經(jīng)成為了各大 AI 應用市場(chǎng)競爭力上最重要的評測指標之一。然而往往訓練出來(lái)的模型推理速度或者尺寸大小不能滿(mǎn)足需求，大部分開(kāi)發(fā)者對極致的模型壓縮和加速方法又感到困惑。

　　PocketFlow 的出現就是為了解決這個(gè)令眾多 AI 應用開(kāi)發(fā)者頭痛的問(wèn)題。

　　框架開(kāi)源內容：

　　PocketFlow 框架本次開(kāi)源內容主要由兩部分組件構成，分別是模型壓縮/加速算法部分和超參數優(yōu)化部分，具體結構如下圖所示：

　　模型壓縮/加速算法部分包括多種深度學(xué)習模型壓縮和加速算法：

　　通道剪枝(channel pruning)： 在 CNN 網(wǎng)絡(luò )中，通過(guò)對特征圖中的通道維度進(jìn)行剪枝，可以同時(shí)降低模型大小和計算復雜度，并且壓縮后的模型可以直接基于現有的深度學(xué)習框架進(jìn)行部署。PocketFlow 還支持通道剪枝的分組 finetune/retrain 功能，通過(guò)實(shí)驗我們發(fā)現此方法可以使原本壓縮后的模型精度有明顯的提升。

　　權重稀疏化(weight sparsification)：通過(guò)對網(wǎng)絡(luò )權重引入稀疏性約束，可以大幅度降低網(wǎng)絡(luò )權重中的非零元素個(gè)數;壓縮后模型的網(wǎng)絡(luò )權重可以以稀疏矩陣的形式進(jìn)行存儲和傳輸，從而實(shí)現模型壓縮。

　　權重量化(weight quantization)：通過(guò)對網(wǎng)絡(luò )權重引入量化約束，可以降低用于表示每個(gè)網(wǎng)絡(luò )權重所需的比特數;我們同時(shí)提供了對于均勻和非均勻兩大類(lèi)量化算法的支持，可以充分利用 ARM 和 FPGA 等設備的硬件優(yōu)化，以提升移動(dòng)端的計算效率，并為未來(lái)的神經(jīng)網(wǎng)絡(luò )芯片設計提供軟件支持。

　　網(wǎng)絡(luò )蒸餾(network distillation)：對于上述各種模型壓縮組件，通過(guò)將未壓縮的原始模型的輸出作為額外的監督信息，指導壓縮后模型的訓練，在壓縮/加速倍數不變的前提下均可以獲得 0.5%-2.0% 不等的精度提升。

　　多 GPU 訓練(multi-GPU training)：深度學(xué)習模型訓練過(guò)程對計算資源要求較高，單個(gè) GPU 難以在短時(shí)間內完成模型訓練，因此我們提供了對于多機多卡分布式訓練的全面支持，以加快使用者的開(kāi)發(fā)流程。無(wú)論是基于 ImageNet 數據的 Resnet-50 圖像分類(lèi)模型還是基于 WMT14 數據的 Transformer 機器翻譯模型，均可以在一個(gè)小時(shí)內訓練完畢。

　　超參數優(yōu)化(hyper-parameter optimization)部分可以通過(guò)強化學(xué)習或者 AutoML，在整體壓縮率一定的情況下，搜索出每一層最合適的壓縮比例使得整體的精度最高。多數開(kāi)發(fā)者對模型壓縮算法往往了解較少，調節壓縮算法參數需要長(cháng)期的學(xué)習和實(shí)驗才能有所經(jīng)驗， 但超參數取值對最終結果往往有著(zhù)巨大的影。PocketFlow 的超參數優(yōu)化部分正是幫助開(kāi)發(fā)者解決了這一大痛點(diǎn)，并且通過(guò)實(shí)驗我們發(fā)現，其優(yōu)化結果也要好于專(zhuān)業(yè)的模型壓縮工程師手工調參的結果。其結構如下圖：

　　PocketFlow 性能

　　通過(guò)引入超參數優(yōu)化組件，不僅避免了高門(mén)檻、繁瑣的人工調參工作，同時(shí)也使得 PocketFlow 在各個(gè)壓縮算法上全面超過(guò)了人工調參的效果。以圖像分類(lèi)任務(wù)為例，在 CIFAR-10 和 ImageNet 等數據集上，PocketFlow 對 ResNet 和 MobileNet 等多種 CNN 網(wǎng)絡(luò )結構進(jìn)行有效的模型壓縮與加速。

　　在 CIFAR-10 數據集上，PocketFlow 以 ResNet-56 作為基準模型進(jìn)行通道剪枝，并加入了超參數優(yōu)化和網(wǎng)絡(luò )蒸餾等訓練策略，實(shí)現了 2.5 倍加速下分類(lèi)精度損失 0.4%，3.3 倍加速下精度損失 0.7%，且顯著(zhù)優(yōu)于未壓縮的 ResNet-44 模型; 在 ImageNet 數據集上，PocketFlow 可以對原本已經(jīng)十分精簡(jiǎn)的 MobileNet 模型繼續進(jìn)行權重稀疏化，以更小的模型尺寸取得相似的分類(lèi)精度;與 Inception-V1、ResNet-18 等模型相比，模型大小僅為后者的約 20~40%，但分類(lèi)精度基本一致(甚至更高)。

　　相比于費時(shí)費力的人工調參，PocketFlow 框架中的 AutoML 自動(dòng)超參數優(yōu)化組件僅需 10 余次迭代就能達到與人工調參類(lèi)似的性能，在經(jīng)過(guò) 100 次迭代后搜索得到的超參數組合可以降低約 0.6% 的精度損失;通過(guò)使用超參數優(yōu)化組件自動(dòng)地確定網(wǎng)絡(luò )中各層權重的量化比特數，PocketFlow 在對用于 ImageNet 圖像分類(lèi)任務(wù)的 MobileNet-v1 模型進(jìn)行壓縮時(shí)，取得了一致性的性能提升;用 PocketFlow 平均量化比特數為 8 時(shí)，準確率不降反升，從量化前的 70.89% 提升到量化后的 71.29%。

　　PocketFlow 落地助力內部移動(dòng)應用 AI 落地

　　在騰訊公司內部，PocketFlow 框架正在為多項移動(dòng)端業(yè)務(wù)提供模型壓縮與加速的技術(shù)支持。例如，在手機拍照 APP 中，人臉關(guān)鍵點(diǎn)定位模型是一個(gè)常用的預處理模塊，通過(guò)對臉部的百余個(gè)特征點(diǎn)(如眼角、鼻尖等)進(jìn)行識別與定位，可以為后續的人臉識別、智能美顏等多個(gè)應用提供必要的特征數據。我們基于 PocketFlow 框架，對人臉關(guān)鍵點(diǎn)定位模型進(jìn)行壓縮，在保持定位精度不變的同時(shí)，大幅度地降低了計算開(kāi)銷(xiāo)，在本身已經(jīng)十分精簡(jiǎn)的網(wǎng)絡(luò )上取得了 1.3 ~ 2 倍不等的加速效果，壓縮后的模型已經(jīng)在實(shí)際產(chǎn)品中得到部署。

　　在人體體態(tài)識別項目中，PocketFlow 更是在滿(mǎn)足上線(xiàn)精度的要求下，使得模型推理速度有 3 倍以上的加速， 為項目的移動(dòng)端落地起到了決定性的作用。
　?。?a href="http://www.reeanfmc.com">邯鄲建站）