ITU于2020年8月正式發(fā)布AI芯片基準(zhǔn)測(cè)試標(biāo)準(zhǔn)：ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark（深度學(xué)習(xí)處理器基準(zhǔn)測(cè)試評(píng)測(cè)指標(biāo)與方法）。

　　評(píng)測(cè)標(biāo)準(zhǔn)是AI芯片產(chǎn)業(yè)的基礎(chǔ)和標(biāo)尺

　　近年來，AI芯片發(fā)展呈現(xiàn)出百花齊放的態(tài)勢(shì)，然而在產(chǎn)業(yè)成熟度、落地應(yīng)用等方面仍存在諸多問題。其中，AI芯片的選型就是當(dāng)前人工智能企業(yè)面臨的一大難題，建立AI芯片測(cè)評(píng)標(biāo)準(zhǔn)已成為助力人工智能產(chǎn)業(yè)健康發(fā)展的一大訴求leyu·樂魚?；鶞?zhǔn)測(cè)試是一種常用的性能指標(biāo)測(cè)試方式，在計(jì)算架構(gòu)演進(jìn)中扮演著非常重要的角色，清晰的基準(zhǔn)測(cè)試指標(biāo)，不僅可以幫助技術(shù)供給企業(yè)快速進(jìn)步，還可為需求方的選型提供參考。

　　目前，AI芯片的評(píng)測(cè)，國際上主流的有MLPerf，蘇黎世理工的AI benchmark，國內(nèi)有中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟（以下簡(jiǎn)稱“AIIA”或“聯(lián)盟”）的 AIIA DNN benchmark，小米的Mobile AI bench, 中科院計(jì)算所智能計(jì)算機(jī)研究中心的NPUBench等。這些評(píng)測(cè)多數(shù)屬于基準(zhǔn)測(cè)試的范疇，由于這些基準(zhǔn)測(cè)試的出發(fā)點(diǎn)不同，設(shè)計(jì)的思路，基準(zhǔn)測(cè)試的內(nèi)容和評(píng)估指標(biāo)也都不盡相同，業(yè)界尚未有公認(rèn)的基準(zhǔn)測(cè)試標(biāo)準(zhǔn)。權(quán)威基準(zhǔn)測(cè)試標(biāo)準(zhǔn)的缺失，一定程度上導(dǎo)致了人工智能應(yīng)用企業(yè)、集成商、開發(fā)者無法準(zhǔn)確評(píng)價(jià)芯片在同行業(yè)的技術(shù)水平，也無法體現(xiàn)國際市場(chǎng)中的地位。

　　首個(gè)AI芯片基準(zhǔn)測(cè)試國際標(biāo)準(zhǔn)

　　ITU發(fā)布的首個(gè)AI基準(zhǔn)測(cè)試評(píng)測(cè)標(biāo)準(zhǔn)，ITU-T F.748.11 “Metrics and evaluation methods for a deep neural network processor benchmark（深度學(xué)習(xí)處理器基準(zhǔn)測(cè)試評(píng)測(cè)指標(biāo)與方法），提出了AI處理器/加速器在完成以深度學(xué)習(xí)為代表的人工智能任務(wù)時(shí)的基準(zhǔn)測(cè)試框架，涵蓋訓(xùn)練任務(wù)、推理任務(wù)的基準(zhǔn)測(cè)試評(píng)估指標(biāo)（Metrics），具體的評(píng)測(cè)方法和推薦評(píng)測(cè)場(chǎng)景下的工作負(fù)載（Workload）。基準(zhǔn)測(cè)試指標(biāo)包括時(shí)間、吞吐、能效比和準(zhǔn)確率等，評(píng)測(cè)場(chǎng)景以視覺、語音、推薦三大類場(chǎng)景為主，具體包括圖像分類、目標(biāo)檢測(cè)、語音識(shí)別、機(jī)器翻譯等8大類AI應(yīng)用。

　　該項(xiàng)國際標(biāo)準(zhǔn)由中國信息通信研究院牽頭，于2019年7月在國際電信聯(lián)盟第十六研究組（簡(jiǎn)稱ITU-T SG16）Q5 報(bào)告人會(huì)議上提出立項(xiàng)，并擔(dān)任編輯人（Editor），歷時(shí)近1年，經(jīng)過多輪討論修訂，于2020年6月22日-7月3日，舉行的ITU-T SG16全體會(huì)議提交報(bào)批并通過全會(huì)審議進(jìn)入公示階段，于2020年8月正式發(fā)布leyucom樂魚官網(wǎng)。

　　其評(píng)測(cè)方法、評(píng)測(cè)指標(biāo)及場(chǎng)景參考并采納了聯(lián)盟評(píng)估規(guī)范、AIIA DNN benchmark項(xiàng)目相關(guān)研究和中國通信化標(biāo)準(zhǔn)協(xié)會(huì)行業(yè)標(biāo)準(zhǔn)的相關(guān)內(nèi)容，參與單位包括華為、騰訊、Arm中國、寒武紀(jì)、阿里巴巴、百度、Intel、賽靈思、Imagination、紫光展銳、鯤云科技、地平線、南京新一代、燧原科技、西安交通大學(xué)、清華大學(xué)等20余家企業(yè)、高校及科研機(jī)構(gòu)。

　　AI 芯片基準(zhǔn)測(cè)試國際標(biāo)準(zhǔn)的正式發(fā)布，標(biāo)志著我國在AI芯片領(lǐng)域評(píng)測(cè)能力得到了國際認(rèn)可，也是我國AI芯片科研人員對(duì)國際標(biāo)準(zhǔn)化研究的重要貢獻(xiàn)，將為我國AI芯片技術(shù)、產(chǎn)品和評(píng)測(cè)走出國門開辟了道路。

　　關(guān)于ITU-T SG16

　　ITU（國際電信聯(lián)盟）為三大國際標(biāo)準(zhǔn)化組織之一，ITU-T即國際電信聯(lián)盟電信標(biāo)準(zhǔn)分局 (ITU-T for ITU Telecommunication Standardization Sector), 它是ITU管理下的專門制定電信標(biāo)準(zhǔn)的分支機(jī)構(gòu)。ITU-T SG16是國際電信聯(lián)盟標(biāo)準(zhǔn)化局非?；钴S的研究組，主要研究領(lǐng)域?yàn)槎嗝襟w與e-Services。目前，SG16的研究范圍覆蓋了視頻與音頻處理與壓縮編碼、視頻監(jiān)控、內(nèi)容分發(fā)、大數(shù)據(jù)、區(qū)塊鏈、人工智能等眾多熱點(diǎn)標(biāo)準(zhǔn)化研究方向。

　　關(guān)于AIIA DNN benchmark

　　2017年起，中國信息通信研究院聯(lián)合20余家國內(nèi)外企業(yè)、高校及科研機(jī)構(gòu)，在聯(lián)盟下發(fā)起AI芯片基準(zhǔn)測(cè)試評(píng)估項(xiàng)目AIIA DNN benchmark，目標(biāo)是圍繞人工智能芯片研究制定客觀、可信及可復(fù)現(xiàn)的評(píng)估指標(biāo)，為產(chǎn)業(yè)界提供專業(yè)評(píng)估評(píng)測(cè)服務(wù)。目前AIIA DNN benchmark已初步形成端+云全方位基準(zhǔn)測(cè)試方案，來自華為、Arm中國、高通、賽靈思、Imagination、啟英泰倫、鯤云科技、上海海思等企業(yè)的AI芯片參與了評(píng)估評(píng)測(cè)，項(xiàng)目受到了國內(nèi)外產(chǎn)業(yè)界的廣泛認(rèn)可。

　?。╤ttp://www.aiiaorg.cn/benchmark）

　　聯(lián)系方式

　　中國信通院 云計(jì)算與大數(shù)據(jù)研究所

　　張蔚敏

　　郵箱：zhangweimin@caict.ac.cn

　　電話：010-62302490

　　張哲煜

　　郵箱：zhangzheyu@caict.ac.cn

　　電話：010-62302490