拆解 AI TOPS：人工智慧晶片關鍵指標與 TOPS 晶片比較表

(圖說：美味的背後有多少辛苦的前置準備？ 拍攝於 Le Bouchon Ogasawara 餐廳，渋谷，東京。圖片來源：Ernest。)

摘要 tl;dr

• TOPS (Trillions of Operations Per Second) 是衡量 AI 晶片和 NPU 晶片運算能力的關鍵指標，反映處理器每秒可執行的萬億次運算數。
• 用「煎蛋」類比舉例直觀理解 TOPS：普通 CPU 如同時只能煎一個蛋的廚師，而高 TOPS 效能的 AI 晶片則是能同時煎超級無敵多個蛋的超級廚師。
• TOPS 是比較 AI 晶片性能的重要參考，但評估 AI 硬體時還需考慮能源效率、記憶體頻寬等因素，且 TOPS 值通常反映理論峰值，實際性能還需要綜合其他指標數據作為適合應用場景的判斷。

什麼是 TOPS (簡單生活版)

TOPS，全稱為 Trillions Operations Per Second (每秒兆次運算、每秒萬億次運算)，是衡量人工智慧 (AI) 晶片或神經網路處理器 (NPU) 計算能力的重要指標。TOPS 用來表示一個處理器最高每秒能夠執行的運算數量，以萬億次來計算。未來如果運算能力繼續提升，則開頭的 T 將會換成其他更大的計量單位。

我們可以用日常生活中的例子來解釋，以更直觀地理解 TOPS

想像 AI 運算是煎蛋過程，數據是那個被加熱的蛋。

一個普通的廚師 (普通處理器、CPU) 可能一次只能煎一個蛋，而一個超級廚師 (AI 晶片) 可能同時煎 1 兆個蛋！TOPS 就像是衡量這個「超級廚師」能力的指標，告訴我們它每秒能「煎」多少個「數據蛋」。

TOPS 是理解和比較 AI 晶片性能的重要指標之一，但不是唯一。

在評估 AI 硬體或 AI 手機、AI 電腦時，請記得同時考慮其他因素，如能源使用效率、記憶體頻寬、軟體生態系統等。使用 TOPS 可以幫助我們比較不同 AI 晶片的計算能力，為選擇適合特定應用的 AI 硬體設備提供一個參考點。

什麼是 TOPS (硬要深入版)

在深入理解 TOPS 之前，我們需要先明白什麼是「operation」 (運算) ：

在數位電路和計算機科學中，一個「operation」通常指的是一個基本的數學或邏輯運算。對於 AI 晶片或 NPU 來說，這些運算主要包括：

1. 浮點運算：如加法、減法、乘法和除法。
2. 矩陣運算：大規模的矩陣乘法是深度學習中最常見的運算之一。
3. 向量運算：包括內積 (數量積)、外積 (向量積) 等。
4. 激勵函數：如 ReLU、Sigmoid、Tanh 等。
5. 卷積運算：在卷積神經網路 (CNN) 中廣泛使用。

這些運算通常以 FP32 (32 位元浮點數) 或 FP16 (16 位元浮點數) 格式進行。有些 AI 晶片還支持 INT8 (8 位元整數) 等低精度格式，以提高效能和降低能耗，通常用於推理。

TOPS 的計算方式可以簡化為：

TOPS = (每個時鐘周期的運算數) × (時鐘頻率) / 1 兆

例如，如果一個 AI 晶片在每個時鐘周期可以執行 1000 個運算，時鐘頻率為 1GHz，那麼它的理論峰值性能就是 1 TOPS。

1000 運算/周期×1GHz = 1000×10^9 運算/秒 = 10^12 運算/秒 = 1 TOPS

理解 TOPS 時請注意以下幾點：

1. TOPS 通常表示理論峰值性能，實際性能可能會因為記憶體頻寬、晶片架構等因素而有所不同。
2. 不同類型的運算 (如 FP32、FP16、INT8) 的 TOPS 值可能會不同。
3. TOPS 值高不一定意味著在所有 AI 任務上都有更好的表現，因為實際性能還取決於軟體優化、特定任務的特性等。

TOPS 比較表

(主要可看「INT8 Ops」欄位。可以左右滑動看到更多比較數據)

參考資料 Reference

• A guide to AI TOPS and NPU performance metrics | Qualcomm
• Embedded - TOPS AI vs. Real World Performance
• Neural Network Processors and DSPs for AI | Synopsys
• TOPS, Memory, Throughput And Inference Efficiency
• AI-Benchmark