脈絡拆解: Computex 2024 主題演講 - NVIDIA 執行長黃仁勳

NVIDIA 執行長 黃仁勳 在這場 Computex 主題演講中，著重介紹了 NVIDIA 在加速運算、人工智慧 (AI) 領域的最新進展，以及它們對各行業產生的深遠影響。他強調生成式 AI 所需要的底層架構，將要且需要徹底改革整個運算產業，且 NVIDIA 已經累積了一定的安裝基數可以讓改變發生。

演講內容突顯了 NVIDIA 在這場科技變革中扮演關鍵角色，他們累積了許許多多劃時代的科技，如擬真世界 Omniverse、CUDA 加速運算，以及 NVIDIA 推理微服務 (NIMs)。這使得各領域的研究人員無須煩心底層技術，更能專心於打造各領域模型、應用當中。黃仁勳描繪了一個人工智慧將無所不在的未來，從客戶服務代理人、digital humans，到理解物理定律的 digital twins、robotics 多模態模型，也提到了 NVIDIA GPU 產品路線圖，預告未來將迎來更大、更節能的 GPU 產品。

摘要 tl;dr

• NVIDIA 開發出一種對比於特斯拉交流發電機的「AI 發電機」，能夠產生 tokens (文字、圖像、視訊等)，為價值數萬億美元的產業服務。
• NVIDIA CUDA 技術可加速各種任務，提供超高效能提升，同時將功耗和成本降低，有效解決運算通貨膨脹問題。
• NVIDIA Omniverse 的擬真世界，利用加速運算和 AI，而 NVIDIA 已經擁有 350 種特定領域程式庫，讓他們能夠支援各種產業與各種市場。
• NIMs 是一種新型軟體封裝方式，NIMs 可以建立並組織 AI 團隊來處理複雜任務，除了可以在雲端執行，也可以在個人電腦上執行。
• 未來的 AI 模型需要理解物理定律，將需要更大量的運算，更多更大的 GPU。NVIDIA 正在提高可靠性、並繼續提升資料壓縮與解壓縮效率、以及資料傳輸效率。

Ernest Notes:

即視感回憶，當年「Apple Mac vs Windows + Intel」、「Apple iOS vs Android」，歷史經驗推測，市場上多半會形成兩強或三強陣營局面，其中一路強項於高度整合、其他（短期內）無法高度整合者將提供有限制條件的彈性方案。

歷經約莫十次迭代週期後，各大陣營都已進到各種客戶、產業裡頭，所能提供的服務、功能也逐步趨同（往本質需求靠攏），同時也累積出新的問題，讓下一個局面開局。

之前是 Apple 硬體先發、Apple 軟體後至，從套裝軟體往 Apps、SaaS 移動，現在是 NVIDIA 軟硬體整合，未來相信也會與基礎設施打掉重練有關。可持續觀察哪裡有疊床架屋、哪裡有營運無效率，哪裡就有機會。

完整筆記

Opening

Video: Opening

COMPUTEX 得益於來自全球的 NVIDIA 員工合作。

• [音樂] [音樂] 哦 [音樂] [音樂] [音樂] w [音樂]
• [音樂] [音樂] [音樂] [音樂] 哦 哦 [音樂] [音樂]
• [掌聲] [音樂] w o [掌聲] [音樂] [音樂] [音樂] ¹

帶你來看看幕後的樣子…

• 好的，我們開始吧。
• 拍好喔、拍好喔！
• 好的，你們準備好了嗎？
• 是的，是的。
• 每個人都認為我們只做 GPU。
• 但我們遠不止這些。
• 整個主題演講都將圍繞這個展開。
• 好的，我們將從 主要使用場景案例 開始，然後看看實際應用。
• 這是一個引人入勝的故事流程。
• 我對此非常緊張。
• 只需要找到節奏。
• 我們還有兩週的時間，你們可以真正完成它，我們應該嘗試一下。
• 是的，這是計劃。
• 我們需要每天跟進動畫的進度。
• 可以靜音嗎？
• 因為我聽到自己的聲音，抱歉。
• 所有影片的發布日期是什麼時候？
• 它需要在 28 號之前完成。
• 你都記住了嗎？
• 祝大家旅途平安，非常期待見到大家。 (EVA AIR)
• 很快見到你們。
• 好的，再見。
• 我們基本上是以世界能吸收技術的速度在前進，所以我們必須從自己中跳躍出來 [音樂]。
• 現在，你只需要找到一種方法讓它突出，你知道我在 [音樂] 說什麼。
• 你知道我在說什麼。
• 你想要的就是那種感覺 [音樂]。
• 好的，謝謝你，我遲到了，
• 讓我們走吧。

NVIDIA 創辦人兼執行長黃仁勳

• 請歡迎，歡迎 NVIDIA 的創始人和 CEO Jensen [音樂]。
• 我非常高興能回來。
• 感謝台灣大學讓我們使用台大體育場。
• 上次我來這裡時，我從 [掌聲] 台大獲得了一個學位，我發表了 “奔跑吧！別用走的！ (Run don't walk)” 的演講。
• 今天我們有很多內容要講。
• 所以我不能用走的，我必須用奔跑的。
• 我們有很多內容要講。
• 我有很多事情要告訴你們。
• 我非常高興能在台灣。
• 台灣是我們珍貴合作夥伴的家。
• 事實上，這裡是一切 NVIDIA 工作開始的地方。
• 我們的合作夥伴和我們將其帶向世界。
• 台灣和我們的合作夥伴創造了世界的 AI 基礎設施。
• 今天我想和你們談幾件事。
• 一，正在發生什麼，以及我們之所以做的意義。
• 什麼是生成式 AI？
• 它對 我們產業 以及 每個產業 的影響是什麼。
• 一個我們將如何前進並抓住這個令人難以置信的機會的藍圖，以及接下來會發生什麼。
• 生成式 AI 及其影響，我們的藍圖以及接下來會發生什麼。
• 這些都是非常非常令人興奮的時刻。
• 我們的電腦產業重新開始。
• 一個你們所鍛造的產業。
• 一個你們所建立的產業，現在你們準備好了迎接下一個重大旅程。
• 但在我們開始之前，NVIDIA 處於 電腦繪圖 (computer graphics)、模擬 (simulation) 和 人工智慧 (artificial intelligence) 的交叉點。
• 這是我們的靈魂。
• 今天我展示的所有內容。
• 都是模擬。
• 它是數學，它是科學，它是電腦科學。
• 這是驚人的電腦架構。
• 沒有一個是動畫，全部是自製的。
• 這是 NVIDIA 的靈魂，我們把它全部放入這個名為 Omniverse 的虛擬世界中。
• 請享受 [音樂] [音樂] [音樂]。

1️⃣ Omniverse

Video: Omniverse

• [音樂] [音樂] [音樂] [音樂] [音樂] [掌聲]。 (NVIDIA ACE NIM ²) (NVIDIA physX ³) (NVIDIA Warp ⁴) (Embergen, NeuralVDB ⁵) (NeuralVDB, SideFX Houdini ⁶) (Ansys, Omniverse Cloud APIs ⁷) (Wistron, OpenFOAM Modulus, Omniverse Cloud APIs ⁸) *(Earth-2 ⁹) (Build a SimReady factory) (BMW Group) (Siemens Digital Industries) (BMW Group) (Mercedes Benz) (BMW Group) (HD Hyundai, Siemens Teamcenter X with Omniverse Cloud APIs) (Wistron) (NVIDIA Research ¹⁰) (Project GROOT ¹¹)

新的運算時代正在開始

• 當你懷疑時 [掌聲] 我想用中文和你們說話，但我有很多話要說。
• 我必須努力思考才能說中文，所以我必須用英語和你們說話。
• 在你們看到的所有事物的基礎上有兩項基本技術：加速運算 (accelerated computing) 和 人工智慧 (artificial intelligence)。在 Omniverse 裡頭執行。
• 這兩項技術，這兩種運算的基本力量，將重塑電腦產業。
• 電腦產業已經有 60 年的歷史了。 (Computer industry history (last 60 years))
• 在很多方面，我們今天所做的一切都是在我出生後那一年 (1964) 發明的。
• 1964 年，IBM System 360 引入了中央處理單元、通用運算、藉由作業系統實現的硬體和軟體分離、多工、IO 子系統、DMA ¹² 等各種今天我們使用的技術：架構兼容性、向後兼容性、家族兼容性，1964 年大致上描述了我們今天所知道的運算。
• 當然，PC 革命使運算民主化，並將其帶入每個人的手中和家庭中。
• 然後在 2007 年，iPhone 推出了。
• 移動運算並將電腦放在我們的口袋裡。
• 從那時起，一切都透過移動雲端連接並始終保持連線。
• 在過去的 60 年裡，我們看到了幾次，不多，實際上不多，兩到三次重大的技術變革，兩到三次板塊移動，一切都改變了。
• 我們即將再次看到這種情況。

加速每個應用程式

• 正在發生兩件基本的事情。
• 第一是處理器，電腦產業執行的引擎，中央處理單元 (CPU)，其性能擴展已經大大減緩。
• 然而，我們需要執行的運算量仍在迅速倍增，呈指數級增長。 (CPU scaling slows… and compute demand grows exponentially.)
• 如果處理需求，如果我們需要處理的資料繼續呈指數級增長但性能沒有跟上，我們將經歷 運算通膨 (computation inflation)。 (GPU-accelerated computing, 2006, CUDA)
• 事實上，我們現在就在看到這一點。
• 全世界使用的資料中心的能耗正在大幅增長。
• 運算成本在上升。
• 我們正在看到運算膨脹。
• 這當然不能。
• 繼續。
• 資料將繼續呈指數級增長，而 CPU 性能擴展將永遠不會回來。
• 有一個更好的方法。
• 近二十年來，我們一直在研究加速運算。
• CUDA 增強了 CPU，卸載並加速了專用處理器可以做得更好的工作。
• 事實上，性能非常出色，現在很明顯，隨著 CPU 擴展減緩並最終大大停止，我們應該加速一切。
• 我預測每個需要大量運算的應用程式都將被加速，並且在不久的將來每個資料中心都將被加速。
• 現在加速運算非常合理。
• 這是非常常識性的。
• 如果你看看一個應用程式，這裡的 100t 意思是 100 個時間單位。 (The more you buy… the more you save.)
• 可能是 100 秒，可能是 100 小時。
• 在許多情況下，如你所知，我們現在正在研究執行 100 天的人工智慧應用程式。
• 這裡的 1t 是需要順序處理的程式碼，其中單線程 CPU (single-threaded CPUs) 非常重要。
• 作業系統控制邏輯，確保每條指令依序執行是非常必要的。
• 然而，有很多演算法。
• 電腦繪圖是一種可以完全並行執行的應用。
• 電腦繪圖、影像處理、物理模擬、組合優化 (combinatorial optimizations)、圖形處理、資料庫處理，當然還有非常著名的線性代數用在深度學習。
• 有許多類型的演算法非常適合藉由並行處理進行加速。
• 因此，我們藉由將 GPU 添加到 CPU 發明了一種架構來做到這一點。
• 專用處理器可以將耗費大量時間的任務加速到非常快的程度。
• 由於這兩個處理器可以並肩工作，它們都是自主的，並且是分開且獨立的。
• 也就是說，我們可以將原本需要 100 個時間單位的任務加速到只需要一個時間單位。
• 加速效果非常驚人，幾乎讓人難以置信。
• 這聽起來幾乎令人難以置信，但今天我會為你們展示很多例子。
• 這個效益非常非凡，100 倍的加速，但你只需要增加約三倍的電力。你只需要增加約 50% 的成本。
• 我們在 PC 產業中一直這樣做。我們添加一個 $500 的 GPU，一個 GeForce GPU，到一台 $1,000 的 PC 上，性能會大幅提升。
• 我們在資料中心也是這樣做的，一個價值數十億美元的資料中心。我們增加價值 $500 百萬美元的 GPU，突然之間它就變成了一個 AI 工廠。
• 這種情況今天在全世界都在發生。
• 效益非常非凡。
• 你每花一美元就能獲得 60 倍的性能，100 倍的加速，你只需要增加三倍的電力，100 倍的加速，你只需要增加 1.5 倍的成本。
• 效益非常驚人。
• 效益以美元來衡量。
• 很明顯，許多公司在雲端處理資料時花費了數百萬美元。
• 如果這些處理被加速了，節省數百萬美元是可以預期的。
• 為什麼會這樣呢？
• 原因很明顯。
• 我們在通用運算中經歷了太久的運算通膨 (inflation)。
• 現在我們終於決定要加速了。
• 現在我們可以收回大量的隱藏損失。
• 許多隱藏的浪費 ¹³ 我們現在可以從系統中消除。
• 這將轉化為節省。
• 節省金錢，節省能源。
• 這就是為什麼你聽到我說買得越多，省得越多 (the more you buy the more you save)。
• 現在我已經向你展示了數學。
• 這不準確，但確實正確。
• 這被稱為 CEO 數學。CEO 數學是不準確的，但確實正確。
• 買得越多，省得越多。

CUDA 函式庫們

• 那麼，加速運算確實帶來了非凡的效果，但這並不容易。
• 為什麼節省這麼多錢，但人們卻沒有長時間這樣做？
• 原因是這非常困難。
• 沒有一種軟體可以直接透過 C 編譯器執行，然後該應用程式就會快 100 倍。
• 這甚至不合邏輯。
• 如果有可能做到這一點，他們就會改變 CPU 來實現。
• 事實上，你必須重寫軟體。這是困難的部分。
• 軟體必須完全重寫，以便你可以重新表達在 CPU 上編寫的演算法，使其可以加速、卸載、加速以及平行執行。
• 這個電腦科學的過程非常困難。
• 好吧，我們在過去 20 年中讓這個過程變得更容易。
• 當然，非常著名的 cuDNN，是處理神經網絡的深度學習函式庫。
• 我們有一個 AI 物理函式庫，你可以用來進行流體動力學和許多其他應用，其中神經網絡必須遵守物理定律。
• 我們有一個很棒的新函式庫叫做 Aerial，是一個 CUDA 加速的 5G 無線電，使我們可以軟體定義並加速電信網絡，像我們軟體定義世界的網絡，網際網路一樣。
• 因此，我們能夠加速這一點，使我們能夠將所有電信轉變為基本上與我們在雲端中擁有的相同類型的平台，一個運算平台。
• cuLITHO 是一個運算光刻平台，使我們能夠處理晶片製造中最運算密集的部分，製作掩模。
• TSMC 正在進行 cuLITHO 的生產，節省了大量能源和大量金錢。
• 但 TSMC 的目標是加速他們的堆疊，以便為算法的進一步發展和更深、更窄的電晶體的更多運算做好準備。
• Parabricks 是我們的基因測序函式庫。它是世界上最高生產率的基因測序函式庫。
• cuOPT 是一個令人難以置信的組合優化、路徑規劃優化、旅行推銷員問題的函式庫。極其複雜，人們認為，嗯，科學家們基本上認為你需要一台量子電腦來做這件事。
• 我們建立了一個在加速運算上執行的演算法，執行非常快。
• 23 項世界紀錄。我們今天擁有每一個主要的世界紀錄。
• cuQUANTUM 是一個量子電腦的模擬系統。
• 如果你想設計一台量子電腦，你需要一個模擬器來做到這一點。
• 如果你想設計量子演算法，你需要一個量子模擬器來做到這一點。
• 你會怎麼做？
• 你會如何設計這些量子電腦，建立這些量子演算法，如果量子電腦不存在？
• 好吧，你使用今天世界上最快的電腦，我們當然稱之為 NVIDIA CUDA。
• 在那上面，我們有一個模擬量子電腦的模擬器。
• 它被全世界數十萬名研究人員使用。
• 它整合到所有領先的量子運算框架中，並在世界各地的科學超級運算中心使用。
• cuDF 是一個令人難以置信的資料處理函式庫。
• 資料處理消耗了今天雲端開支的絕大部分。
• 所有這些都應該被加速。
• cuDF 加速了世界上主要的資料庫：Spark，你們公司中的許多人可能都在使用 Spark，Pandas，一個新的叫做 Polars ¹⁴ 的函式庫，當然還有 NetworkX，它是一個圖形處理，圖形處理資料庫函式庫。
• 這些只是一些例子。
• 還有更多。
• 每一個都必須被建立，這樣我們才能讓生態系統利用加速運算。
• 如果我們沒有打造 cuDNN，僅靠 CUDA 是不可能的，深度學習科學家們也無法使用。
• 因為 CUDA 和 TensorFlow、PyTorch 中使用的演算法，深度學習演算法，這之間的距離太遠了。
• 這幾乎就像試圖在沒有 OpenGL 的情況下進行電腦繪圖學一樣。
• 這幾乎就像在沒有 SQL 的情況下進行資料處理一樣。
• 這些特定領域的函式庫真的是我們公司的瑰寶。我們擁有 350 個這樣的函式庫。這些函式庫是我們所需要的，這使我們能夠開放許多市場。
• 我今天會向你展示一些其他例子。
• 就在上週，Google 宣佈他們將 cuDF 放在雲端並加速 Pandas ¹⁵。
• Pandas 是世界上最受歡迎的資料科學函式庫。在座的許多人可能已經在使用 Pandas。它被全世界 1000 萬資料科學家使用，每月下載 1.7 億次。它是資料科學家的 Excel，是資料科學家的試算表。
• 現在只需一鍵，你就可以在 Colab 中使用 Pandas，這是 Google 的雲端資料中心平台，由 cuDF 加速。
• 速度提升非常驚人。
• 我們來看看。
• [音樂] 這是一個很棒的演示，對嗎？
• 沒花多少時間[掌聲]。
• 當你加速資料處理如此之快，演示就不需要很長時間。

CUDA 良性循環

• 好吧，現在 CUDA 已經達到了人們所說的臨界點，但它甚至比這更好。
• CUDA 現在已經達到了一個良性循環。
• 如果你看看歷史和所有的運算架構，運算平台，這種情況很少發生。
• 就微處理器 CPU 而言，它已經存在了 60 年。60 年來它沒有改變。
• 在這個層面上，以這種方式進行運算，加速運算已經存在。
• 打造一個新平台是極其困難的，因為這是一個雞和蛋的問題。
• 如果沒有開發人員使用你的平台，那麼當然就不會有使用者。
• 但如果沒有使用者，就沒有安裝基礎。
• 如果沒有安裝基礎，開發人員就不感興趣。
• 開發人員希望為一個大的安裝基礎編寫軟體。
• 但一個大的安裝基礎需要大量的應用程式，這樣使用者就會建立這個安裝基礎。
• 這個雞和蛋的問題很少被打破，現在我們已經花了 20 年時間，一個領域函式庫接一個領域函式庫，一個加速函式庫接一個加速函式庫。
• 現在我們在全世界擁有 500 萬開發人員。
• 我們為每一個產業服務，從醫療保健、金融服務，當然還有電腦產業、汽車產業，幾乎世界上每一個主要產業，幾乎每一個科學領域。
• 因為我們的架構有這麼多的客戶，OEM 和雲端服務提供商對建立我們的系統很感興趣。
• 系統製造商，像台灣這裡的優秀系統製造商，對建立我們的系統很感興趣，然後將更多的系統推向市場。
• 這當然為我們創造了更大的機會，使我們能夠增加規模，增加研發規模，這進一步加快了應用程式的速度。
• 好吧，每次我們加快應用程式的速度，運算成本就會下降。
• 這就是我之前展示給你的那張幻燈片。
• 100 倍的加速轉化為 97%、96%、98% 的節省。
• 因此，當我們從 100 倍加速到 200 倍加速到 1000 倍加速時，節省，運算的邊際成本會繼續下降。
• 當然，我們相信，透過大幅降低運算成本，市場、開發人員、科學家、發明家將繼續發現越來越多需要大量運算的新演算法。
• 終有一天會發生某些事情，一個階段性的變化，運算的邊際成本如此之低，以至於出現了一種使用電腦的新方式。
• 事實上，這正是我們現在所看到的。
• 多年來，我們一直在降低運算的邊際成本。
• 在過去 10 年裡，在一個特定的演算法中，下降了百萬倍。
• 因此，現在用網際網路上的所有資料訓練大型語言模型是非常合乎邏輯且非常常識的。
• 沒有人會猶豫。
• 這個想法是你可以建立一台電腦，可以處理如此多的資料來編寫自己的軟體，人工智慧的出現是因為我們完全相信，如果我們使運算變得越來越便宜，最終會有人找到很好的用途。
• 好吧，今天 CUDA 已經實現了良性循環。
• 安裝基礎在增長。
• 運算成本在下降，這促使更多的開發人員提出更多的想法，這帶動了更多的需求。
• 現在我們正處於非常非常重要的事情的開端。
• 但在我向你展示這一點之前，我想向你展示如果不是因為我們打造了 CUDA，我們建立了現代版的通用，現代版的 AI 大爆炸。生成式 AI。我即將對你展示的這一切都是不可能的。

Earth 2

• 這是 Earth 2。
• 我們將建立地球的 digital twin，藉由模擬地球以預測我們星球的未來。
• 更好地防止災害或更好地理解氣候變遷的影響，以便我們能夠更好地適應，以便我們能夠改變我們的習慣。
• 現在，這個地球的 digital twin 可能是世界上曾經進行的最雄心勃勃的項目之一。
• 每年我們都在邁出重大步伐，我每年都會向你展示成果。
• 但今年我們取得了一些重大突破。
• 我們來看看。 (All weather visualizations you are about to see are Omniverse simulations - not movies)
• 週一，風暴將再次轉向北方，接近台灣。
• 其路徑存在很大的不確定性。
• 不同的路徑將對台灣產生不同程度的影響。
• 在不久的將來，我們將能在地球上的每一平方公里進行連續的天氣預測。
• 你將永遠知道氣候將會如何。
• 你將永遠知道，這將會持續執行，因為我們訓練了 AI，而且 AI 所需的能源非常少。
• 這真的是一個了不起的成就。
• 我希望你喜歡這個成果。

2️⃣ AI Factory

DGX

• 更重要的是，真相是那是一個 Jensen AI，不是我。
• 我寫了它，但 AI Jensen AI 必須說出來，因為我們致力於不斷提高 Drive 的性能並降低成本。
• 研究人員發現了 AI。
• 研究人員在 2012 年發現了 CUDA。
• 那是 NVIDIA 與 AI 的第一次接觸。
• 那是一個非常重要的日子。
• 我們有幸與科學家合作，使深度學習成為可能，AlexNet 實現了巨大的電腦視覺突破。
• 但最重要的智慧是退一步了解背景。
• 深度學習的基礎是什麼？
• 它的長期影響是什麼？
• 它的潛力是什麼？
• 我們意識到這項技術有很大的潛力可以擴展一個幾十年前發明和發現的演算法。
• 突然之間，由於更多的資料、更大的網絡，還有非常重要的更多運算，深度學習能夠實現人類演算法無法達到的成就。
• 現在想像一下，如果我們進一步擴展這個架構、更大的網絡、更多的資料和更多的運算，會有什麼可能性？
• 所以我們致力於重新發明 (reinvent) 一切。
• 2012 年之後，我們改變了我們的 GPU 架構，增加了張量核心。
• 我們發明了 NVLink，那是 10 年前的事。
• 現在 cuDNN、TensorRT、NCCL (唸作 “Nickel”)、我們收購了 Mellanox、TensorRT LLM、Triton 推理伺服器，所有這些都組成了一台全新的電腦。
• 沒有人理解，沒有人要求它，沒有人理解它，事實上，我確信沒有人想買它。
• 所以我們在 GTC 上宣布了它，OpenAI，一家位於舊金山的小公司，看到了它，他們要求我交付一台給他們。
• 我在 2016 年交付了第一台 DGX，世界上第一台 AI 超級電腦給 OpenAI。
• 好吧，在那之後，我們繼續從一台 AI 超級電腦、一台 AI 設備擴展到大型超級電腦，甚至更大。
• 到 2017 年，世界發現了 Transformers，以便我們可以訓練大量的資料並識別和學習大跨度時間內的順序模式。
• 現在我們可以訓練這些大型語言模型，理解並實現自然語言理解的突破。
• 我們繼續前進，建造了更大的。
• 然後在 2022 年 11 月，在成千上萬、數萬台 NVIDIA GPU 上訓練，在一台非常大的 AI 超級電腦上，OpenAI 宣布了 ChatGPT。
• 五天內一百萬用戶，五天內一百萬，兩個月內一億。
• 史上增長最快的應用程式。
• 原因很簡單。
• 使用起來非常簡單，使用起來非常神奇，能夠像人類一樣與電腦互動。
• 不需要明確說出你想要什麼，電腦就能理解你的意思。
• 它理解你的意圖。
• 哦，我想這裡它問了最近的夜市。
• 你知道，夜市對我來說非常重要。
  • 當我小時候，我想我大概四歲半。
  • 我以前喜歡去夜市，因為我喜歡看人。
  • 所以我們去了，我的父母常常帶我們去夜市。
  • 我喜歡去，我喜歡去。
  • 有一天，我的臉，你們可能看到我臉上有一條大疤痕。
  • 我的臉被割傷了，因為有人在洗刀子，而我還是個小孩。
  • 但由於這個原因，我對夜市的記憶非常深刻。
  • 我以前喜歡，我現在還是喜歡去夜市。
  • 我需要告訴你們這件事。
  • 豐原夜市真的很好，因為有一位女士，她在那裡工作了 43 年。
  • 她是賣水果的，位置在街道中間，兩個攤位中間。
  • 去找她。
  • 她 [掌聲] 她真的很棒。
  • 我想如果你們之後都去找她會很好笑。
  • 每年她都做得越來越好。
  • 她的攤位也改進了。
  • 是的，我就是喜歡看她成功。

Learning & Tokens

• 無論如何，ChatGPT 出現了，這張幻燈片上有一件非常重要的事情。
• 讓我給你們看一些東西，這張幻燈片。
• 好吧，這張幻燈片，根本的區別在於這一點。
• 在 ChatGPT 向世界展示之前，AI 全都是關於感知，自然語言理解，電腦視覺，語音識別。
• 全都是關於感知 (perception) 和感測 (detection)。
• 這是世界第一次看到生成式 AI。
• 它一個一個地生成 tokens，而這些 tokens 是單字。
• 當然，其中一些 tokens 現在可以是圖像、圖表或表格、歌曲、單字、語音、影片。這些 tokens 可以是任何東西。
• 任何你可以學習其意義的東西。
• 它可以是化學品的 tokens，蛋白質的 tokens，基因的 tokens。
• 你之前在 Earth 2 中看到我們正在生成天氣的 tokens。
• 我們可以學習物理。
• 如果你可以學習物理，你可以教 AI 模型物理。
• AI 模型可以學習物理的意義並生成物理。
• 我們不是藉由過濾來縮小到 1 公里，而是生成的。
• 因此，我們可以使用這種方法來產生幾乎任何有價值的東西。
• 我們可以生成汽車的方向盤控制。
• 我們可以生成機械臂的關節運動。
• 我們可以學習的一切，現在都可以生成。

AI 發電機

• 我們現在不僅僅處於 AI 時代，而是生成式 AI 時代。
• 但真正重要的是這一點。
• 這台開始是超級電腦的電腦現在已經演變成一個資料中心，它生成一樣東西，它生成 tokens。
• 它是一個 AI 工廠。
• 這個 AI 工廠正在生成、創造、製造一些非常有價值的東西，一種新的商品。
• 在 1890 年代末，尼古拉特斯拉 發明 了一個 交流發電機。
• 我們 發明 了一個 AI 發電機。
• 交流發電機 生成 電子。
• NVIDIA 的 AI 發電機 生成 tokens。
• 這兩樣東西都有巨大的市場機會。
• 它在幾乎每個產業中都可以完全互換，這就是為什麼這是一場新的工業革命。
• 我們現在有了一個新的工廠，為每個產業生產一種非常有價值的新商品。
• 實現這一點的方法非常可擴展，並且這一方法非常可重複。
• 注意到各種不同的 AI 模型，生成式 AI 模型的發明速度有多快。
• 幾乎每天，每個產業現在都在加入。
• 第一次，IT 產業，一個 3 兆美元的產業，將創造出能直接服務於百兆美元產業的東西。
• 不再僅僅是一個用於資訊儲存或資料處理的工具，而是一個為每個產業生成智慧的工廠。
• 這將是一個製造業。
• 不是電腦製造業，而是使用電腦進行製造。
• 這以前從未發生過。
• 相當非凡的事情。
• 從加速運算開始，導致 AI，導致生成式 AI，現在是一場工業革命。
• 現在，對我們產業的影響也相當顯著。
• 當然，我們可以為許多產業創造一種新商品，一種新產品，我們稱之為 tokens。
• 但我們的影響也非常深遠。

NIMs

• 第一次，就像我之前說的，在 60 年裡，運算的每一層都被改變了。
• 從 CPU，通用運算到加速 GPU 運算，電腦需要指令。
• 現在電腦處理 LLMs，大型語言模型，AI 模型。
• 而過去的運算模型是基於檢索，每次你觸摸手機時，為你檢索一些預先錄製的文本、或預先錄製的圖像、或預先錄製的影片，並根據推薦系統重新組合，根據你的習慣呈現給你。
• 但在未來，你的電腦將儘可能多地生成，只檢索必要的東西。
• 原因是生成的資料需要更少的能量來檢索資訊。
• 生成的資料也更具上下文相關性。
• 它會編碼知識，它會理解你。
• 而不是為我獲取那個資訊或為我獲取那個文件，你只需說問我一個答案。
• 不是一個工具，而是你的電腦將生成技能。
• 它執行任務。
• 而不是一個生產軟體的產業，這在 90 年代初期是一個革命性的想法。
• 記得微軟為打包軟體創造的概念如何徹底改變了 PC 產業嗎？
• 如果沒有打包軟體，我們會用 PC 做什麼？
• 它推動了這個產業，現在我們有了一個新工廠，一個新電腦。
• 我們將在這之上執行的是一種新型軟體。
• 我們稱之為 NIMs，NVIDIA 推理微服務 (NVIDIA Inference Microservices)。
• 現在發生的是 NIM 在這個工廠內執行，這個 NIM 是一個預訓練的模型。
• 它是一個 AI。
• 好吧，這個 AI 當然本身就相當複雜。
• 但是執行 AI 的運算堆疊是非常複雜的。
• 當你使用 ChatGPT 時，其堆疊下是一大堆軟體。
• 該提示下有大量的軟體。
• 這非常複雜，因為這些模型很大，擁有數十億到數萬億個參數。
• 它不僅僅在一台電腦上執行，而是在多台電腦上執行。
• 它必須將工作負載分佈在多個 GPU 上，張量並行、流水線並行、資料並行，各種並行，專家並行，各種並行 (parallelism) 將工作負載分佈在多個 GPU 上。
• 盡可能快地處理它，因為如果你在工廠裡，如果你運營一個工廠，你的生產率 (throughput) 直接關係到你的收入 (revenues)。
• 你的生產率直接關係到服務品質。
• 你的生產率直接關係到能使用你的服務的人數。
• 我們現在生活在一個資料中心生產率利用率至關重要的世界裡。
• 在過去這很重要，但不是至關重要。
• 在過去這很重要，但人們並不測量它。
• 今天，每一個參數都被測量：啟動時間、執行時間 (uptime)、利用率 (utilization)、生產率 (throughput)、閒置時間 (idle time)，應有盡有。
• 因為這是一個工廠。
• 當某些東西是一個工廠時，它的運營直接關係到公司的財務表現。
• 所以我們意識到這對大多數公司來說是非常複雜的。
• 所以我們做的是我們創造了這個 AI in a box，內含大量的軟體。
• 這個容器裡有 CUDA、cuDNN、TensorRT、Triton 推理服務。
• 它是雲原生的，因此你可以在 Kubernetes 環境中自動擴展。
• 它有管理服務和掛鉤，以便你可以監控你的 AI。
• 它有通用的 API，標準 API，因此你可以真正與這個盒子聊天。
• 你下載這個 NIM，你可以與它對話。
• 只要你在電腦上有 CUDA，現在當然到處都是。
• 它在每個雲端中，每個電腦製造商都有提供。
• 它在數億台 PC 中可用。
• 當你下載這個，你就有了一個 AI，你可以像 ChatGPT 一樣與它聊天。
• 現在所有的軟體都整合在一起，400 個依賴項都整合在一個裡面。
• 我們測試了這個 NIM，這些預訓練模型中的每一個，對我們在雲中的所有安裝基礎進行測試。
• 所有不同版本的 Pascal 和 Ampere 和 Hopper 和各種不同版本，我甚至忘記了一些。
• NIMs，令人難以置信的發明。
• 這是我最喜歡的發明之一。

Models

Ernest Notes: 人類要知道任務 (mission)。

• 當然，正如你所知，我們現在有能力建立各種大型語言模型和預訓練模型。
• 我們有所有這些不同版本，無論是基於語言的，還是基於視覺的，還是基於成像的。
• 我們有可用於醫療保健、數位生物學的版本。
• 我們有數位人類的版本，我會告訴你。
• 你使用這些的方法，只需造訪 ai.nvidia.com。
• 今天我們剛在 Hugging Face 上發布了 Llama 3 NIM ¹⁶，已完全優化。
• 它在那裡供你試用，你甚至可以帶走它。
• 它對你是免費的。
• 所以你可以在雲中執行它，在任何雲中執行它。
• 你可以下載這個容器，把它放到你自己的資料中心，你可以托管它，讓你的客戶可以使用它。
• 正如我提到的，我們有各種不同的領域。
• 物理學，其中一些是用於語義檢索的，稱為 RAGs，視覺，語言，各種不同的語言。
• 你使用它們的方法是將這些微服務連接到大型應用程式中。

Customer Service Agents

• 當然，未來最重要的應用程式之一是客戶服務代理人 (customer service agents)。
• 客戶服務代理人在幾乎每一個產業中都是必需的。
• 它代表著全球數兆美元的客服服務。
• 護士是客戶服務代理人。
• 在某些方面，其中一些不是基於處方或診斷的。
• 護士本質上是客服。
• 零售的客服，快速服務食品的客服，金融服務，保險。
• 數以千萬計的客服現在可以藉由語言模型和 AI 增強。
• 所以你看到的這些盒子基本上就是 NIMs。
  • 有些 NIMs 是推理代理 (reasoning agents)。
  • 給定一個任務，找出任務是什麼，把它分解成計畫。
  • 有些 NIMs 檢索資料。
  • 有些 NIMs 可能進行搜索。
  • 有些 NIMs 可能會使用像我之前提到的 cuOpt 這樣的工具。
  • 他們可以使用在 SAP 上執行的工具，因此必須學習一種叫做 ABAP 的特定語言。
  • 也許有些 NIMs 必須進行 SQL 查詢。
• 所以，這些 NIMs 現在作為一個團隊組合在一起，都是專家。
• 那麼發生了什麼變化呢，應用層已經改變了。
• 以前是用指令編寫 (written with instructions) 的應用程式，現在是應用程式將建立團隊。建立 AI 團隊。
• 很少有人知道如何寫程式。
• 幾乎每個人都知道如何分解問題並建立團隊。
• 我相信未來每家公司都會擁有大量的 NIMs。
• 你會帶來你想要的專家，將他們組成一個團隊。
• 你甚至不必確切知道如何連接他們。
• 你只需將任務 (mission) 交給代理，交給 NIM 來找出誰來分解任務並交給誰。
• 那麼中心，應用的領導者，如果你願意，團隊的領導者將分解任務並將其分配給各個團隊成員。
• 團隊成員將執行他們的任務，然後將結果帶回給團隊主管。
• 團隊主管會對此進行推理並像人類一樣將資訊呈現給你。
• 這就是我們不久的將來。
• 這是應用程式將會呈現的樣子。
• 當然，我們可以使用文本提示和語音提示與這些大型 AI 服務進行互動。

Digital Humans

Ernest Notes: Digital Humans 影片中有一段 OpenAI 客串，與 Google IO 2024 發表的 Project Astra 相比之下，OpenAI 似乎都更能掌握與人類互動的友善性、易用性、接受度。提醒自己不要只做出很工程的產品，而忽略了使用者體驗。

• 然而，有許多應用我們希望與類人形式的存在互動。
• 我們稱他們為數位人類 (Digital Humans)。
• NVIDIA 一直在研究數位人類技術。
• 讓我來展示給你看。
• 好吧，在我這樣做之前，稍等一下。
• 數位人類有潛力與你進行很好的互動體驗。
• 它們使互動更加引人入勝。
• 它們可以更加有同理心。
• 當然，我們必須跨越這個不可思議的鴻溝，這個真實性的鴻溝，使數位人類看起來更加自然。
• 這當然是我們的願景。
• 這是我們想要達到的願景。
• 但讓我告訴你我們現在在哪裡。
• 很高興來到台灣。
• 在我去夜市之前，讓我們深入探討數位人類的一些激動人心的前沿。
• 想像一個未來，電腦像人類一樣與我們互動。
• 嗨，我叫 Sophie，我是 Unique 的數位人類品牌大使。
• 這是數位人類的令人難以置信的現實。
• 數位人類將徹底改變從客服到廣告的產業。
• 數位人類的可能性是無窮的。
• 使用你用手機掃描的你目前廚房的圖像，他們將成為 AI 室內設計師。
• 幫助產生美麗的寫實建議並提供材料和家具。
• 我們已經為你產生了幾個設計選項。
• 他們還將成為 AI 客戶服務代理人，使互動更加引人入勝和個性化。
• 或者是數位健康工作者，檢查病人並提供即時的個性化護理。
• 嗯，我確實忘了告訴醫生我對青黴素過敏。
• 這些藥物還可以服用嗎？
• 你被開的抗生素，Ciclin 和 Metronidazole，不含青黴素，所以服用它們是完全安全的。
• 他們甚至會成為 AI 品牌大使，設定下一個行銷和廣告趨勢。
• 嗨，我是 EMA，日本的第一個虛擬模特。
• 在生成式 AI 和電腦繪圖學方面的新突破讓數位人類能像人類一樣看見、理解和與我們互動。
• H，從我所看到的，你好像在某種錄製或製作設置中。
• 數位人類的基礎是基於多語言語音識別和合成的 AI 模型。
• 以及理解和生成對話的 LLMs。
• 這些 AI 連接到另一個生成式 AI，動態地動畫化一個逼真的 3D 面部網格。
• 最後，AI 模型再現逼真的外觀，使即時路徑跟蹤次表面散射模擬光線穿透皮膚、散射並在各點退出，賦予皮膚柔軟和半透明的外觀。
• NVIDIA ACE 是一套數位人類技術，包裝為易於部署、完全優化的微服務或 NIMs。
• 開發人員可以將 ACE NIMs 整合到他們現有的框架、引擎和數位人類體驗中。
• Nemotron、SLM 和 LLM NIMs 理解我們的意圖並協調其他模型。
• RIVA 語音 NIMs 用於互動語音和翻譯。
• Audio2Face 和 Gesture NIMs 用於面部和身體動畫。
• 以及 Omniverse RTX 和 DLSS 用於皮膚和頭髮的神經渲染。
• ACE NIMs 在 NVIDIA GDN 上執行，這是一個 NVIDIA 加速基礎設施的全球網絡，提供超過 100 個地區的低延遲數位人類處理。
• [掌聲] 真是令人難以置信。
• 好吧，這些 ACE 執行在雲端，但也執行在 PC 上。
• 我們很明智地在所有 RTX 中包含了張量核心 GPU。
• 因此，我們已經出貨 AI GPU 有一段時間了，為這一天做好準備。
• 原因很簡單。
• 我們一直知道，要創造一個新的運算平台，首先需要建立基本安裝數量 (install base)。
• 最終，應用程式會來。
• 如果你不建立基本安裝數量，應用程式怎麼會來？
• 因此，如果你建造它，他們可能不會來。
• 但如果你不建造它，他們就不會來。
• 所以我們在每個 RTX GPU 中都安裝了 tensor core 處理器。
• 現在我們有 1 億台 GeForce RTX AI PC，在世界各地出貨 2 億台。
• 這次 Computex，我們推出了四款新的驚人筆記型電腦。
• 它們都能執行 AI。
• 你的未來筆記型電腦，你的未來 PC 將成為 AI。
• 它會不斷在背景中幫助你，協助你。
• PC 也會執行由 AI 增強的應用程式。
• 當然，所有你的照片編輯和寫作工具，所有你使用的東西都會由 AI 增強。
• 而且你的 PC 也會托管包含 AI 的數位人類應用程式。
• 因此，AI 將以不同的方式在 PC 中展現並被使用。
• 但 PC 將成為非常重要的 AI 平台。

3️⃣ Larger GPUs

• 那麼，我們接下來要去哪裡？
• 我之前談到過我們資料中心的擴展 (scaling)，每次我們擴展，我們都發現一個新的階段變化。
• 當我們從 DGX 擴展到大型 AI 超級電腦時，我們使 transformers 能夠訓練巨大的資料集。
• 發生了什麼呢，一開始，資料是由人類監督的。
• 需要人工標註來訓練 AI。
• 不幸的是，人類標註的能力是有限的。
• Transformers 使 無監督學習 (unsupervised learning) 成為可能。
• 現在，transformers 只需查看大量資料，或者查看大量影片，或者查看大量圖像，它可以透過研究大量資料自行找到模式和關係。
• 那麼，下一代 AI 需要基於物理。
• 現在的大多數 AI 不理解物理定律。
• 它們沒有基於物理世界。
• 為了產生圖像和影片以及 3D 圖形和許多物理現象，我們需要基於物理並理解物理定律的 AI。
• 當然，學習影片是一個來源。
• 另一種方法是合成資料，模擬資料。
• 還有一種方法是使用電腦相互學習。
• 這與使用 AlphaGo 自己對弈，進行自我對弈沒什麼不同。
• 在兩者之間，相同能力相互對弈很長一段時間後，它們變得更聰明。
• 所以你會開始看到這種類型的 AI 出現。
• 那麼，如果 AI 資料是合成生成的並使用強化學習，那麼資料生成的速度必然會繼續提高。
• 每次資料生成增長時，我們需要提供的運算量也需要隨之增長。
• 我們即將進入一個 AI 可以學習物理定律並理解並基於物理世界資料的階段。
• 因此，我們預計模型將繼續增長，我們需要更大的 GPU。

Blackwell

Ernest Notes: 更多、更完整的 Blackwell 介紹、拆解、影片，請見 脈絡拆解: NVIDIA GTC 2024 主題演講 - NVIDIA 執行長黃仁勳 - 公開發表 Blackwell。 稍候也有 Computex 專屬的夜晚混音版影片。

• 那麼，Blackwell 是為這一代設計的。
• 這是 Blackwell，它具有幾個非常重要的技術。
• 一個當然是晶片的大小。
• 我們拿了兩個 TSMC 能做的最大尺寸晶片，並將它們連接在一起，透過 10 兆位元每秒 (10 TB/sec) 的連接，將這兩個世界上最先進的晶片連接在一起。
• 然後我們將它們放在一個運算節點上，與 Grace CPU 連接。
• Grace CPU 可以用於幾種情況。
  • 在訓練情況下，它可以用於快速檢查點和重啟。
  • 在推理和生成的情況下，它可以用於儲存上下文記憶，讓 AI 具有記憶並理解你想要進行的對話的上下文。
• 這是我們的第二代 Transformer 引擎。
  • Transformer 引擎使我們能夠根據該層運算所需的精度和範圍動態調整到較低的精度。
• 這是我們的第二代 GPU，
  • 具有安全 AI，使你可以請求服務提供商保護你的 AI 不被盜竊或篡改。
• 這是我們的第五代 NVLink。
  • NVLink 允許我們將多個 GPU 連接在一起，我會在一秒鐘內展示更多。
• 這也是我們第一代具有可靠性和可用性引擎的 GPU。
  • 這個系統，這個 RAS 系統，允許我們測試每一個電晶體 (transistor)、觸發器 (flip-flop)、片上記憶體 (memory on chip)、片外記憶體 (memory off chip)，讓我們可以在現場確定某個晶片是否故障。
  • 一個擁有 10,000 個 GPU 的超級電腦的平均故障間隔時間 (MTBF; mean time between failure) 以小時計。
  • 一個擁有 100,000 個 GPU 的超級電腦的平均故障間隔時間以分鐘計。
  • 因此，如果我們不發明提高其可靠性的技術，使超級電腦能夠長時間執行並訓練一個可能持續數月的模型，這幾乎是不可能的。
  • 可靠性當然會提高其正常執行時間，這直接影響成本。
• 最後，解壓引擎 (decompression engine)。
  • 資料處理是我們必須做的最重要的事情之一。
  • 我們添加了一個資料壓縮引擎，解壓引擎，使我們能夠從儲存中提取資料，比目前的速度快 20 倍。

Blackwell is in production

• 好吧，所有這些代表了 Blackwell，我想我們這裡有一個量產版。
• 在 GTC 期間，我向你展示了 Blackwell Prototype (原型機)。
• 另一邊，這就是我們練習的原因 [笑聲]。
• 在美國是這樣子的（左右相反的）
• 女士們先生們，這就是 Blackwell。
• Blackwell 正在量產中。
• 令人難以置信的技術量。
• 這是我們的生產板。
• 這是世界上製造的最複雜、性能最高的電腦。
• 這是 Grace CPU，你可以看到這些 Blackwell 晶粒 (dies) 中的每一個，兩個連接在一起。
• 你看到這是世界上最大的晶片，最大的晶片。
• 然後我們將它們連接在一起，透過 10 兆位元每秒的連接。
• 這就是 Blackwell computer。
• 性能令人難以置信，看看這個。
• 你看到運算能力，FLOPS，AI FLOPS，每一代在八年內增長了一千倍。
• 摩爾定律在八年內的增長大約是 40 或 60，但在過去的八年中摩爾定律的增長少了很多。
• 因此，僅僅是與 Blackwell 所能做的事情相比，即使是摩爾定律在其最佳時期的表現。
• 運算量是令人難以置信的，每當我們提高運算量時，發生的事情是成本下降。
• 我將向你展示的是我們已經提高了運算能力，訓練一個 GPT 4、2 兆參數、8 兆 tokens 所需的能量已經下降了 350 倍。
• 嗯，Pascal 需要 1,000 千兆瓦時。
• 1,000 千兆瓦時意味著需要一個千兆瓦資料中心。
• 世界上沒有千兆瓦資料中心，但如果你有一個千兆瓦資料中心，則需要一個月。
• 如果你有一個 100 兆瓦資料中心，則需要大約一年。
• 所以沒有人當然會建立這樣的東西。
• 這就是為什麼這些大型語言模型，ChatGPT，在八年前是不可能的。
• 透過我們的努力，提高性能，同時保持和提高能效，我們現在已經透過 Blackwell 將以前的 1,000 千兆瓦時減少到 3。
• 令人難以置信的進步。
• 3 千兆瓦時。
• 如果是 10,000 個 GPU，例如，可能只需要幾天，10,000 個 GPU 可能需要幾天，10 天左右。
• 因此，在短短八年內的進步是令人難以置信的。
• 這是為推理服務的。
• 這是為 token 生成服務的。
• 我們的 token 生成性能使我們能夠將能量消耗減少 45,000 倍。
• 177,000 焦耳每 token。
• 那是 Pascal，177,000 焦耳。
• 這就像兩個燈泡亮兩天。
• 需要兩個燈泡亮兩天，消耗的能量，200 瓦亮兩天，產生一個 GPT4 的 token。
• 生成一個字需要大約三個 tokens。
• 因此，生成 GPT4 並與你進行 ChatGPT 體驗所需的能量是幾乎不可能的。
• 但現在我們只需要 0.4 焦耳每 token。
• 我們可以以令人難以置信的速度生成 tokens 並且能量消耗非常少。
• 好的，所以 Blackwell 是一個巨大的領先。
• 但即使如此，它還不夠大。
• 所以我們必須建造更大的機器。

DGX

• 我們建造它的方式叫做 DGX。
• 這是我們的 Blackwell 晶片，裝在 DGX 系統中。
• 這就是為什麼我們應該練習。
• 這是 DGX Blackwell。
• 這是空氣冷卻的，裡面有八個這樣的 GPU。
• 看看這些 GPU 上的散熱器有多大。
• 大約 15 千瓦，15,000 瓦，完全空氣冷卻。
• 這個版本支持 x86，並且可以安裝在我們曾經安裝 Hopper 的基礎設施中。
• 然而，如果你想要液體冷卻，我們有一個新的系統。
• 這個新系統基於這個板子，我們稱之為 MGX 模組化系統。
• 這個模組化系統，你們看不到這個。
• 他們能看得到嗎？
• 你能看得到嗎？
• 你還好嗎？
• 這是 MGX 系統，這是兩塊 Blackwell 板。
• 這個節點有四個 Blackwell 晶片。
• 這四個 Blackwell 晶片，這是液冷的。
• 九個，九個。
• 72 個這樣的 GPU。
• 然後這 72 個 GPU 透過一個新的 NVLink 連接在一起。
• 這是 NVLink Switch 第五代。
• NVLink switch 是一個技術奇蹟。
• 這是世界上最先進的 switch。
• 資料速率是瘋狂的。
• 這些 switch 將每一個 Blackwell 連接在一起，使我們擁有一個巨大的 72 GPU Blackwell。
• 這樣的好處是，在一個域中，一個 GPU 域，現在看起來就像一個 GPU。
• 這一個 GPU 有 72 個，而上一代只有 8 個。
• 所以我們增加了 9 倍。
• 頻寬增加了 18 倍。
• AI FLOPS 增加了 45 倍。
• 而能耗只增加了 10 倍。
• 這是 100 千瓦，而那是 10 千瓦。
• 這是一個。
• 當然，你可以連接更多這樣的系統，我稍後會展示如何做到這一點。
• 但奇蹟在於這個晶片，這個 NVLink 晶片。
• 人們開始意識到這個 NVLink 晶片的重要性，因為它連接了所有這些不同的 GPU。
• 因為大型語言模型太大了，不僅僅適用於一個 GPU，也不僅僅適用於一個節點。
• 需要像我剛才站在旁邊的這種新 DGX 機架來容納大型語言模型，這些模型有數十兆個參數。
• NVLink 本身就是一個技術奇蹟，有 500 億個電晶體，74 個端口，每個端口 400 Gb。
• 四個鏈路，橫截面頻寬為 7.2 TB/s。
• 但一個重要的事情是，它在 switch 內部有數學運算，因此我們可以在晶片上進行深度學習中非常重要的縮減操作。
• 這就是現在的 DGX 的樣子。
• 很多人問我們，他們說，對 NVIDIA 做什麼有一些困惑，怎麼可能 NVIDIA 將 GPU 變得如此巨大。
• 所以有一種印象，這就是 GPU 的樣子。
• 現在，這是一個 GPU。
• 這是世界上最先進的 GPU 之一，但這是一個遊戲 GPU。
• 但你我都知道這是 GPU 的樣子。
• 這是一個 GPU，女士們先生們，DGX GPU。
• 你知道，這個 GPU 的背面是 NVLink 主幹 (NVLink spine)。
• NVLink 主幹有 5,000 根線，兩英里長。
• 就在這裡，這是 NVLink 主幹。
• 它連接了 72 個 GPU。
• 這是一個電子機械奇蹟。
• 這些收發器使我們能夠在銅線上驅動整個長度。
• 因此，這個 switch，NVSwitch，NVLink switch 驅動 NVLink 主幹在銅線上，使我們能夠在一個機架中節省 20 千瓦。
• 這 20 千瓦現在可以用來進行處理 (processing)，這是一個令人難以置信的成就。
• 這就是 NVLink 主幹。
• [掌聲] 哇，我今天跌倒了。
• 即使這樣也不夠大。
• 即使這樣也不夠大，無法應對 AI 工廠。
• 所以我們必須用非常高速的網路將其全部連接起來。
• 好吧，我們有兩種類型的網路。
• 我們有 InfiniBand，它已被用於全球的超級運算和 AI 工廠。
• 並且它的增長速度對我們來說非常快。
• 然而，不是每個資料中心都能處理 InfiniBand，因為他們的生態系統已經投資 以太網 (Ethernet) 太久了。
• 並且管理 InfiniBand switches 和 InfiniBand networks 需要一些專業知識。
• 所以我們做的是將 InfiniBand 的功能帶到以太網架構，這是非常困難的。
• 原因是這樣的。
• 以太網是為高平均生產率而設計的，因為每個節點，每台電腦都連接到網際網路上的不同人。
• 並且大多數通信是資料中心與網際網路另一端的某人通信。
• 然而，在深度學習和 AI 工廠中，GPU 並不是與網際網路上的人進行通信。
• 大多數情況下，它們是在彼此之間通信。
• 它們彼此通信，因為它們都在收集部分產品，然後必須縮減並重新分配。
• 部分產品的塊，縮減，重新分配，那種流量是非常突發的。
• 並且不是平均生產率重要，而是最後一個到達的最重要。
• 因為如果你在縮減，從每個人那裡收集部分產品，如果我試圖從你們所有人那裡獲取…
• 所以不是平均生產率重要，而是誰最後給我答案。
• 好吧，以太網沒有為此提供任何預案。
• 所以我們必須建立幾種技術。
• 我們打造了一個端到端的架構，NIC 和 switch 可以通信。
• 我們應用了四種不同的技術來實現這一點。
• 首先，NVIDIA 擁有世界上最先進的 RDMA。
  • 現在我們擁有網路級別的 RDMA，適用於以太網，這是非常好的。
• 第二，我們有擁堵控制 (congestion control)。
  • switch 一直在進行高速遙測。
  • 每當 GPU 或 NIC 發送太多資訊時，我們可以告訴他們退避，這樣就不會產生熱點。
• 第三，自調適路由 (adaptive routing)。
  • 以太網需要按順序發送和接收。
  • 我們看到擁堵或未使用的端口，而不考慮順序。
  • 我們會將其發送到可用的端口，並由另一端的 BlueField 重新排序，使其按順序返回。
  • 這種自適應路由非常強大。
• 最後，噪音隔離。
  • 資料中心中始終有多個模型在訓練或發生某些事情。
  • 他們的噪音和流量會相互干擾並引起抖動。
  • 因此，當一個模型訓練的噪音導致最後一個到達過遲時，會真正拖慢訓練速度。
• 總之，記住你建造了一個 50 億或 30 億美元的資料中心，你用它來訓練。
• 如果網路利用率降低了 40%，因此訓練時間增加了 20%，那麼 50 億美元的資料中心實際上就像一個 60 億美元的資料中心。
• 所以成本是巨大的。
• 成本影響相當高。
• 使用 Spectrum X 的以太網基本上使我們能夠提高性能，使得網路基本上是免費的。
• 這是一個非常了不起的成就。
• 我們接下來有一整個系列的以太網產品。
• 這是 Spectrum X800。
  • 它的速率為 51.2 Tbps，256 radix。
• 下一個即將推出的是 512 radix，一年後。
  • 512 radix，那叫 Spectrum X800 Ultra。
• 再下一個是 X1600。
• 但重要的概念是這樣的。
  • X800 為成千上萬個 GPU 設計。
  • X800 Ultra 為數十萬個 GPU 設計。
  • X1600 為數百萬個 GPU 設計。
• 數百萬 GPU 資料中心的日子即將到來。
• 原因很簡單。
• 當然，我們希望訓練更大的模型。
• 但非常重要的是，未來你與網際網路或電腦的幾乎每次互動都可能在雲中執行一個生成型 AI。
• 那個生成型 AI 正在與你合作，與你互動，產生影片或圖像或文本或數位人類。
• 所以你幾乎一直在與電腦互動，並且總有一個生成型 AI 連接在那裡。
• 一些是在本地，一些是在你的設備上，很多可能在雲中。
• 這些生成型 AI 也將具備大量的推理能力。
• 而不是只給出一次性答案，它們可能會迭代答案，以便在給你答案之前提高答案的品質。
• 所以我們未來的生成量將是非凡的。
• 現在讓我們看看所有這些綜合在一起。
• 今晚，這是我們的第一個夜間主題演講。
• 我想感謝你們今晚 7 點鐘出門。
• 所以我將要展示的東西有一個新的氛圍。
• 好的，這是一個新的氛圍。
• 這是夜間主題演講的氛圍。
• 所以享受這個。

Video: Blackwell Platform

Ernest Notes: 喔耶！是夜間混音版！原本在 GTC 2024 發表的 Blackwell 影片，請見 脈絡拆解: NVIDIA GTC 2024 主題演講 - NVIDIA 執行長黃仁勳 - 公開發表 Blackwell。

• [音樂] 讓我們走吧，走吧，走吧，走吧。
• 好的 [音樂] [音樂]
• 來吧，對，對，對，對。
• 拿到它了，對，拿到它了，走吧。
• [音樂] [掌聲] 你買得越多，省得越多。
• 用頂眼。
• Tor 做了速度。
• [音樂] [掌聲] 現在，你不能在早上的主題演講中這樣做。
• 我認為這種風格的主題演講在 Computex 從未做過。
• 可能是最後一次。
• 只有 NVIDIA 可以做到。
• 只有我可以做到。
• [掌聲] Blackwell 當然是 NVIDIA 平台的第一代，最初發布。
• 眾所周知，生成型 AI 時代已經來臨。
• 正如世界意識到 AI 工廠的重要性。
• 正如這次新工業革命的開始。
• 我們有太多的支持。
• 幾乎每個 OEM，每個電腦製造商、每個 CSP、每個 GPU 雲、主權雲、甚至電信公司、全球各地的企業。
• 成功的數量，採用的數量，對 Blackwell 的熱情是超乎尋常的。
• 我要感謝大家。
• 我們不會止步於此。
• 在這個驚人的增長時期，我們希望確保繼續提高性能。
• 繼續降低成本，訓練成本，推理成本，並繼續擴展 AI 能力，使每家公司都能接受。
• 我們提高性能越多，成本下降越大。

NVIDIA Roadmap

• Hopper 平台當然是歷史上最成功的資料中心處理器。
• 這是一個非凡的成功故事。
• 然而，Blackwell 已經在這裡。
• 每一個平台，如你所見，都有幾個方面。
• 你有 CPU，有 GPU，有 NVLink，有 NIC，還有 NVLink switch 將所有 GPU 連接在一起，形成一個大的域。
• 無論我們能做什麼，我們都會用非常大的，非常高速的 switch 來連接。
• 每一代，如你所見，不僅僅是一個 GPU，而是一整個平台。
• 我們建造整個平台。
• 我們將整個平台整合到 AI 工廠超級電腦中。
• 然而，然後我們將其分解並提供給世界。
• 原因是所有人都可以打造有趣且創新的配置，各種不同的風格，適合不同的資料中心，不同地點的不同客戶。
• 一些用於邊緣，一些用於電信，所有不同的創新都是可能的，如果我們使系統開放並使你能夠創新。
• 所以我們設計是整合的，但我們分解它，使你能夠建立模組化系統。
• Blackwell 平台在這裡。
• 我們公司是一年一個節奏。
• 我們的基本理念非常簡單。
• 一，建造整個資料中心規模，將其分解，並以零部件形式出售給你，一年一個節奏。
• 我們將一切推向技術極限。
• 無論 TSMC 的工藝技術是什麼，我們都將其推向絕對極限。
• 無論包裝技術是什麼，我們都將其推向絕對極限。
• 無論記憶體技術是什麼，我們都將其推向絕對極限。
• 序列技術，光學技術，一切都被推向極限。
• 然後在那之後，我們以這樣的方式做一切，使我們所有的軟體都能在這整個安裝基礎上執行。
• 軟體慣性 (software inertia) 是電腦中最重要的事情。
• 當電腦與所有已建立的軟體向後兼容並且在架構上兼容時，你的上市速度會快得多。
• 當我們能夠利用已建立的所有軟體的整個安裝基礎時，速度是令人難以置信的。
• 好吧，Blackwell 在這裡。
• 明年是 Blackwell Ultra。
• 就像我們有 H100 和 H200，你可能會看到我們為 Blackwell Ultra 推出一些非常令人興奮的新一代產品。
• 再次推向極限。
• 我提到的下一代 Spectrum switch。
• 這是我們第一次有這樣的點擊，我還不確定我是否會後悔。
• [掌聲] 我們公司有代號，我們試圖保持它們非常保密。
• 通常，大多數員工甚至都不知道。
• 但我們的下一代平台叫做 Rubin。
• Rubin 平台。
• 我不會花太多時間在這上面。
• 我知道會發生什麼。
• 你會拍照，然後去看細節。
• 隨意這樣做。
• 我們有 Rubin 平台，一年後我們有 Rubin Ultra 平台。
• 我在這裡展示的所有這些晶片都在全面開發中，100%。
• 節奏是一年，技術的極限，100% 架構上兼容。
• 這基本上是 NVIDIA 正在建設的所有東西，以及其上所有豐富的軟體。
• 所以在很多方面，從 ImageNet 那一刻起到今天的 12 年，正如我之前展示的那樣。
• GeForce 2012 年之前和 NVIDIA 今天。
• 公司確實發生了巨大變化。
• 我想感謝我們在座的所有合作夥伴，在每一步都支持我們。
• 這是 NVIDIA Blackwell 平台。

4️⃣ Physical AI

• 讓我談談下一步。
• 下一波 AI 是物理 AI。
• 理解物理定律的 AI。
• 可以在我們中間工作的 AI。
• 因此它們必須理解世界模型，這樣它們才能理解如何解釋世界，如何感知世界。
• 它們當然必須具有出色的認知能力，這樣它們才能理解我們，理解我們的要求，並執行任務。
• 未來，機器人是一個更普遍的概念。
• 當然，當我說機器人時，通常會想到人形機器人，但這並不完全正確。
• 一切都會是機器人。
• 所有的工廠都會是機器人。
• 工廠將協調機器人，這些機器人將製造機器人產品。
• 機器人與機器人互動，製造機器人產品。
• 為了做到這一點，我們需要一些突破。
• 讓我給你看一下影片。

Video: Era of Robotics

• 機器人時代已經到來。
• 總有一天，一切移動的東西都將是自主的。
• 全球的研究人員和公司正在開發由物理 AI 驅動的機器人。
• 物理 AI 是可以理解指令並自主執行現實世界中複雜任務的模型。
• 多模態 LLM 是突破性技術，使機器人能夠學習、感知和理解周圍的世界並計劃他們的行動。
• 透過人類演示，機器人現在可以學習所需的技能，以使用粗細馬達技能與世界互動。
• 推進機器人技術的關鍵技術之一是強化學習。
• 就像 LLM 需要 RLHF 或從人類反饋中學習的強化學習來學習特定技能一樣，生成型物理 AI 可以透過在模擬世界中進行物理反饋的強化學習來學習技能。
• 這些模擬環境是機器人透過在遵循物理定律的虛擬世界中執行行動來學習決策的地方。
• 在這些機器人體育館中，機器人可以快速、安全地學習執行複雜和動態任務，透過數百萬次的試錯行動來完善其技能。
• 我們構建了 NVIDIA Omniverse 作為建立物理 AI 的操作系統。
• Omniverse 是一個虛擬世界模擬開發平台，結合了即時物理渲染、物理模擬和生成型 AI 技術。
• 在 Omniverse 中，機器人可以學習如何成為機器人。
• 它們學習如何自主精確地操控物體，例如抓取和處理物體。
• 或自主導航環境，找到最佳路徑，同時避免障礙物和危險。
• 在 Omniverse 中學習最大限度地減少模擬與現實的差距，最大限度地轉移所學行為。
• 構建具有生成型物理 AI 的機器人需要三台電腦。
• NVIDIA AI 超級電腦來訓練模型。
• NVIDIA Jetson Orin 和下一代 Jetson Thor 機器人超級電腦來執行模型。
• 以及 NVIDIA Omniverse，在其中機器人可以學習和完善其技能的模擬世界。
• 我們構建了平台，加速函式庫和 AI 模型，開發人員和公司可以使用任何或所有最適合他們的堆疊。
• 下一波 AI 已經到來。
• 由物理 AI 驅動的機器人將革命化各行各業。

Warehouse

• 這不是未來，這正在發生。
• 我們將有幾種方式來服務市場。
• 第一，我們將為每種機器人系統建立平台。
• 一個用於機器人工廠和倉庫。
• 一個用於操縱物體的機器人。
• 一個用於移動的機器人。
• 還有一個用於人形機器人。
• 所以每一個機器人平台就像我們所做的幾乎所有其他東西一樣，是一台電腦、加速函式庫和預訓練模型。
• 電腦、加速函式庫、預訓練模型。
• 我們在 Omniverse 中測試、訓練和整合一切。
• 正如影片所說，Omniverse 是機器人學習如何成為機器人的地方。
• 當然，機器人工廠的生態系統非常複雜。
• 構建現代化的倉庫需要許多公司、許多工具和許多技術。
• 倉庫越來越多地使用機器人。
• 總有一天，它們將完全是機器人。
• 所以在這些生態系統中的每一個，我們都有連接到軟體產業的 SDK 和 API。
• 連接到邊緣 AI 產業和公司的 SDK 和 API。
• 當然還有為 ODM 設計的 PLC 和機器人系統。
• 然後由整合商進行整合，最終為客戶建造倉庫。
• 這裡有一個 Kenmac 為 Giant Group 建造機器人工廠的例子。

Factories

• 現在讓我們談談工廠。
• 工廠有一個完全不同的生態系統。
• Foxconn 正在建造一些世界上最先進的工廠。
• 他們的生態系統，再次邊緣電腦和機器人軟體，用於設計工廠，工作流程，編程機器人，當然還有協調數位工廠和 AI 工廠的 PLC 電腦。
• 我們也有連接到這些生態系統的 SDK。
• 這正在台灣各地發生。
• Foxconn 正在構建其工廠的數位雙胞胎 (digital twins)。
• Delta 正在構建其工廠的數位雙胞胎。
• 順便說一句，一半是現實的，一半是數位的，一半是 Omniverse。
• Pegatron 正在構建其機器人工廠的數位雙胞胎。
• Wistron 正在構建其機器人工廠的數位雙胞胎。
• 這真的很酷。
• 這是 Foxconn 新工廠的影片。
• 讓我們看看。
• 隨著世界將傳統資料中心現代化為生成型 AI 工廠，對 NVIDIA 加速運算的需求激增。
• 作為世界上最大的電子製造商，Foxconn 正在準備透過 NVIDIA Omniverse 和 AI 建造機器人工廠來滿足這一需求。
• 工廠規劃者使用 Omniverse 將來自 Siemens Teamcenter X 和 Autodesk Revit 等領先產業應用程式的設施和設備資料整合在一起。
• 在數位雙胞胎中，他們優化了樓層佈局和線路配置，並確定了最佳的攝像機放置位置，以使用 NVIDIA Metropolis 支援的視覺 AI 來監控未來的操作。
• 虛擬整合在建設期間為規劃者節省了大量的物理變更訂單成本。
• Foxconn 團隊使用數位雙胞胎作為真實的來源來溝通和驗證準確的設備佈局。
• Omniverse 數位雙胞胎也是 Foxconn 開發人員訓練和測試 NVIDIA Isaac AI 應用程式和 Metropolis AI 應用程式的機器人體育館。
• 在 Omniverse 中，Foxconn 模擬了兩個機器人 AI，在將執行時部署到裝配線上的 Jetson 電腦之前。
• 他們模擬了 Isaac 操縱器函式庫和 AI 模型，用於自動光學檢查、物體識別、缺陷檢測和軌跡規劃，以將 HGX 系統轉移到測試舱。
• 他們模擬了使用 3D 映射和重建來感知和移動環境的 Isaac Perceptor 支援的 AMR。
• 透過 Omniverse，Foxconn 構建了其機器人工廠，這些工廠協調執行 NVIDIA Isaac 的機器人，以構建 NVIDIA AI 超級電腦，反過來訓練 Foxconn [音樂] [掌聲] 機器人。

Factories with Three Computers

• 所以一個機器人工廠是由三台電腦設計的。
• 在 NVIDIA AI 上訓練 AI。
• 你有用於協調工廠的 PLC 系統上的機器人。
• 然後當然你在 Omniverse 中模擬一切。
• 好吧，機器人手臂和機器人 AMR 也是同樣的方法，三個電腦系統。
• 不同之處在於兩個 Omniverse 將合併在一起，因此它們將共享一個虛擬空間。
• 當它們共享一個虛擬空間時，機器人手臂將進入機器人工廠。
• 同樣，三台電腦，我們提供電腦、加速層和預訓練 AI 模型。
• 我們已經將 NVIDIA 操縱器 (manipulator) 和 NVIDIA Omniverse 與 Siemens 整合在一起，Siemens 是世界領先的工業自動化軟體和系統公司。
• 這是一個非常棒的合作夥伴關係，他們正在全球範圍內工作工廠。
• Semantic Pick AI 現在整合了 Isaac 操縱器，Semantic Pick AI 執行和操作 ABB、KUKA、Yaskawa、FANUC、Universal Robotics 和 Techman。
• 所以 Siemens 是一個很棒的整合。
• 我們有各種其他的整合。
• 讓我們看看。
• ArcBest 將 Isaac Perceptor 整合到 Vox 智慧自主機器人中，用於增強物體識別和人類運動跟踪在材料處理中的應用。
• BYD Electronics 將 Isaac 操縱器和 Perceptor 整合到他們的 AI 機器人中，以提高全球客戶的製造效率。
• Idealworks 正在將 Isaac Perceptor 整合到他們的 iw.os 軟體中，用於工廠物流中的 AI 機器人。
• Intrinsic，一家 Alphabet 公司的子公司，正在將 Isaac 操縱器整合到他們的 Flowstate 平台中，以推進機器人抓取技術。
• Gideon 正在將 Isaac Perceptor 整合到 Trey AI 驅動的叉車中，以推進 AI 支援的物流。
• Argo Robotics 正在將 Isaac Perceptor 整合到 Perception Engine 中，用於先進的基於視覺的 AMR。
• Solomon 正在其 AcuPick 3D 軟體中使用 Isaac 操縱器 AI 模型，用於工業操縱。
• Techman Robot 正在將 Isaac Sim 和操縱器整合到 TM Flow 中，加速自動光學檢查。
• Teradyne Robotics 正在將 Isaac 操縱器整合到 ProScope X 用於協作機器人中，將 Isaac Perceptor 整合到 MiR AMR 中。
• Vention 正在將 Isaac 操縱器整合到 MachineLogic 中，用於 AI 操縱。
• [音樂] 機器人時代來臨。
• 物理 AI 已經到來。
• 這不是科幻小說。
• 它正在台灣各地被使用，真的非常激動人心。
• 那就是工廠，裡面的機器人，當然，所有的產品都將是機器人。

Drive AV

• 有兩種非常高產量的機器人產品。
• 一個當然是自動駕駛汽車或具有高度自主能力的汽車。
• NVIDIA 再次構建了整個堆疊 (stack)。
• 明年，我們將與 Mercedes 車隊一起進入生產，之後在 2026 年與 JLR 車隊合作。
• 我們向世界提供完整的堆疊 (stack)。
• 然而，你可以隨意選擇我們堆疊的任何部分，任何一層，就像整個 drive 堆疊是開放的一樣。

Humanoid Robots

• 下一個將由機器人工廠生產的高產量機器人產品可能是人形機器人 (humanoid robots)。
• 近年來，這一領域取得了很大進展，無論是認知能力還是我們正在開發的世界理解能力。
• 我對這一領域非常興奮，因為顯然最容易適應世界的機器人是人形機器人，因為我們為自己建造了這個世界。
• 我們還有最多的資料可以訓練這些機器人，因為我們有相同的體型。
• 因此，我們可以透過演示能力和影片能力提供的訓練資料量將會非常大。
• 所以我們在這一領域將會看到很大的進步。
• 好吧，我認為我們有一些機器人想要歡迎。
• 那麼來吧，差不多和我一樣高。
• 我們有一些朋友來加入我們。
• 所以機器人的未來已經到來。

Closing

• 下一波 AI。
• 當然，你知道，台灣製造帶鍵盤的電腦。
• 你製造口袋裡的電腦。
• 你製造雲中的資料中心電腦。
• 未來，你將製造可以行走的電腦和可以滾動的電腦。
• 所以這些都是電腦。
• 事實證明，構建所有其他電腦所需的技術與你今天構建的電腦非常相似。
• 所以這對我們來說將是一個非常非凡的旅程。
• 好吧，我想感謝你們。
• 我還有最後一個影片，如果你不介意。
• 這是我們非常喜歡製作的東西。
• 如果你，讓我們播放它。
• [音樂] [音樂]
• 為 [音樂]
• 為 [音樂] [音樂] [音樂]
• [掌聲] 謝謝。
• 我愛你們。
• 感謝 [掌聲] 你。
• 感謝大家的參與。
• 祝你有個愉快的 Computex。
• 感謝 [掌聲] 你。
• 我會讓你喜歡我。
• 和我一起唱 [音樂] 再一次。
• 一個 Computex，我們將向你展示最好的。
• 數位夢想和我。
• 給台灣的你們所有人，我們希望你喜歡這首歌。
• 是的，好我和 [音樂] [音樂]
• 再一次，感謝你們的參與。
• 數位雙胞胎和我。
• 我為新的一天醒來。
• 感受陽光在我臉上。
• 我驅散所有的壞情緒。
• 仰望天空。
• 我擁有這一刻在全球內。
• 我是太陽，高高在上。
• 我是你所想的星星。
• 現在花一分鐘，花一分鐘看見。
• 現在花一分鐘，我們正在演戲。
• 這是我能知道的一切。
• 再次在自由之地的頂端。
• E，e，e。