tl;dr 重點摘要

• AWS 服務從簡單到複雜系統的演進
• 推出 Amazon Aurora D SQL，展現全球分散式系統的強一致性
• 將時間同步化作為分散式系統的全新基礎架構
• 管理複雜度的六大原則：可演進性、分解、組織對齊、單元架構、可預測設計、自動化
• 藉由微服務和單元架構展示複雜度管理

Read More

tl;dr 重點摘要

• SageMaker 演進：整合分析、機器學習和生成式 AI 能力的全新統一體驗
• Bedrock 強化：新的模型合作夥伴（Luma AI、Poolside）、提示最佳化功能，以及進階 RAG 功能
• Amazon Q 改進：機器學習模型開發輔助、商業情境分析，以及開發者生產力工具
• 基礎架構最佳化：Hyperpod 任務治理、彈性訓練計畫，以及運算資源管理
• 安全性和負責任的 AI：強化多模態毒性偵測和自動推理檢查

Read More

tl;dr 重點摘要

• 宣布重大運算創新：Graviton4、Trainium2/3 以及配備 NVIDIA Blackwell 的 P6 執行個體，為一般和 AI 工作負載提供顯著的效能改進
• 藉由 S3 Table Buckets for Iceberg tables（查詢效能提升 3 倍）和 S3 Metadata 革新儲存方式，實現即時資料探索和分析
• 推出 Aurora D SQL 並增強 DynamoDB Global Tables，實現具有強一致性的真正分散式資料庫，提供比競爭對手快 4 倍的效能
• 推出 Amazon Nova AI 模型系列並以自動推理檢查和多代理協作增強 Bedrock，使生成式 AI 能實際應用於生產環境
• 將 SageMaker 重新構想為統一平台，整合資料、分析和 AI，具備Zero-ETL 功能，代表企業處理資料和 AI 工作負載方式的根本性轉變

Read More

tl;dr 重點摘要

• AWS 發布 Trainium2 Ultra Server - 這是 AWS 迄今最強大的 AI 基礎設施，具備 64 個 Trainium2 晶片透過 Neuron Link 技術協同運作，提供比目前任何 EC2 AI 伺服器高 5 倍的運算能力和 10 倍的記憶體容量，專為兆參數級 AI 模型設計。（我人在 AWS re:Invent Las Vegas 現場，週一剛好有參加到 Neuron Link 的一場 Code Talk 議程。）
• AWS 為 Amazon Bedrock 推出了低延遲推論優化，提供了包括 Llama2 和 Claude 3.5 Haiku 等熱門模型的優化版本，可比標準版本快上 60%，目前已開放預覽。（真的是都不用睡覺）
• AWS 發表 TNP Ten Network - AWS 最新的 AI 優化網路架構，可提供數十 PB 的網路容量，延遲低於 10 微秒，採用幹線連接器和 Firefly 光纖插頭等創新設計，使安裝速度提升 54% 並改善可靠性。

Read More

(圖說：彩色電子書 Amazon Kindle Colorsoft Signature Edition。圖片來源：Amazon Kindle Webpage。)

繼 Apple 突然發布 iPad Mini (7th generation) ^{1 2} ，Amazon 也緊接著發布新款彩色電子紙閱讀器 Kindle Colorsoft Signature Edition ³ 。

看來大家都不想錯過年底感恩節、黑色星期五、聖誕節檔期呀。雖然剛入手 reMarkable Papar Pro，雖然取向不同（紙張 vs 書籍），但看到彩色電子紙產品陸續面世，還是有點心動，對我來說可以更方便閱讀 AWS 流程圖、架構圖等資訊。也許可以來等看看黑五有沒有一波優惠。

Read More

(圖片來源：Photo by Jason Dent on Unsplash)

這是和好友同事一起開發、調整、維護的 PHP 容器。原始設計目的是想讓 php-fpm 與 nginx 結合，形成一個簡化的環境，能方便地使 Laravel 運作在雲原生環境、AWS Fargate、Amazon ECS 等環境下。我們將之拿來作為基底，用於手邊各種專案的教學與實作、各種比較測試、包含用於 x86/ARM 運算架構比較等等。

隨著 PHP 新版本的更新與發布，我們計畫將做過的效能測試比較，每季（沒忘記的話）釋出一份測試結果與 PHP 同好們一起分享。

• 若您覺得這個容器專案對您有所幫助，期待您能應用於手邊的專案上、分享給朋友、或幫這個專案按一個星星 ⭐ :)
  • 釋出的 Docker image 放置於 Docker Hub: dwchiang/nginx-php-fpm
  • 原始 Dockerfiles 放置於 GitHub: dwchiang/nginx-php-fpm
  • 如果您有是用這個容器在任何專案，歡迎與我們分享您的應用，也讓我們知道應該規劃多少資源在這個容器專案上。
• 若您也對這個主題【在 Amazon ECS 運行 Laravel】感興趣的話，可延伸參考
  • 這個自助學習、有完整架構圖的線上工作坊: GitHub: dwchiang/laravel-on-aws-ecs-workshops、
  • 或是我的這場演講，有投影片、錄影: 在 AWS 上運行 Laravel/PHP 容器應用程式 (AWS Builders Day Taiwan 2022)

預覽

Read More

(圖說：準備開箱 Remarkable Paper Pro。圖片來源：Ernest。)

看著 reMarkable 2 好一陣子，想說手邊有 iPad、Apple Pencil 以及 Amazon Kindle 似乎場景過度重疊，加上一直耳聞彩色電子紙產品即將遍地開花，也就一直擱置採購。直到兩週前 reMarkable 突然釋出 reMarkable Paper Pro，一看完 Launch Event 影片之後，就腦波很弱的被帶去下單，然後兩週之後，回家就踢到一個箱子 :)

以下簡單紀錄開箱時體驗到 reMarkable 團隊的各種巧思與細節。

Read More

NVIDIA 執行長 黃仁勳 在這場 Computex 主題演講中，著重介紹了 NVIDIA 在加速運算、人工智慧 (AI) 領域的最新進展，以及它們對各行業產生的深遠影響。他強調生成式 AI 所需要的底層架構，將要且需要徹底改革整個運算產業，且 NVIDIA 已經累積了一定的安裝基數可以讓改變發生。

演講內容突顯了 NVIDIA 在這場科技變革中扮演關鍵角色，他們累積了許許多多劃時代的科技，如擬真世界 Omniverse、CUDA 加速運算，以及 NVIDIA 推理微服務 (NIMs)。這使得各領域的研究人員無須煩心底層技術，更能專心於打造各領域模型、應用當中。黃仁勳描繪了一個人工智慧將無所不在的未來，從客戶服務代理人、digital humans，到理解物理定律的 digital twins、robotics 多模態模型，也提到了 NVIDIA GPU 產品路線圖，預告未來將迎來更大、更節能的 GPU 產品。

摘要 tl;dr

• NVIDIA 開發出一種對比於特斯拉交流發電機的「AI 發電機」，能夠產生 tokens (文字、圖像、視訊等)，為價值數萬億美元的產業服務。
• NVIDIA CUDA 技術可加速各種任務，提供超高效能提升，同時將功耗和成本降低，有效解決運算通貨膨脹問題。
• NVIDIA Omniverse 的擬真世界，利用加速運算和 AI，而 NVIDIA 已經擁有 350 種特定領域程式庫，讓他們能夠支援各種產業與各種市場。
• NIMs 是一種新型軟體封裝方式，NIMs 可以建立並組織 AI 團隊來處理複雜任務，除了可以在雲端執行，也可以在個人電腦上執行。
• 未來的 AI 模型需要理解物理定律，將需要更大量的運算，更多更大的 GPU。NVIDIA 正在提高可靠性、並繼續提升資料壓縮與解壓縮效率、以及資料傳輸效率。

Ernest Notes:

即視感回憶，當年「Apple Mac vs Windows + Intel」、「Apple iOS vs Android」，歷史經驗推測，市場上多半會形成兩強或三強陣營局面，其中一路強項於高度整合、其他（短期內）無法高度整合者將提供有限制條件的彈性方案。

歷經約莫十次迭代週期後，各大陣營都已進到各種客戶、產業裡頭，所能提供的服務、功能也逐步趨同（往本質需求靠攏），同時也累積出新的問題，讓下一個局面開局。

之前是 Apple 硬體先發、Apple 軟體後至，從套裝軟體往 Apps、SaaS 移動，現在是 NVIDIA 軟硬體整合，未來相信也會與基礎設施打掉重練有關。可持續觀察哪裡有疊床架屋、哪裡有營運無效率，哪裡就有機會。

Read More

摘要 tl;dr

• Google 為了兼顧面對 個人用戶 (B2C) 和 企業用戶 (B2B) 兩種溝通，產品線的劃分相較於 Amazon, AWS 來的破碎、分散。不一定是壞事，但也未必是好事。產品與產品之間的同步會較有挑戰。
• Google 模型 Gemini 和 Gemma 目標處理長文本情境、多模態輸入、跨檔案格式輸入資訊。但如何保持技術領先（面對開發者、夥伴與生態系）、多模態輸出（面對客戶需求）、如何控制成本（面對投資人），接下來將 Gemini 整合到上百個 Google 產品與功能裡頭，將是 Google 的當務之急。
• 在這 AI 浪潮與技術迭代鋪天蓋地之下，整場主題演講，最讓我印象深刻的是 DONALD GLOVER 的這段話：「每個人都會成為導演，每個人都應該成為導演。因為在這一切的核心就是講故事。我們越接近能夠講述彼此的故事，我們就越能理解彼此。」
• 是說，可以發揮 Gemini 的長上下文情境優勢讓 Google Translate 在合適上下文情境下，不要將「LLM」翻譯成「法學碩士」嗎？

Read More

摘要 tl;dr

在 2024 年的 GTC 大會上，代表全球超過 100 兆美元產業的焦點從降低運算成本轉變為指數級增加運算規模。這種典範轉移被稱為「生成」而非「推理」，標誌著從傳統的資料檢索方法向生成智慧輸出的轉移。討論強調了人工智慧的持續工業革命，即使是如蛋白質、基因及腦波等複雜實體也正在被數位化並透過 AI 理解，進而創造出它們的數位孿生。

主題演講強調了 AI 應用的轉變，提到 AI Foundry 的三個主要支柱：NIM、NeMo 微服務和 DGX Cloud。這些工具代表著一個新時代的開始，其中結構化和非結構化的資料都被轉換為一個動態的 AI 資料庫。這個資料庫不僅儲存資訊，還能與使用者進行智慧互動，代表著從傳統的語義編碼往一個內嵌在數位生成場景中的意義世界的重大演化。

Read More