起因

感謝去年大家的高分回饋，今年很榮幸再度受邀參加台灣 AWS re:Invent re:Cap 系列活動，繼續在時間緊湊的歲末，挑戰雙 AWS Heroes 同台分享，我與 Scott 練習了數個夜晚、活動前一晚也在辛苦的 DTS 工作人員協助下參與彩排。感謝 Scott 不嫌棄我對一些細節的龜毛 :p 也感謝幕後眾多 AWS 新朋友、好朋友們的協助與指導、以及現場朋友的鼓勵與回饋，讓我們 AWS Heroes 有更多分享的動力，與大家一起拆解知識，一起前進市場，一起面對 2025！ :)

Read More

tl;dr 重點摘要

• AWS 服務從簡單到複雜系統的演進
• 推出 Amazon Aurora D SQL，展現全球分散式系統的強一致性
• 將時間同步化作為分散式系統的全新基礎架構
• 管理複雜度的六大原則：可演進性、分解、組織對齊、單元架構、可預測設計、自動化
• 藉由微服務和單元架構展示複雜度管理

Read More

tl;dr 重點摘要

• SageMaker 演進：整合分析、機器學習和生成式 AI 能力的全新統一體驗
• Bedrock 強化：新的模型合作夥伴（Luma AI、Poolside）、提示最佳化功能，以及進階 RAG 功能
• Amazon Q 改進：機器學習模型開發輔助、商業情境分析，以及開發者生產力工具
• 基礎架構最佳化：Hyperpod 任務治理、彈性訓練計畫，以及運算資源管理
• 安全性和負責任的 AI：強化多模態毒性偵測和自動推理檢查

Read More

tl;dr 重點摘要

• 宣布重大運算創新：Graviton4、Trainium2/3 以及配備 NVIDIA Blackwell 的 P6 執行個體，為一般和 AI 工作負載提供顯著的效能改進
• 藉由 S3 Table Buckets for Iceberg tables（查詢效能提升 3 倍）和 S3 Metadata 革新儲存方式，實現即時資料探索和分析
• 推出 Aurora D SQL 並增強 DynamoDB Global Tables，實現具有強一致性的真正分散式資料庫，提供比競爭對手快 4 倍的效能
• 推出 Amazon Nova AI 模型系列並以自動推理檢查和多代理協作增強 Bedrock，使生成式 AI 能實際應用於生產環境
• 將 SageMaker 重新構想為統一平台，整合資料、分析和 AI，具備Zero-ETL 功能，代表企業處理資料和 AI 工作負載方式的根本性轉變

Read More

tl;dr 重點摘要

• AWS 發布 Trainium2 Ultra Server - 這是 AWS 迄今最強大的 AI 基礎設施，具備 64 個 Trainium2 晶片透過 Neuron Link 技術協同運作，提供比目前任何 EC2 AI 伺服器高 5 倍的運算能力和 10 倍的記憶體容量，專為兆參數級 AI 模型設計。（我人在 AWS re:Invent Las Vegas 現場，週一剛好有參加到 Neuron Link 的一場 Code Talk 議程。）
• AWS 為 Amazon Bedrock 推出了低延遲推論優化，提供了包括 Llama2 和 Claude 3.5 Haiku 等熱門模型的優化版本，可比標準版本快上 60%，目前已開放預覽。（真的是都不用睡覺）
• AWS 發表 TNP Ten Network - AWS 最新的 AI 優化網路架構，可提供數十 PB 的網路容量，延遲低於 10 微秒，採用幹線連接器和 Firefly 光纖插頭等創新設計，使安裝速度提升 54% 並改善可靠性。

Read More

(圖說：彩色電子書 Amazon Kindle Colorsoft Signature Edition。圖片來源：Amazon Kindle Webpage。)

繼 Apple 突然發布 iPad Mini (7th generation) ^{1 2} ，Amazon 也緊接著發布新款彩色電子紙閱讀器 Kindle Colorsoft Signature Edition ³ 。

看來大家都不想錯過年底感恩節、黑色星期五、聖誕節檔期呀。雖然剛入手 reMarkable Papar Pro，雖然取向不同（紙張 vs 書籍），但看到彩色電子紙產品陸續面世，還是有點心動，對我來說可以更方便閱讀 AWS 流程圖、架構圖等資訊。也許可以來等看看黑五有沒有一波優惠。

Read More

(圖片來源：Photo by Jason Dent on Unsplash)

這是和好友同事一起開發、調整、維護的 PHP 容器。原始設計目的是想讓 php-fpm 與 nginx 結合，形成一個簡化的環境，能方便地使 Laravel 運作在雲原生環境、AWS Fargate、Amazon ECS 等環境下。我們將之拿來作為基底，用於手邊各種專案的教學與實作、各種比較測試、包含用於 x86/ARM 運算架構比較等等。

隨著 PHP 新版本的更新與發布，我們計畫將做過的效能測試比較，每季（沒忘記的話）釋出一份測試結果與 PHP 同好們一起分享。

• 若您覺得這個容器專案對您有所幫助，期待您能應用於手邊的專案上、分享給朋友、或幫這個專案按一個星星 ⭐ :)
  • 釋出的 Docker image 放置於 Docker Hub: dwchiang/nginx-php-fpm
  • 原始 Dockerfiles 放置於 GitHub: dwchiang/nginx-php-fpm
  • 如果您有是用這個容器在任何專案，歡迎與我們分享您的應用，也讓我們知道應該規劃多少資源在這個容器專案上。
• 若您也對這個主題【在 Amazon ECS 運行 Laravel】感興趣的話，可延伸參考
  • 這個自助學習、有完整架構圖的線上工作坊: GitHub: dwchiang/laravel-on-aws-ecs-workshops、
  • 或是我的這場演講，有投影片、錄影: 在 AWS 上運行 Laravel/PHP 容器應用程式 (AWS Builders Day Taiwan 2022)

預覽

Read More

(圖說：準備開箱 Remarkable Paper Pro。圖片來源：Ernest。)

看著 reMarkable 2 好一陣子，想說手邊有 iPad、 Apple Pencil 以及 Amazon Kindle 似乎場景過度重疊，加上一直耳聞彩色電子紙產品即將遍地開花，也就一直擱置採購。直到兩週前 reMarkable 突然釋出 reMarkable Paper Pro，一看完 Launch Event 影片 之後，就腦波很弱的被帶去下單，然後兩週之後，回家就踢到一個箱子 :)

以下簡單紀錄開箱時體驗到 reMarkable 團隊的各種巧思與細節。

Read More

NVIDIA 執行長 黃仁勳 在這場 Computex 主題演講中，著重介紹了 NVIDIA 在加速運算、人工智慧 (AI) 領域的最新進展，以及它們對各行業產生的深遠影響。他強調生成式 AI 所需要的底層架構，將要且需要徹底改革整個運算產業，且 NVIDIA 已經累積了一定的安裝基數可以讓改變發生。

演講內容突顯了 NVIDIA 在這場科技變革中扮演關鍵角色，他們累積了許許多多劃時代的科技，如擬真世界 Omniverse、CUDA 加速運算，以及 NVIDIA 推理微服務 (NIMs)。這使得各領域的研究人員無須煩心底層技術，更能專心於打造各領域模型、應用當中。黃仁勳描繪了一個人工智慧將無所不在的未來，從客戶服務代理人、digital humans，到理解物理定律的 digital twins、robotics 多模態模型，也提到了 NVIDIA GPU 產品路線圖，預告未來將迎來更大、更節能的 GPU 產品。

摘要 tl;dr

• NVIDIA 開發出一種對比於特斯拉交流發電機的「AI 發電機」，能夠產生 tokens (文字、圖像、視訊等)，為價值數萬億美元的產業服務。
• NVIDIA CUDA 技術可加速各種任務，提供超高效能提升，同時將功耗和成本降低，有效解決運算通貨膨脹問題。
• NVIDIA Omniverse 的擬真世界，利用加速運算和 AI，而 NVIDIA 已經擁有 350 種特定領域程式庫，讓他們能夠支援各種產業與各種市場。
• NIMs 是一種新型軟體封裝方式，NIMs 可以建立並組織 AI 團隊來處理複雜任務，除了可以在雲端執行，也可以在個人電腦上執行。
• 未來的 AI 模型需要理解物理定律，將需要更大量的運算，更多更大的 GPU。NVIDIA 正在提高可靠性、並繼續提升資料壓縮與解壓縮效率、以及資料傳輸效率。

Ernest Notes:

即視感回憶，當年「Apple Mac vs Windows + Intel」、「Apple iOS vs Android」，歷史經驗推測，市場上多半會形成兩強或三強陣營局面，其中一路強項於高度整合、其他（短期內）無法高度整合者將提供有限制條件的彈性方案。

歷經約莫十次迭代週期後，各大陣營都已進到各種客戶、產業裡頭，所能提供的服務、功能也逐步趨同（往本質需求靠攏），同時也累積出新的問題，讓下一個局面開局。

之前是 Apple 硬體先發、Apple 軟體後至，從套裝軟體往 Apps、SaaS 移動，現在是 NVIDIA 軟硬體整合，未來相信也會與基礎設施打掉重練有關。可持續觀察哪裡有疊床架屋、哪裡有營運無效率，哪裡就有機會。

Read More

摘要 tl;dr

• Google 為了兼顧面對 個人用戶 (B2C) 和 企業用戶 (B2B) 兩種溝通，產品線的劃分相較於 Amazon, AWS 來的破碎、分散。不一定是壞事，但也未必是好事。產品與產品之間的同步會較有挑戰。
• Google 模型 Gemini 和 Gemma 目標處理長文本情境、多模態輸入、跨檔案格式輸入資訊。但如何保持技術領先（面對開發者、夥伴與生態系）、多模態輸出（面對客戶需求）、如何控制成本（面對投資人），接下來將 Gemini 整合到上百個 Google 產品與功能裡頭，將是 Google 的當務之急。
• 在這 AI 浪潮與技術迭代鋪天蓋地之下，整場主題演講，最讓我印象深刻的是 DONALD GLOVER 的這段話：「每個人都會成為導演，每個人都應該成為導演。因為在這一切的核心就是講故事。我們越接近能夠講述彼此的故事，我們就越能理解彼此。」
• 是說，可以發揮 Gemini 的長上下文情境優勢讓 Google Translate 在合適上下文情境下，不要將「LLM」翻譯成「法學碩士」嗎？

Read More