tl;dr 重點摘要
- 宣布重大運算創新:Graviton4、Trainium2/3 以及配備 NVIDIA Blackwell 的 P6 執行個體,為一般和 AI 工作負載提供顯著的效能改進
- 藉由 S3 Table Buckets for Iceberg tables(查詢效能提升 3 倍)和 S3 Metadata 革新儲存方式,實現即時資料探索和分析
- 推出 Aurora D SQL 並增強 DynamoDB Global Tables,實現具有強一致性的真正分散式資料庫,提供比競爭對手快 4 倍的效能
- 推出 Amazon Nova AI 模型系列並以自動推理檢查和多代理協作增強 Bedrock,使生成式 AI 能實際應用於生產環境
- 將 SageMaker 重新構想為統一平台,整合資料、分析和 AI,具備Zero-ETL 功能,代表企業處理資料和 AI 工作負載方式的根本性轉變
內容大綱
知識圖譜
graph LR
subgraph AWS_Core[AWS Core Services]
Compute --- Storage --- DB[(Databases)] --- AI --- Analytics
end
subgraph Compute_Services[Compute]
Compute --> EC2
EC2 --> Instances[Instance Types]
Instances --> |New| P6[P6 with NVIDIA Blackwell]
EC2 --> Hyperpod
EC2 --> Chips[Custom Silicon]
Chips --> Nitro
Chips --> Graviton4
Chips --> Trainium
Trainium --> Trainium2
Trainium --> |2024| Trainium3
end
subgraph Storage_Services[Storage]
Storage --> S3
S3 --> |New| TableBuckets[S3 Table Buckets]
TableBuckets --> IcebergTables[Iceberg Tables]
IcebergTables --> Performance[3x Query Performance]
S3 --> |New| S3Meta[S3 Metadata]
S3Meta --> AutoUpdate[Real-time Updates]
S3Meta --> MetadataQuery[Queryable Metadata]
end
subgraph Database_Services[Databases]
DB --> Aurora
DB --> DynamoDB
Aurora --> |New| DSQL[Aurora D SQL]
DSQL --> MultiRegion[Multi-Region]
DSQL --> LowLatency[Low Latency]
DSQL --> StrongConsistency[Strong Consistency]
DynamoDB --> GlobalTables[Global Tables]
GlobalTables --> |New| GTConsistency[Strong Consistency]
end
subgraph AI_Services[AI & ML]
AI --> Bedrock
AI --> |New| Nova[Amazon Nova]
AI --> SageMaker
Bedrock --> |New| AutoReasoning[Automated Reasoning]
Bedrock --> |New| MultiAgent[Multi-Agent Collab]
Bedrock --> ModelDistillation
Bedrock --> RAG
Nova --> NovaModels[Nova Models]
NovaModels --> Foundation[Foundation Models]
Foundation --> Micro
Foundation --> Lite
Foundation --> Pro
Foundation --> Premier
NovaModels --> |New| Canvas[Nova Canvas]
Canvas --> ImageGen[Image Generation]
NovaModels --> |New| Reel[Nova Reel]
Reel --> VideoGen[Video Generation]
NovaModels --> |Coming| Speech[Speech-to-Speech]
NovaModels --> |Coming| AnyToAny[Any-to-Any]
end
subgraph Developer_Tools[Developer Tools]
AmazonQ[Amazon Q] --> QDev[Q Developer]
AmazonQ --> QBusiness[Q Business]
QDev --> |New| Transform[Q Transformation]
Transform --> Windows[Windows .NET]
Transform --> VMware[VMware Workloads]
Transform --> Mainframe[Mainframe]
QDev --> AutoAgents[Autonomous Agents]
AutoAgents --> Testing
AutoAgents --> Documentation
AutoAgents --> CodeReview
QDev --> |New| OpsTools[Operations Tools]
OpsTools --> Investigation[Issue Investigation]
QBusiness --> Automation
QBusiness --> QIndex[Q Index]
QIndex --> ThirdPartyAPI[3rd Party API Access]
end
subgraph Analytics_Platform[Analytics]
Analytics --> Redshift
Analytics --> EMR
Analytics --> OpenSearch
Analytics --> |New| ZeroETLApps[Zero-ETL for Apps]
SageMaker --> |New| UnifiedStudio[Unified Studio]
UnifiedStudio --> |New| SagemakerLH[SageMaker Lakehouse]
SagemakerLH --> IcebergCompat[Iceberg Compatible]
UnifiedStudio --> DataCatalog[Data Catalog]
end
開幕式和社群更新
歡迎詞和 re:Invent 概述
- 請歡迎 AWS 執行長 Matt Garman。
- [音樂]
- 大家好,歡迎來到 第 13 屆 AWS re:Invent。
- 很高興見到大家。
- 這是我第一次以執行長的身分參加這個活動,但這不是我第一次參加 re:Invent。
- 事實上,我很榮幸從 2012 年開始就參加了每一屆 re:Invent。
- 13 年來,很多事情都改變了。
- 但 re:Invent 最特別的地方依然不變。
- 把充滿熱情和活力的 AWS 社群聚集在一起,互相學習。
- 今天早上聽到大家的聲音,看到大家在走廊上走動,就能感受到這股能量。
- 我鼓勵大家好好把握這週的時間,互相學習。
活動規模和社群
- 今年我們有 將近 6 萬人親自到場,另外還有 40 萬人在線上觀看。
- 感謝所有觀看的朋友。
- 我們有 1900 場議程供大家參加,以及將近 3500 位講者。
- 許多講者和議程都是由在場的客戶、合作夥伴和 AWS 專家主持。
- 非常感謝各位。
- 你們分享的內容和專業知識,讓 re:Invent 變得與眾不同。
- 謝謝。
- [掌聲]
- Re:Invent 為每個人都準備了內容。
- 包含技術人員、主管、合作夥伴、學生等等。
- 但核心而言,re:Invent 是一個學習型會議,專注於建構者,特別是開發人員。
AWS Heroes 和開發者社群
- 事實上,當我接任這個職位後做的第一件事,就是花一些時間和我們的 AWS Heroes 相處。
- [掌聲]
- 向我相信坐在這裡的 Heroes 致敬。
- 我已經能聽到他們的聲音了。
- 我們的 Heroes 是 最專注和熱情的 AWS 開發人員之一。
- AWS 開發者社群的成長真的令人難以置信。
- 我們現在有 遍布全球 120 個國家的 600 個使用者群組。
- 整個 AWS 社群在全球有數百萬人。
- 這個社群最棒的地方之一,就是我們可以從你們那裡得到直接反映到產品的回饋。
- 這些回饋影響了我們今天在這裡建構和宣布的內容。
新創計畫和早期企業採用
- 在 2006 年,當我剛開始加入 AWS,當我們推出業務時,我們的第一批客戶是新創公司。
- 新創公司在我心中有特別的地位。
- 我最喜歡新創公司的一點是,他們渴望使用新技術。
- 他們會直接投入並給我們很好的回饋。
- 他們推動我們創新,他們在我們的基礎上創新,而且他們行動非常快速。
- 我們從新創公司學到很多。
- 現在有了 生成式 AI,對新創公司來說,從未有過如此令人興奮的時刻。
- 生成式 AI 有潛力顛覆每一個產業。
- 當你觀察顛覆者時,顛覆往往來自新創公司。
- 如果你是新創公司,現在是思考如何顛覆產業的絕佳時機。
- 我很興奮地宣布,在 2025 年,AWS 將在全球提供 10 億美元的額度給新創公司。
- 我們會持續投資在你們的成功上。
- [掌聲]
早期企業歷程
- 雖然新創公司是我們的第一批客戶,但企業其實很快就跟上了。
- 企業很快就意識到雲端有巨大的價值。
- 今天,全世界每個產業中最大的企業,不論垂直領域、規模大小,以及每個政府都在使用 AWS。
- 數百萬客戶在各種可想像的使用案例中運行。
- 但事情並非一直都是這樣。
- 讓我分享一個早期的故事。
- 那是在我們 AWS 旅程的早期,我們去紐約拜訪一些銀行。
- 他們對這個雲端運算的概念很感興趣。
- 我們和他們坐下來,他們非常好奇。
- 我們概述了我們的願景,說明雲端運算如何改變他們運行 IT 和技術的方式。
核心基礎架構創新
AWS 基礎架構和安全基礎
- 在創新時,要記住的一個重要事情是你真的要從客戶開始。
- 你要問他們什麼對他們重要,但你不能只是照客戶要求的做。
- 你要為他們發明。
- 我們稱之為 從客戶需求出發,然後反向推導。
- 我們撰寫的原始 AWS 願景文件是在 2003 年寫的。
- 當時,有很多科技公司在建構整合解決方案,試圖為你做所有事情。
- 他們最後做出的是這些大型單體解決方案,可以處理所有事情。
- 這樣就夠好了,但我們觀察到,足夠好不應該是你追求的全部。
- 你要追求最好的組件。
運算和 EC2 演進
- 今天,AWS 提供的運算執行個體比任何其他供應商都多得多。
- 這一切都始於 EC2。
- 有些人可能知道我實際上曾經領導 EC2 團隊多年。
- 技術上來說,我可能不被允許說我有最愛,但我真的很喜歡 EC2。
- 好消息是很多客戶也喜歡它。
- EC2 有更多選項、更多執行個體和更多功能。
- 它幫助你為你的應用程式或工作負載找到最合適的效能。
- 到目前為止,我們已經成長到 EC2 有 850 種不同的執行個體類型,分布在 126 個不同的系列中。
Graviton 和 Trainium 發展
- 在 2018 年,我們看到了運算的趨勢。
- 我們觀察到 ARM 核心變得更快。
- 大多數都用在行動裝置上,但它們變得更強大。
- 我們有個想法,也許我們可以將那個技術曲線與我們對客戶最重要需求的理解結合起來。
- 我們決定開發一個 客製化的通用處理器。
- 當時,這是一個非常有爭議的想法。
- 今天,Graviton 被幾乎所有的 AWS 客戶廣泛使用。
- Graviton 比 x86 提供了 40% 更好的價格效能比。
- 它使用 60% 更少的能源,這太棒了。
- 你可以同時減少碳足跡並獲得更好的價格效能。
最新運算創新
- 今天我很高興宣布 P6 系列執行個體。
- [掌聲]
- P6 執行個體將採用 NVIDIA 的新 Blackwell 晶片。
- 它們將在明年初推出。
- P6 執行個體將提供比目前世代 GPU 快 2.5 倍的運算速度。
- 今天我很興奮地宣布 Trainium Two power GCN Two 執行個體正式推出。
- [掌聲]
- Trainium Two 執行個體是我們最強大的生成式 AI 執行個體。
- 這些執行個體是專門為尖端生成式 AI 訓練和推論的高要求工作負載所打造的。
Trainium 與 AI 加速
- [掌聲]
- 看到全世界一些最具創新性的公司都在傾力投入並採用 Trainium Two 來推動他們尖端的 AI 工作,這真是太棒了。
- 全世界最大、最具創新性的公司之一就是 Apple。
- 現在要來跟大家分享 Apple 和 AWS 如何透過長期合作夥伴關係來加速訓練和推論,為他們的客戶打造獨特功能的是 Benoit Dupin,Apple 的機器學習與 AI 資深總監。
- [音樂]
- 謝謝 Matt,大家早安。
- [音樂]
- 我很高興今天能以客戶的身分回來,我在 Amazon 度過了許多美好的歲月,當時負責領導產品搜尋。
- 十年前我加入了 Apple,現在負責監督公司的機器學習、AI 和搜尋基礎設施。
- 這包括我們的模型訓練、基礎模型推論平台,以及用於 Siri 搜尋等其他服務。
- 在 Apple,我們專注於提供能豐富用戶生活的推論體驗。
- 讓這一切成為可能的是硬體、軟體和服務的結合,為我們的用戶創造獨特的體驗。
- 許多這樣的體驗都是我們製造的裝置的一部分,有些則是在雲端運行,像是 iCloud Music、Apple TV News、App Store、Siri 等等。
- Apple 業務的獨特之處在於我們營運的規模,以及我們創新的速度。
- AWS 一直能夠跟上腳步,而我們已經成為他們超過十年的客戶。
- 他們持續在全球範圍內支援我們動態的需求。
- 隨著我們在機器學習和 AI 方面的努力不斷擴大,我們對 AWS 的使用也同步增長。
- 我們很感謝與 AWS 的合作。
- 我們擁有穩固的關係,而且他們的基礎設施既可靠又高效,能夠為我們的客戶提供全球服務。
- 我們依賴的服務實在太多了,這個小螢幕都放不下。
- 舉例來說,當我們需要在全球範圍內擴展搜尋推論時,我們透過在超過十個區域使用 AWS 服務來實現。
- 最近,我們開始使用 AWS 的 Graviton 和 Inferentia 解決方案,用於近似最近鄰搜尋和關鍵值串流存儲等機器學習服務。
- 將我們的 AWS 執行個體從 x86 遷移到 Graviton 後,我們實現了超過 40% 的效率提升,而且我們的一些搜尋文本功能的執行效率提高了一倍。
- 在從 G4 執行個體遷移到 Inferentia Two 之後。
- 今年是我們在機器學習和 AI 方面最具雄心的一年,因為我們建立並推出了 Apple Intelligence。
- Apple Intelligence 就是個人智慧。
- 它是一套令人難以置信的功能,整合在 iPhone、iPad 和 Mac 中,能夠理解你並幫助你工作、溝通和表達自己。
- Apple Intelligence 由我們自己的大型語言模型、擴散模型驅動,並在裝置和伺服器上進行調適。
- 功能包括我們的系統級寫作工具、通知摘要、Siri 的改進,以及更多功能,其中包括我最喜歡的 Genmoji。
- 這些功能都在每個步驟都保護用戶隱私的方式下運行。
- 為了開發 Apple Intelligence,我們需要進一步擴展我們的訓練基礎設施。
- 為了支持這項創新,我們需要使用大量最高效能的加速器。
- 而 AWS 再次與我們並肩同行,幫助我們擴展。
- 我們在 AI 和機器學習生命週期的幾乎所有階段都使用 AWS 服務。
- 我們利用 AWS 的關鍵領域包括微調我們的模型。
- 訓練後的優化,我們在這裡壓縮模型以適應裝置,並建立和完成我們的 Apple Intelligence 調適器。
- 準備部署在 Apple 裝置和伺服器上。
- 隨著我們持續擴展 Apple Intelligence 的功能,我們將繼續依賴 AWS 提供的可擴展、高效且高性能的加速器技術。
- 就像 Matt 提到的,Trainium Two 剛剛開始全面上市。
- 我們正在評估 Trainium Two 的早期階段,而且根據初步數據,我們預期在預訓練方面可以提高高達 50% 的效率。
- 與 AWS 合作,我們發現緊密合作並利用最新技術幫助我們在雲端中更有效率。
- AWS 的專業知識、指導和服務在支持我們的規模和成長方面發揮了重要作用,最重要的是,在為我們的用戶提供令人難以置信的體驗方面。
- 非常感謝。
- [掌聲]
- [音樂]
- 好的,非常感謝,Benoit。
- 我們非常感謝長期以來的合作夥伴關係,我們也很期待你們提供的所有這些超級實用的功能,我們都可以使用。
- 迫不及待想看看你們使用 Trainium Two 會帶來什麼樣的創新。
- 好的,現在,正如你們所看到的,我們對今天宣布 Trainium Two 全面上市感到非常興奮,事實證明,生成式 AI 領域正在以閃電般的速度發展。
- 所以我們也不會放慢腳步。
- 我們承諾長期實現 Trainium 的願景。
- 我們知道我們必須跟上生成式 AI 的不斷發展需求,以及你們所需要的整個執行個體環境,這就是為什麼我今天很興奮地宣布下一個重大突破。
- 今天我們宣布 Trainium Three,將於明年晚些時候推出。
- [掌聲]
- Trainium Three 將是 AWS 首次在三奈米製程上製造的晶片,它將為您提供比 Trainium Two 多兩倍的運算能力。
- 它的效率也將提高 40%,這也很棒。
- 所以它將允許你們所有人建立更大、更快、更令人興奮的生成式 AI 應用程式。
- 更多執行個體,更多功能。
- 在 Nitro、Graviton 和 Trainium 的矽創新方面,比任何其他雲端都擁有更多的運算能力。
- 我們擁有高性能網路,確保網路不會成為你的障礙。
- 這就是為什麼平均每天有 1.3 億個新的 EC2 執行個體被啟動的原因。
儲存解決方案與 S3 增強功能
- 真是令人難以置信。
- 現在,我們每天都在重新定義雲端運算的意義。
- 但當然,你的應用程式並不會止步於運算。
- 讓我們繼續討論下一個基礎模組,那就是儲存。
- 現在,如果每個應用程式都需要運算是因為它提供所有的處理能力,那麼當然每個應用程式也都需要儲存,因為那是你的資料所在之處。
- 我知道這是很久以前的事了,但你們有些人可能還記得在 AWS 之前的儲存是什麼樣子。
- 你會有一個房間,裡面堆滿了這些儲存盒,一個盒子裝滿了,你就得再添一個,然後又要再添一個。
- 然後你還得回到第一個盒子,因為你必須更換一些硬碟,管理起來真的很困難。
- 在今天的世界裡,要跟上你們所有人的資料規模其實幾乎是不可能的。
- 在 2006 年,我們設想了一個更好的方式,我們可以提供簡單、持久、高度可擴展、安全的儲存,幾乎可以與任何應用程式一起擴展。
- 於是我們推出了 S3。
- 這是我們在 2006 年推出的第一個服務,它從根本上改變了人們管理資料的方式,從一開始就被設計來處理過去 18 年來的爆炸性成長。
- S3 現在儲存著超過 400 兆個物件。
- 這真是令人難以置信。
- 這個數字真的很難想像。
- 這裡有一個有趣的事情。
- 十年前,我們只有不到 100 個客戶儲存了一個 PB 的資料。
- 一個 PB 是很大的儲存空間。
- 我們只有不到 100 個客戶在 S3 中儲存了一個 PB 的資料。
- 如今我們有數千個客戶都儲存了超過一個 PB 的資料,還有幾個客戶儲存了超過一個 EB 的資料。
- 而這種擴展能力現在已經被客戶視為理所當然。
- 但這不僅僅是關於擴展。
- 如今資料正在爆炸性成長。
- 而擴展部分你大多假設 S3 會幫你處理。
- 然而,下一件你們許多人必須擔心的事情是成本。
- 但事實證明我們也為你簡化了這一點。
- 沒有人能比我們提供更多選項來平衡你需要的儲存性能和成本。
- 我們有很多 SKU 來幫助你解決這個問題。
- 像是 S3 Standard,它具有高度持久性,適用於你經常存取的大多數工作負載。
- 但當你有不經常存取的物件時,我們有 S3 Infrequent Access 讓你降低成本。
- 我們有像 S3 Glacier 這樣的服務,它可以為你幾乎不需要存取的備份和存檔物件進一步降低高達 95% 的成本。
- 現在,客戶告訴我們,他們喜歡這些不同的 SKU 和不同的選擇來幫助他們平衡成本和效能,但要弄清楚該使用哪個 SKU 也需要很多工作,可能會變得複雜。
- 所以我們決定讓它變得更簡單。
- 幾年前我們推出了 S3 Intelligent-Tiering。
- S3 Intelligent-Tiering 會分析你的儲存存取模式,並自動將你的資料移動到適當的層級。
- 自從我們推出 S3 Intelligent-Tiering 以來,在你不需要做任何額外工作的情況下,客戶已經節省了超過 40 億美元。
- 這真是太棒了。
- 而真正強大的是當你可以完全消除所有的複雜性,只專注於發展你的業務。
- 所以無論你在管理 GB、PB 甚至 EB 的資料,S3 都可以為你處理。
- 而這種規模的好處之一就是性能、成本和易用性以及進階功能,這就是為什麼 S3 支援著全球超過一百萬個資料湖 的原因。
- 現在資料湖支援大型分析工作負載。
- 像是金融模型、即時廣告和 AI 工作負載,而 S3 多年來已經提供了許多資料湖創新。
- 他們提供了每秒交易量的增加,所以你可以支援更快的分析。
- 他們增加了強一致性的支援。
- 他們增加了低延遲 SKU,所以你可以在雲端中更快地存取。
- 有趣的是,當我與客戶交談時。
- 你會問,你最喜歡 S3 的什麼?
- 他們會告訴我,你知道我最喜歡 S3 的什麼嗎?S3 就是好用。
- 這就是為什麼我們把這當作一種讚美。
- 但如你所知,AWS 永遠不會滿足。
- 所以 S3 團隊退一步思考,我們如何讓 S3 變得更好?
- 於是他們思考如何改進 S3 以支援大型分析和 AI 使用案例。
- 首先,讓我們退一步來了解你如何思考你的分析資料。
- 首先要了解它是如何組織的。
- 所以大多數分析資料實際上是以表格形式組織的。
- 這是一種處理大量你想要查詢的不同資料的高效方式。
- 而 Apache Parquet 實際上已經成為在雲端中儲存表格資料的事實標準。
- 而這些大多儲存在 S3 中。
- 事實上,因為它非常適合資料湖,Parquet 實際上是 S3 中成長最快的資料湖或資料類型之一。
- 現在,當你有一堆這些 Parquet 檔案時,許多客戶有數百萬個,實際上 AWS 中有些客戶有數十億個 Parquet 檔案。
- 你想要在它們之間進行查詢,所以你需要一個檔案結構來支援這點。
- 而今天大多數人使用 Apache Iceberg 來支援這點。
- Iceberg 是一個開源的高性能格式,允許你處理所有這些不同的檔案格式和 Parquet 檔案,並實現一些非常有用的功能。
- 它可以在這個廣泛的資料湖中啟用 SQL 存取,所以你的組織中的不同人可以使用各種不同的分析工具。
- 也許他們使用 Spark 或 Flink 或其他工具,他們都可以安全地處理資料而不用擔心干擾彼此的工作負載。
- Iceberg 對此是一個超級有用的開源結構,它提供了許多這些功能。
- 許多客戶會告訴你,就像許多開源專案一樣,Iceberg 實際上很難管理,特別是在大規模的情況下。
- 管理性能很困難。
- 管理可擴展性很困難。
- 管理安全性很困難。
- 所以大多數人都會僱用專門的團隊來做這些事。
- 你做這些事情來處理表格維護。
- 你擔心資料壓縮。
- 你擔心存取控制。
- 所有這些管理的事情。
- 你開始管理並試圖從你的 Iceberg 實作中獲得更好的性能。
- 所以我們問了一個問題,如果 S3 可以為你做這些事呢?
- 如果我們可以自動做這些事呢?
- 好的,我很興奮地宣布推出新的 S3 類型 S3 Table Buckets。
- [掌聲]
- 這是 S3 Table Buckets。
- 這是 S3 Tables。
- 這是一個專門用於 Iceberg 表格的新桶型。
- 而這做的是我們基本上改進了所有 Iceberg 表格的性能和可擴展性。
- 如果你將所有 Parquet 檔案儲存到 Iceberg,到這些 S3 Table Buckets 中的一個,你可以獲得三倍更好的查詢性能。
- 與將這些 Iceberg 表格儲存在一般用途的 S3 桶中相比,你可以獲得十倍更高的每秒交易量,這是在幾乎不需要額外工作的情況下獲得的巨大性能。
- 現在這是如何運作的呢,S3 為你做這些工作。
- 你把它放在這裡,我們會自動處理所有的表格維護事件,像是壓縮、快照管理,所有那些無差異的事情。
- 我們會移除未引用的檔案來幫助管理大小,所有這些都會持續優化。
- 我們會持續優化你的查詢性能和成本,隨著你的資料湖擴展。
- 所以這是一個很棒的事情,S3 完全重新發明了物件儲存。
- 專門針對資料湖世界,提供更好的性能、更好的成本和更好的擴展性。
- 我認為這對資料湖性能來說是一個遊戲改變者,但性能實際上只是等式的一小部分。
- 你們都知道,隨著資料量的擴展,要找到你要找的資料實際上變得越來越困難。
- 所以當你真的變得很大,當你有 PB 級的資料時,元資料變得非常重要。
- 元資料是這些資訊,幫助你組織和理解你在 S3 中儲存的物件的資訊。
- 所以你真的可以找到你在找的東西,無論你有 PB 或 EB 的資料。
- 元資料很有幫助,但你必須有一種方式來查看它。
- 我就用我手機上的一個例子來說明為什麼元資料很有用。
- 我不知道你們怎麼想。
- 我有很多照片,所以我實際上去搜尋我想找一張我在舊的 re:Invent 的照片,這並不難。
- 我實際上搜尋了拉斯維加斯。
- 我搜尋了 2001 年,我很快就找到了這個。
- 這是我和 Don MacAskill 的照片,他就坐在前排,他是 SmugMug 的 CEO。
- Don 實際上是 我們在 2006 年的第一個 S3 客戶。
- 謝謝你,Don。
- [掌聲]
- 現在,我是如何快速找到這張照片的?
- 我不知道,我的手機就是自動添加了元資料,對吧?
- 它添加了位置。
- 它添加了照片儲存時的日期,所以我很容易搜尋到它。
- 你需要一種方式來輕鬆找到這些資料,但當你今天在 S3 中做這件事時,實際上真的很難。
- 你必須建立一個元資料系統,你必須首先建立一個儲存中所有物件的列表,然後你建立和管理這個事件處理管道,因為你必須弄清楚如何添加元資料並將其與所有 S3 物件關聯。
- 所以你基本上建立了這些做這件事的事件處理管道。
- 你將元資料儲存在某種可以查詢的資料庫
資料庫演進
- 我想把我們的焦點轉移到另一個重要的基礎模組:資料庫。
- 在 AWS 早期,我們看到了一個真正改進資料庫運作方式的機會。
- 事實證明資料庫非常複雜,管理它們需要大量的開銷。
- 而客戶花了很多時間做修補和管理這類的事情。
- 我們知道有很多工作我們可以為他們承擔。
- 所以我們開始著手消除這些繁重的工作。
- 我們推出了 RDS,第一個全受管的關聯式資料庫服務。
- 當你今天與客戶交談時,他們會告訴你他們永遠不會回到未受管的資料庫服務。
- 他們喜歡受管資料庫。
- 當我們第一次推出 RDS 時,世界上絕大多數的應用程式都在關聯式資料庫上運行,但事實證明應用程式的性質正在演進。
- 隨著網際網路的發展,應用程式開始有了更多的使用者。
- 它們越來越分散在世界各地,而客戶對性能和延遲的期望也開始有了很大的不同。
- 我們自己在 Amazon.com 的零售網站上也經歷了這一點。
- 所以在 2004 年,我們有幾位工程師意識到 我們超過 70% 的資料庫操作只是簡單的鍵值交易,這意味著我們會運行一個簡單的 SQL 查詢,你會用主鍵獲得主要的資料,然後你會得到一個單一的值。
- 我們問自己,為什麼要為這個用關聯式資料庫呢?
- 這似乎太重了,當時團隊的想法是也許我們可以讓它表現得更好。
- 如果我們能建立一個專門的資料庫,我們可以讓它更快、更便宜,並且可以更好地擴展。
- 所以那些工程師,其中兩位你們在這裡看到的,就是我們自己的 Swami 和 Werner,他們本週稍後會進行主題演講,他們寫了現在被稱為 Dynamo 的論文,這篇論文真正催生了 NoSQL 運動。
- 它也讓我們開發了 DynamoDB。
- Dynamo 是一個無伺服器、NoSQL、全受管的資料庫,可以在任何規模下提供毫秒級的延遲性能,可以完全向上和向下擴展。
- 但 Dynamo 只是我們建立的第一個專用資料庫。
- 我們對此感到非常興奮,並開始建立許多專用資料庫,從圖形資料庫到時間序列資料庫到文件資料庫。
- 這裡的想法是你們都需要最適合工作的最佳工具。
- 而這就是這些資料庫所提供的。
資料庫演進與 Aurora 更新
- 現在,這些 NoSQL 資料庫在各種專用資料庫中已經非常受歡迎。
- 它們實現了許多原本不可能的工作負載。
- 而且你們都很喜歡它們。
- 但事實證明,有時最適合的資料庫仍然是關聯式資料庫。
- 所以關聯式資料庫並沒有消失。
- 對許多應用程式來說,它仍然是最佳解決方案。
- 因此我們在這方面也持續創新。
- 你們要求我們打造具有商業資料庫可靠性,但授權條款更友善且具有開源可攜性的關聯式資料庫。
- 所以我們現在正在 慶祝在 re:Invent 上推出 Aurora 十週年,慶祝十年。
- [掌聲]
- Aurora 當然完全相容於 MySQL 和 Postgres,並且提供 比自行管理的開源資料庫快 3 到 5 倍的效能,而成本只有商業資料庫的十分之一。
- 難怪 Aurora 成為我們成長最快、最受歡迎的服務,擁有數十萬客戶。
- 但我們當然沒有停止創新。
- 這裡只是我們多年來在 Aurora 上推出的創新的一小部分。
- 我們推出了 serverless,讓你不用再管理容量。
- 我們為 Aurora 推出了 I/O 優化,為你提供更好的價格、效能和更可預測的價格。
- 我們為你提供了 無限制資料庫,讓你能夠完全無限制地進行水平擴展。
- 而且我們在 Aurora 中加入了 向量功能和 AI,以協助處理生成式 AI 的使用案例。
- 還有許多其他功能,我們持續突破成本、效能、易用性和功能的界限。
- 因此團隊檢視了所有這些創新,並與一些最優秀的資料庫客戶坐下來,詢問他們完美的資料庫解決方案會是什麼樣子?
- 就像如果你去掉所有限制,一個完美的資料庫會是什麼樣子?
- 客戶告訴我們,他們知道我們可能無法提供所有東西,但如果可以的話,他們希望有一個具有高可用性的資料庫。
- 當然要能夠跨區域運行,為讀寫操作提供極低延遲,提供強一致性,當然對他們來說沒有操作負擔,而且當然要有 SQL 語意。
- 這真的有很多「而且」。
- 你知道,很多人會告訴你不可能得到所有東西。
- 事實上,當你試圖建造某些東西或你試圖說,你想要 A 還是 B 時,這種情況發生得多頻繁?
- 這個問題,這很有趣,當你必須在 A 或 B 之間選擇時,它實際上會限制你的思考。
- 所以在 Amazon,我們不是這樣思考的。
- 事實上,我們稱之為 「或」的專制。
- 它創造了這些虛假的界限,對吧?
- 你立刻開始想我必須做 A 或 B,但我們推動團隊思考如何同時實現 A 和 B,這真的開始幫助你用不同的方式思考。
- 現在看,已經有一些資料庫可以提供其中的一些功能。
- 有時候你今天可以找到一個提供低延遲和高可用性的資料庫,但你無法從中獲得強一致性。
- 現在有其他資料庫產品是全球性的,在多個區域都具有強一致性和高可用性。
- 但對這些來說,延遲真的非常高。
- 更不用說與這些資料庫的 SQL 相容性了。
- 所以我們挑戰自己去解決這個「和」的問題。
- 事實證明因為我們控制著 Aurora 的端到端環境,對吧?
- 我們控制引擎。
- 我們控制基礎設施,我們控制實例,所有東西我們都可以改變很多。
- 所以我們首先做的一件事是檢視核心資料庫引擎,看看它如何與我們的全球基礎設施配合,看看這是否可以幫助我們實現目標。
- 所以 如果我們真的要實現所有這些功能,我們需要解決的第一個大問題是如何實現多區域、強一致性,同時提供低延遲。
- 這是一個非常困難的問題。
- 所以你有這些跨區域寫入的應用程式,對吧?
- 當你這樣做時,交易需要以正確的順序排序,這樣你的應用程式才能保證讀取最新的資料,對吧。
- 但當你這樣做時,你通常會對資料進行鎖定以避免衝突,這樣你就可以來回寫入。
- 現在事實證明,你今天可以用資料庫引擎及其運作方式來做這件事。
- 但它非常慢,事實上,我要花點時間解釋為什麼。
- 所以一個典型的讓我們假設我們在兩個區域之間有一個主動式資料庫設置。
- 而我們想要完成一個像這樣的交易。
- 這個交易有大約十個語句,我認為這對資料庫語句和傳統資料庫來說是很平均的。
- 如果你在單一區域或單一位置,會發生的是你在應用程式和資料庫之間會進行十次提交。
- 如果你都在同一個位置,延遲真的很快。
- 這就運作得很好。
- 這就是資料庫從一開始就是如何運作和如何建立的。
- 但現在讓我們說你要跨區域做這件事。
- 它變得真的很慢通信實際上必須來回十次。
- 對吧。
- 所以在它實際可以提交之前。
- 所以在這個例子中,讓我們說我們有一個在維吉尼亞運行的資料庫。
- 還有一個在東京運行的,好嗎?
- 維吉尼亞和東京之間的往返時間大約是 158 毫秒。
- 現在在這個例子中,資料必須來回十次,對吧,才能提交所有交易的每一個部分。
- 那就是 1.6 秒。
- 如果你添加更多區域,它實際上會變得更慢。
- 所以對今天的應用程式來說這太慢了。
- 對大多數使用案例來說。
- 現在,考慮到資料庫如何運作,這有點像是物理問題。
- 不幸的是,你們都得等到未來的 re:Invent,等我們在 AWS 解決光速問題。
- 但今天我們要看看如何從根本上改變這個資料庫引擎的運作方式。
- 我們有這個想法,如果我們建立一個可以消除所有這些不同往返的架構呢?
- 如果你不必這樣做,你可以將延遲減少 90%。
- 不是 1.6 秒的交易,而是 158 毫秒的交易。
- 所以我們開發了一種全新的交易處理方式。
- 我們將交易處理從儲存層分離。
- 所以你不需要在提交時檢查每一個語句。
- 你只需要在提交時做一次。
- 我們將所有寫入同時並行處理到所有區域,所以你可以在區域之間獲得強一致性,同時對資料庫進行超快速寫入。
- 然而,那些注意力集中的人可能已經注意到這引入了第二個主要問題,就是當你獨立地在各個區域寫入時,你如何讓所有這些交易按照發生的順序提交?
- 因為如果不這樣做,你會得到損壞和壞問題發生。
- 你必須確保所有這些都按正確順序排列。
- 現在,再次,理論上,如果你的時鐘完美同步,這個架構會工作得很好,因為在傳統資料庫中,你只需要查看時間戳,就可以確保這些都按順序排列。
- 但當你有這些分布在世界各地的資料庫時,你必須處理這個被稱為時鐘漂移的問題。
- 發生了什麼?
- 而且你們很多人肯定知道這一點,就是你得到的時間都略有不同步。
- 所以實際上很難知道這裡的時間是否與那裡的時間相同。
- 讓這些完全同步說起來容易做起來難,但幸運的是我們控制著全球基礎設施直到元件層級。
- 所以我們在 EC2 服務中添加了這個叫做 Amazon Time Sync 的構建塊。
- 我們在世界各地的每個 EC2 實例中都添加了一個硬體參考時鐘。
- 這些硬體參考時鐘與衛星連接的原子鐘同步。
- 這意味著 現在每個 EC2 實例都有微秒精度的準確時間,與世界任何地方的任何實例都同步。
- 好了,這就是我今天要深入技術的程度了。
- Werner 會在週四的演講中更深入地討論。
- 所以如果你有興趣,我鼓勵你去看看。
- 但結果是,現在我們有了微秒精度的時間和這個重新設計的交易引擎,所有的部件都準備好了,讓我們能夠避免這些或權衡,並實現最終目標。
- 所以我非常興奮地宣布 Amazon Aurora DSQL。
- [掌聲]
- 這是 Aurora 的下一個時代,Aurora DSQL 是 任何地方最快的分散式 SQL 資料庫,並提供下一代的最終 Aurora DSQL 提供幾乎無限的跨區域擴展,對你來說零基礎設施管理,並且具有完全無伺服器的設計,可以縮減到零。
- Aurora SQL 提供 五個九的可用性。
- 它是強一致性的。
- 你獲得低延遲的讀寫操作,而且 Aurora SQL 與 Postgres 相容,所以今天就很容易開始使用。
- 所以我們想看看這個新產品與 Google Spanner 相比如何,Spanner 可能是目前最接近的產品。
- 所以我們做了一個多區域設置,並對提交同樣的,就是我們之前看到的那個十個語句的交易進行基準測試。
- 結果發現 Aurora 的讀寫速度比 Spanner 快 4 倍。
- 非常棒。
- 我們真的很期待看到你們會如何在應用程式中運用這個。
- [掌聲]
- 但還有一件事。
- 事實證明,關聯式資料庫不是唯一能從多區域、強一致性、低延遲功能中受益的。
- 所以我也很高興宣布 我們正在為 DynamoDB Global Tables 添加相同的多區域強一致性。
- [掌聲]
- 所以現在無論你運行的是 SQL 還是 NoSQL,你都能得到最好的一切主動式、多區域資料庫,具有強一致性、低延遲和高可用性。
- 這種在這些基本構建塊中的核心創新,就是為什麼世界上一些最大的企業信任 AWS 處理他們的工作負載。
JPMC 雲端旅程
- 其中一家公司是 摩根大通。
- 在 2020 年,我們邀請了摩根大通資訊長 Lori Beer 上台,談論他們如何開始向 AWS 遷移雲端。
- 現在,在過去四年中,摩根大通的團隊在現代化其基礎設施方面做了大量工作,我很高興再次歡迎 Laurie 分享他們在旅程中的現況。
- 請歡迎 Laurie Beer。
- [音樂]
- 早安。
- 摩根大通是一個有 225 年歷史的機構,為全球的客戶、企業和政府提供服務。
- 我們的宗旨是為每個人、每個地方、每一天實現夢想。
- 我們在巨大的規模下做到這一點。
- 我們在美國服務 8,200 萬客戶,為房屋所有權、教育和其他家庭里程碑提供融資。
- 我們為超過 90% 的財富 500 強公司提供銀行服務,每天處理 10 兆美元的支付。
- 這就是為什麼我們投資 170 億美元在技術上,並有一個雄心勃勃的現代化議程來推動成長。
- 我們有 44,000 名軟體工程師,運行超過 6,000 個應用程式,並管理近一艾位元組的資料,這些來自市場、客戶、產品、風險和合規等方面。
- 你們有些人可能記得我四年前在 re:Invent 上發言,很高興能回來更新我們的進展,雖然過去四年產業發展劇烈,但我們雲端計畫的核心原則並未改變。
- 我們仍然專注於建立一個強大的安全基礎,它具有彈性並代表我們健全的監管框架。
- 優先考慮業務和技術的現代化,啟用像 AI 和無伺服器這樣的創新服務,以推動新產品開發並加速我們的市場進入。
- 審慎思考並優先考慮最具影響力的使用案例的遷移。
- 這些原則使我們能夠支持和推動業務成長。
- 今天,我們處理美國超過 50% 的電子商務交易。
- 想想過去這個週末的交易量,這開啟了一年中最繁忙的購物季。
- 當我們的業務對世界經濟如此重要時,彈性就是我們做每件事的核心。
- 這就是為什麼我們一直在重新發明我們建立全球銀行和支付基礎設施的方式,也是為什麼我們在雲端中推動了可能性的藝術元素。
- 我們已經與 AWS 展開雲端旅程好幾年了。
- 我們的第一批應用程式利用了關鍵服務,如 EC2、S3、EKS 快進幾年。
- 在 2020 年,我們達到了在雲端上有 100 個應用程式的里程碑。
- 在 2021 年,我們將這個數字翻倍,並擴展到歐洲,包括在英國推出我們的消費者銀行 Chase。
- 從頭開始在 AWS 上建立,在 2022 年,我們開始使用 AWS Graviton 晶片並看到性能提升的好處,到 2023 年,我們開始利用 GPU,當時已經有近千個應用程式在 AWS 上運行,包括存款和支付等核心服務。
- 今天,我們正在積極解鎖生成式 AI 使用案例,並與 AWS 合作他們的 Bedrock 路線圖。
- 我們在雲端上的架構方式讓我們能夠現代化我們的業務平台並建立全新的平台,使我們能夠持續創新。
- 現代化的三個例子可以在我們的市場和支付業務以及 Chase.com 這些旗艦平台中看到。
- 大量的彈性計算和現代雲端服務幫助我們分析風險和市場波動。
- 這也使我們能夠成為世界上最大的支付處理商之一。
- 兩年前,我們成功遷移了 Chase.com,這是我們的旗艦消費者應用程式,也支援我們的行動體驗。
- 我們將它遷移到 AWS,降低成本並提升我們的彈性。
- 我們是如何做到的?
- 我們在多個 AWS 區域使用主動-主動-主動配置。
- 這種強大的彈性架構允許三個區域中的兩個故障而不影響客戶,但地理優化路由也改善了我們整體的客戶體驗。
- 我們與 AWS 的強大合作關係確保基礎設施堆疊經常自動更新,以改善我們的風險和彈性狀態,並滿足我們的安全控制。
- 我們還推出了一個新的業務,它利用 AWS Fusion,提供資料管理平台和跨投資生命週期的分析,改善多個資料來源之間的互操作性,並為我們的機構客戶提供大規模訪問廣泛的資料基礎。
- 這只是我之前提到的公司中眾多資料管理解決方案的一個例子。
- 我們有近一艾位元組的資料,這使它成為我們最關鍵的資產之一,特別是當我們越來越多地將 AI 嵌入到我們使用 AWS 資料管理工具(如 Glue)現代化和建立技術的方式中時,我們的資料在我們的安全端到端資料和 AI 平台上是可發現的、可訪問的、可互操作的和可重用的。
- 這個平台正在使我們能夠在公司建立下一波 AI 應用程式。
- SageMaker 正在幫助我們簡化從實驗到模型部署的模型開發生命週期。
- 在生產中。
- 這是我們全公司 AI 平台的基礎,我們將其設計為可重複且具有可擴展的架構,使我們的資料科學家可以利用生態系統中一系列最佳的解決方案。
- 每個月有超過 5,000 名員工使用 SageMaker,我們現在開始探索 Bedrock,目標是為資料科學家提供無縫訪問更多可以在我們的資料上微調的模型。
- 我們的目標是大規模使用生成式 AI,我們繼續學習如何在受監管的企業中最好地利用這些新的創新能力。
- 我們向約 200,000 名員工推出了 LLM C-suite,這是我們的內部 AI 助手,我們已經從其他一些生成式 AI 使用案例中看到價值。
- 我們的銀行家和顧問收到 AI 生成的想法,以更好地與客戶互動。
- 我們的旅行社利用 LLM 幫助為客戶建立和預訂行程。
- 我們的客服中心代表總結通話記錄,並提供大規模的洞察,而我們的開發人員正在使用 AI 程式碼生成工具。
- 我們目前正在探索如何並行利用開發者 AI 代理。
- 考慮到像 AWS 這樣的提供者正在推向市場的所有技術,現在是帶領企業進行轉型的最令人興奮的時刻。
- 我對下一波技術演進感到興奮,我很自豪摩根大通已準備好提供金融服務的未來。
- 謝謝。
- [掌聲]
- [掌聲]
- [音樂]
- 非常感謝您再次到來。
- 很高興看到您的團隊在過去四年中取得了多大的進展,也很棒看到現代化努力實際上在提高敏捷性方面獲得了回報。
- 但這也真的讓摩根大通的團隊做好準備,以利用生成式 AI 等新技術。
AI 與開發者體驗
Bedrock 與模型公告
- 好的。
- 所以我們談到想要這組建構區塊,讓建造者可以發明他們能想像的任何東西。
- 我們也談到在我們今天走過的許多案例中,我們如何重新定義了人們對這些應用程式變化的看法。
- 現在人們對應用程式的期望正在改變。
- 再次,是因為生成式 AI。
- 而且越來越多,我認為生成式 AI 推理將成為每個應用程式的核心建構區塊。
- 事實上,我認為生成式 AI 實際上有潛力改變每個產業、每個公司、每個工作流程、每個使用者體驗。
- 看看現在已經發生的事情。
- 如果你看金融服務領域,他們已經在使用生成式 AI 來偵測市場操縱。
- 你看到像先前提到的 evolutionary scale 這樣的製藥公司。
- 我們正在使用這個技術以前所未有的速度發現新藥。
- 就個人而言,我喜歡看足球。
- 在週四晚上的足球賽中,我可以在一次進攻發生之前看到下一代統計預測,什麼時候衝鋒手可能會衝向四分衛。
- 看到這個以及如何改變那些使用者體驗真的很有趣。
- 而我們才剛剛開始,現在,當你聽到很多客戶談論它時,他們會談論應用程式和生成式 AI 應用程式。
- 但越來越多我認為推理將成為每個應用程式的一部分。
- 不會再有這種區別。
- 每個應用程式都會以某種方式使用推理來增強或建立或真正改變應用程式。
- 如果你真要這麼做,就意味著你需要一個能夠大規模提供推理的平台。
- 這意味著你需要工具來幫助你將其整合到你的資料中。
- 而且你必須要有所有正確的效能、所有正確的安全性和所有正確的成本。
- 這就是為什麼我們建立了 Bedrock。
- Bedrock 是迄今為止最簡單的方式來建立和擴展生成式 AI 應用程式,但 Bedrock 特別擅長的一件事,也是它真正讓客戶產生共鳴的地方,是它給你所有你需要的東西來實際將生成式 AI 整合到生產應用程式中,而不僅僅是概念驗證。
- 客戶開始看到這方面的真實影響。
- 讓我們以 基因泰克 為例。
- 他們是一家領先的生物科技和製藥公司,他們正在研究如何使用大量科學資料和 AI 來加速藥物發現和開發,以快速識別和鎖定新藥物和生物標記物用於他們的試驗。
- 但找到所有這些資料需要科學家們仔細搜尋大量的來源,比如擁有 3,500 萬份不同生物醫學期刊的 PubMed 圖書館、像人類蛋白質圖譜這樣的公共儲存庫,以及他們自己的內部資料來源,其中包含了數億個不同的細胞相關資料,透過 Amazon Bedrock,基因泰克設計了一個生成式 AI 系統,讓科學家實際上可以向資料詢問詳細問題。
- 他們可以詢問資料在特定細胞中哪些細胞表面受體得到富集。
- 在炎症性腸道疾病中,這個問題我相信你們很多人都很有興趣經常詢問,但對他們來說,這真的很關鍵,因為這個系統可以從這個龐大的圖書館中識別適當的論文和資料。
- 它綜合了所有的見解和資料來源。
- 它總結了資訊來源並引用來源,這對科學原因和可追溯性來說非常重要。
- 他們有那些資料可以進行他們的工作。
- 這個過程過去需要基因泰克的科學家花費數週的時間才能完成一次這樣的查詢,現在幾分鐘就可以完成。
- 基因泰克預計將自動化近五年的手動工作,並最終更快地向客戶提供新藥物。
- 更快速地。
- 現在,每天都有數萬名客戶使用 Bedrock 進行生產應用。
- 這僅在去年一年就增長了近 5 倍。
- 而且不僅僅是 AWS 的直接客戶。
- 全球許多領先的獨立軟體供應商,如 Salesforce、SAP 和 Workday,都在將 Bedrock 深度整合到他們的客戶體驗中,為他們所有的終端客戶提供生成式 AI 應用程式。
- 那麼為什麼每個人都在使用 Bedrock 呢?
- 部分原因是我們觀察到不是每個人都只想使用一個模型。
- 有很多不同的模型是人們想要利用的。
- 一些客戶想要像 Llama 或 Mistral 這樣的開放權重模型,他們可以進行客製化。
- 一些客戶應用程式需要來自 Stability 或 Titan 的圖像模型,而許多客戶真的很喜歡使用最新的 Anthropic 模型,許多人認為這些模型在今天的市場上是效能最好的模型。
- 對於一般智能和推理。
- 但這是一個創新發展非常迅速的領域。
- 幾乎每週都有新的發布、新的功能、新的模型、新的更新以及新的成本。
- 但事實上,即使有這麼多創新和這麼多模型,要找到完全符合你使用情境的模型仍然相當困難。
- 很多時候你想要的是針對你要完成的任務,找到專業度、延遲時間和成本之間的最佳平衡。
- 但要達到這些目標並不容易,對吧?
- 有時候你會找到一個具備合適專業知識的模型,對吧?
- 這個非常聰明且優秀的模型,但是它比你預期的更貴,而且可能比你的應用程式所需的更慢。
- 其他時候,你會找到一個更快且更便宜的模型,但它的能力又不如你現在所需要的,對此人們正在使用一種叫做模型蒸餾的方法來解決。
- 模型蒸餾的運作方式是你先取得一個大型前沿模型。
- 在這個例子中,它是一個 Llama 405B 模型,你拿這個高能力的模型,並向它發送所有你的提示詞,對吧?
- 所有你可能想要問它的問題。
- 然後你收集所有產出的數據和答案。
- 接著你將這些問題和答案一起用來訓練一個更小的模型,在這個案例中是 Llama 80 模型,使它成為那個特定領域的專家。
- 這樣你就能得到一個更小、更快的模型,而且它確實知道如何正確回答這一特定系列的問題。
- 這個方法在打造專家模型方面確實相當有效,但是需要機器學習專家來執行。
- 這實際上相當困難。
- 你必須管理所有的數據工作流程。
- 你必須管理那些訓練數據。
- 你必須調整模型參數並思考模型權重。
- 這些都相當具有挑戰性。
- 我們想要讓這一切變得更容易。
- 所以今天我很高興宣布Bedrock 中的模型蒸餾功能。
- [掌聲]
- 而且經過蒸餾的模型可以比原始模型運行快 500% 且便宜 75%。
- 這是一個巨大的差異,而且 Bedrock 會完全為你處理這些工作。
- 這種成本上的差異實際上有可能完全改變投資報酬率。
- 當你在思考是否要採用生成式 AI 應用時,對吧?
- 它將原本太貴無法部署到生產環境的情況,轉變成對你來說真正有價值的方案。
- 而且 Bedrock 會為你處理所有這些工作。
- 你只需要將應用程式中的範例提示詞發送給 Bedrock,它就會處理所有工作。
- 好的,所以最終你現在擁有了一個自定義的蒸餾模型,具有合適的專業知識、延遲時間和成本組合。
- 但獲得合適的模型只是第一步。
- 生成式 AI 應用的真正價值,是當你將企業數據與智慧模型結合在一起時,這時你才能獲得真正與眾不同且對你的客戶有意義的結果,你的數據和智慧財產才能真正發揮差異化的作用。
- 而將你的數據整合到模型中最受歡迎的方法之一,就是一種叫做檢索增強生成,或稱 RAG的技術。
- 這項技術能幫助你的模型提供更相關、更準確且更客製化的回應,這些回應都是基於你的企業數據。
- 今年早些時候,我們推出了知識庫,這是 Bedrock 的一部分,作為一個受管理的 RAG 索引。
- 它會自動化所有你的數據擷取、檢索和增強工作流程,這樣你就不需要自己組裝這些東西,這是完全受管理的。
- 你只需要將知識庫指向你的數據來源,我們就會自動將其轉換為文本嵌入,然後為你存儲在向量數據庫中。
- 這樣你就可以開始使用了。
- 而且所有的檢索都會自動包含引用來源。
- 這樣你就知道資訊來自哪裡,提高了可理解性。
- 現在,知識庫是 Bedrock 最受歡迎的功能之一,我們一直在添加大量新功能。
- 我們擴展了對各種格式的支援,並增加了新的向量數據庫,如 OpenSearch 和 Pinecone 支援。
- 好的,所以現在你可以看到 Bedrock 正在建立這些工具,對吧?
- 它讓你能夠獲得合適的模型。
- 它讓你能夠帶入你自己的企業數據。
- 接下來,你會想要能夠設定應用程式可以做什麼以及回應看起來如何的邊界。
- 為此,我們推出了 Bedrock Guardrails。
- Bedrock Guardrails 讓你能夠輕鬆定義應用程式的安全性,並實施負責任的 AI 檢查。
- 它們基本上是模型的指導原則,所以你的生成式 AI 應用程式只會討論相關主題。
- 比方說,你有一個保險應用程式,客戶來詢問你們各種保險產品。
- 你很樂意回答關於保單的問題,但你不想回答關於政治的問題或提供醫療建議。
- 對吧?
- 你想要有這些護欄來說,我只想要你回答這個特定領域的問題。
- 當你思考建構生產應用程式時,這是一個非常重要的功能。
- 這就是為什麼 Bedrock 如此受歡迎的原因。
- 如果你還記得,去年很多人都在建立概念驗證,那時這些事情並不那麼重要,對吧?
- 讓模型做一些很酷的事情就可以了。
- 現在當你真正將這些深度整合到你的企業應用程式中時,你在轉移到生產應用程式時需要有許多這樣的功能。
- 但實際上阻止人們將生成式 AI 轉移到真正的生產環境中,就是轉移到那些關鍵任務中的,還有一個很多人擔心的問題,那就是幻覺。
- 因為實際上,即使現今的模型已經很好了,有時它們仍會出錯。
- 所以當你去年或前年做概念驗證時,90% 的正確率是可以接受的。
- 但當你真正深入到生產應用程式的細節時,這是不可接受的。
- 讓我們舉個保險的例子。
- 假設你早上走進浴室,發現水管漏水,地板上到處都是水。
- 所以你去保險公司的網站,想要知道這是否在你的保險範圍內。
- 對吧。
- 作為保險公司,如果有人詢問一個事件是否在他們的保險範圍內,你必須要回答正確。
- 這是一個你不能有時候答錯的情況。
- 所以我們請 Amazon 的一群人實際思考,我們是否有任何技術可以用新的或不同的方式來幫助我們解決這個問題?
- 團隊研究了各種不同的技術,其中之一叫做自動推理。
- 自動推理實際上是一種可以證明某事在數學上是正確的 AI。
- 它通常用於證明一個系統是按照規範運作的。
- 對吧?
- 所以當你有一個表面積太大而無法手動查看的東西時,自動推理就非常有用。
- 但是你需要有一個關於系統應該如何工作的知識體系。
- 而且當你真的真的需要得到正確答案時,事實證明在 Amazon AWS,我們擁有世界上最優秀且最深入的自動推理專家。
- 我們在 AWS 的幕後多個服務中使用它。
- 舉例來說,我們使用自動推理來證明你們在 IAM 政策中定義的權限和存取,確實是按照你們預期的方式實現的。
- 我們稱這種方法為可證明的安全性。
- 在 S3 中我們實際上使用自動推理。
- 我們用它來自動檢查構成 S3 存儲系統大部分的軟體中的場景,我們在部署前用自動推理檢查這些,包括驗證對意外事件的正確行為回應。
- 我們這樣做是為了確保我們不會引入可用性或持久性的風險,並確保所有這些都受到保護。
- 我們在許多不同領域使用自動推理。
- 所以我們想,這項技術是否有機會幫助我們實現模型的正確性?
- 劇透一下。
- 既然我現在在台上談論這個,答案顯然是肯定的。
- 所以今天我很高興宣布Amazon Bedrock 自動推理檢查。
- [掌聲]
- 自動推理檢查可以防止模型幻覺導致的事實錯誤。
- 所以當你實作這些自動推理檢查時,Bedrock 實際上可以檢查模型所做出的事實陳述是否準確。
- 而這一切都是基於可靠的數學驗證。
- 它會向你詳細說明它是如何得出這個結論的。
- 讓我們再次以保險公司的例子為例,你決定實作自動推理檢查。
- 所以你要做的就是上傳所有的保單,對吧。
- 然後 Bedrock 內部的自動推理系統會自動開發規則。
- 接著你會經過一系列反覆的過程,通常需要大約 20 到 30 分鐘來調整正確的回應,真正確認說,是的,這就是它的運作方式,或者這是,它會問你問題,以便真正了解這些保單是如何運作的。
- 現在回到我的浴室漏水的例子。
- 自動推理可以看到結果。
- 如果模型不確定答案是否正確,它會實際送回並建議其他提示詞,或者給你這位客戶一些想法,讓你可以將這些送回模型。
- 而一旦自動推理檢查確認答案是正確的,才會將它送回給客戶,這樣你就可以 100% 確定你發送給客戶的結果是準確的。
- 這是你無法在其他地方獲得的功能,我們認為當客戶開始將推理建置到關鍵任務應用程式時,這真的會對他們有很大的幫助。
- 現在,客戶從生成式 AI 使用案例中獲得了大量價值,我們認為這些功能可以幫助他們將這些能力加入更多的應用程式中。
- 但是,現在外界有一種普遍的觀點,我們也同意,下一個重大的價值躍進不僅僅是獲得優質的數據,而是採取行動並做些什麼。
- 為此,我們有 Bedrock Agents。
- Bedrock 讓建立代理人變得非常容易,可以建立能夠跨所有公司系統和數據執行任務的代理人。
- 藉由使用 Bedrock,你可以簡單地使用自然語言描述你想要它做什麼,就能快速建立代理人,然後代理人可以處理銷售訂單、編製財務報告或分析客戶留存率等事項。
- 現在,我們在背後使用模型推理。
- 它會分解工作流程,然後代理人能夠呼叫正確的 API 並執行你想要做的動作。
- 現在,今天這些代理人實際上在簡單的任務中運作得相當好,一個簡單、獨立的任務,它可以去完成這些任務。
- 這實際上非常有價值。
- 客戶已經從 Bedrock Agents 中獲得了很多價值。
- 但我們得到的回饋是客戶想要更多。
- 他們想要能夠跨越可能數百個不同代理人的複雜任務,並且同時執行它們。
- 但這超級難而且幾乎不可能協調。
- 現在。
- 讓我們再舉個例子。
- 假設你經營一個全球連鎖咖啡店,你想要創建一些代理人來幫助你分析開設新據點的風險。
- 所以你要建立一群代理人。
- 你可能會建立一個分析全球經濟因素的代理人,可能會查看相關的市場動態,甚至為獨立店面建立財務預測。
- 總的來說,也許你會建立大約十幾個代理人,可以查看一個地點並帶回這些個別的資訊。
- 這實際上很有價值。
- 但當它們回來時,你仍然必須將它們編輯在一起,查看它們如何相互影響,然後弄清楚你如何與許多不同地區進行比較。
- 總的來說,這是可以管理的。
- 然而,你可能不是在孤立地看一個地點。
- 你可能想要查看數百個地點作為你潛在的咖啡連鎖店,而且跨越這些不同的地理位置。
- 當你這樣做時,結果發現所有這些代理人可能都不是在孤立中工作。
- A 代理人可能擁有與第二個代理人相關的資訊,所以你實際上希望它們互動並來回分享資訊。
- 這變得非常複雜。
- 如果你想像數百個代理人都必須互動、回來、分享數據、再回去,突然間管理系統的複雜性已經膨脹到完全無法管理的程度。
- 如果你能讓它運作,這會非常有價值。
- 但真的很難。
- 所以今天我宣布 Bedrock Agents 支援多代理人協作。
- [掌聲]
- 現在,Bedrock Agents 可以支援複雜的工作流程。
- 發生的情況是,就像在早期的例子中一樣,你創建這些專為你的特殊和個別化任務設計的個別代理人。
- 然後你創建這個監督代理人,它有點像是為你的複雜工作流程擔任大腦的角色。
- 它配置哪些代理人可以存取機密資訊。
- 它可以決定任務是否需要按順序執行,或者是否可以並行執行。
- 如果多個代理人帶回資訊,它實際上可以在多個代理人之間打破僵局,並將它們派去執行不同的任務。
- 它確保所有你的專門代理人之間的協作。
- 讓我們舉個例子。
- 我們實際上與 Moody's 合作使用了這個的早期測試版本。
- Moody’s 是一個領先的財務分析和風險管理服務提供者。
- 當他們在測試這個 Bedrock 中的多代理人協作時,他們使用它來為一個與我們咖啡連鎖店例子非常相似的應用程式提供概念驗證,這個應用程式可以為他們的客戶生成全面的財務風險報告。
- 事實證明,在這個概念驗證之前,這是一個工作流程,需要他們的一個代理人或一個員工大約一週的時間來完成其中一個,他們運行這個多代理人協作的概念驗證,能夠在一小時內完成相同的任務,而且能夠無縫地擴展到任意數量的並行公司。
- 這是一個驚人的效率提升。
- Bedrock 將原本幾乎不可能的協調工程任務變得簡單易行,這就是我們正在做的事情。
- 看,我們仍然處在生成式 AI 的最早期階段,對吧?
- 我們已經開始看到一些令人難以置信的體驗。
- 我們今天在這裡看到了一些藉由推理建立的體驗。
- 而且你看到它們正在被建構為這些應用程式的核心部分。
- 而且全部都由 Bedrock 提供支援,原因是因為 Bedrock 給你所有最好的模型。
- 它給你正確的工具和功能,而且這些功能中有很多你無法在其他地方獲得。
- Bedrock 是唯一能獲得這些改變遊戲規則結果的地方。
- 當然,你使用的一切都是從一開始就內建隱私和安全性。
- 因為請記住,你的數據和智慧財產才是真正的差異化因素。
- 所以保持安全和私密存取是非常重要的。
- 這是 Bedrock 從第一天開始就建立起來要支援的事情之一。
- 而且我們還沒完。
- 我告訴你,這只是我們本週宣布的新功能的一小部分。
- 在準備這個主題演講時最困難的部分之一,就是要決定我能夠放入多少 Bedrock 公告。
- 幸運的是,Swami 明天在他的主題演講中會談論更多內容,所以我鼓勵你去聽聽看。
- 好的。
Andy Jassy 的觀點
- 全球的客戶都在利用 AWS 藉由推理這個核心新建構區塊來建立令人難以置信的事物。
- 但我要告訴你,可能有一家公司比任何其他公司都更多地利用 AWS 建構區塊,那就是 Amazon。AWS 一直是讓 Amazon 能夠創新和擴展的關鍵部分。
- 現在,要談更多關於這個話題,我很興奮地歡迎重返 AWS 主題演講舞台的一位好朋友,雲端運算的原創教父,同時也是 Amazon CEO Andy Jassy。
- [掌聲]
- [音樂]
- [掌聲]
- [音樂]
- 謝謝 Matt。
- 很高興能夠與大家重聚。
- 謝謝邀請我。
- 我將分享一些關於我們如何在整個 Amazon 思考 AI 的觀點。
- 我們在過去 25 年來一直在公司內廣泛使用 AI,但我們思考技術的方式,這也適用於 AI,是我們使用它不是因為我們認為它很酷,而是因為我們試圖解決客戶問題。
- 這就是為什麼當我們談論 AI 時,通常不是為了宣布我們打敗了世界上最好的國際象棋選手。
- 而是為了讓你在我們的零售業務中獲得更好的個性化推薦,或是為我們配送中心的揀貨員提供最佳路徑,讓我們能更快地將商品送到你手中,或是將它放在我們的 Prime Air 無人機中,我們希望能在一小時內送達商品。
- 在幾年內,或是用於我們的免結帳技術和 Amazon Go 商店,或是驅動 Alexa,或是為你提供 25 多個 AWS AI 服務,讓你能在我們的服務之上建立出色的應用程式。
- 我們優先考慮我們認為對客戶真正重要的技術。
- 而隨著過去幾年生成式 AI 的爆炸性發展,我們採取了相同的方法。
- 有大量的創新,但我們試圖做的是為你解決問題。
- 我們稱之為實用 AI。
- 那麼到目前為止我們看到了什麼?
- 我們看到來自世界各地的公司最成功的案例是在成本避免和生產力方面。
- 你看到許多公司在這方面都有收穫,但你也開始看到完全重新想像和重新發明的客戶體驗。
- 當我們查看我們在 Amazon 內部圍繞生成式 AI 建立的應用程式時,我們也看到這些相同的趨勢。
- 所以我將給你幾個例子。
- 以客戶服務為例。
- 我們有一個擁有幾億客戶的零售業務。
- 他們偶爾需要聯繫客戶服務。
- 絕大多數人更喜歡以自助服務的方式進行,這樣他們可以快速處理並自行解決問題。
- 我們多年前就建立了一個聊天機器人,當然它使用了機器學習,但它有靜態的決策樹,而且客戶必須忍受大量文字才能得到答案。
- 所以幾年前,我們使用生成式 AI 重建了這個系統,現在對客戶來說變得更容易了。
- 所以想像我幾天前訂購了一個商品。
- 我登入新的聊天機器人。
- 我們知道你是誰,你幾天前訂購了什麼,你住在哪裡。
- 在這個模型中,我們可以預測如果你在幾天後聯繫我們,你可能是要聯繫我們關於退貨的事情。
- 所以當你開始告訴我們時,我們可以快速告訴你最近的實體地點,在 Whole Foods 或其他地方,你可以退回那件商品,然後這個模型也足夠聰明,能夠預測當你開始對它感到沮喪時,你可能需要與人類連線來解決問題。
- 在我們重新設計之前,這個聊天機器人已經有很高的客戶滿意度,但是自從我們為它加入生成式 AI 大腦後,客戶滿意度提高了 500 個基點。
- 這就是實用 AI。
- 我們再來看賣家。
- 我們有大約 200 萬名賣家在我們的零售商店銷售。
- 在全球範圍內,現在超過 60% 的商品是由他們銷售的。
- 而他們將產品放到網站上的方式是必須填寫這個非常長的表單。
- 之所以有這麼多欄位,是因為我們試圖讓客戶能夠輕鬆瀏覽和了解產品是什麼,但這對賣家來說是很多工作。
- 所以我們重建了這個工具。
- 我們基本上使用生成式 AI 建立了一個全新的工具,現在賣家只需要輸入幾個字,或者他們可以拍照,或者他們可以指向一個 URL,然後工具就會填寫許多這些屬性。
- 對賣家來說變得容易多了。
- 而且現在已經有超過 50 萬名賣家使用我們的生成式 AI 工具。
- 或者看看庫存管理。
- 想想看我們在零售業務中必須解決的問題規模。
- 我們有超過 1000 個不同的建築物或我們稱之為節點。
- 我們所做的一切都是為了優化,將正確的產品放在靠近最終客戶的配送中心或建築物中,以節省運輸時間,這意味著我們能更快地送達,而且成本更低。
- 所以這意味著在任何時候我們都必須了解那個配送中心有什麼,每件商品的庫存水平是多少,哪些商品正在被訂購,以及我們在那個配送中心是否有更多容量?
- 我們是否需要將庫存移動到其他配送中心來平衡網絡?
- 所以我們使用 transformer 模型來解決這些問題並做出預測。
- 而且我們的長期需求預測 transformer 模型已經將準確度提高了 10%。
- 而且我們還將區域預測準確度提高了超過 20%。
- 以我們的規模來說,這些都是巨大的收益。
- 或者想想機器人技術。
- 我們有超過 75 萬個機器人在我們各個配送中心運作,它們都搭載了各種 AI。
- 但我要給你舉個例子,就是 Sparrow,這是一個進行重新分類的機器人手臂。
- 所以如果你有機會從我們的配送中心拉遠看,這實際上是一個不斷從許多不同分散部分取出商品的操作。
- 並將它們集中到容器中。
- 所以我們優化了我們擁有的容量和運輸系統。
- 所以 Sparrow 在做的是從一個箱子中取出商品,並將它們集中到另一個箱子中。
- 所以生成式 AI 在 Sparrow 中需要做的是告訴它第一個箱子裡有什麼,我們想要它拿起哪個商品。
- 它必須分辨出哪個是哪個商品。
- 它必須知道如何根據商品的大小、材料和材料的彈性來抓取商品。
- 然後它必須知道在接收箱中可以將它放在哪裡,所以這些都是對我們改變處理時間和服務客戶成本至關重要的發明。
- 所以我們在幾個月前在路易斯安那州什里夫波特的配送中心推出了大約五個這樣的全新機器人發明。
- 而且我們已經看到處理時間快了 25%,我們相信由於這些 AI 發明和我們的機器人,我們在假期期間的服務成本將降低 25%。
- 所以這些都是 Amazon 內部在成本避免和生產力方面產生真實影響的例子。
- 但我們也看到了能夠藉由生成式 AI 產生和發明的全新購物體驗。
- 所以這裡有幾個例子。
- 我先從一些代理人開始。
- 讓我們從 Rufus 開始,這是我們的購物代理人。
- 所以如果你要買一件商品,而且你知道你想要什麼,我認為沒有比在 Amazon 上訂購更好的體驗了。
- 讓它很快地送到你家。
- 然而,如果你不知道你想要什麼,而你正試圖做決定,你當然可以在 Amazon 上做。
- 你們中的許多人都這樣做。
- 感謝你們這樣做。
- 然而你知道,你是透過瀏覽節點來做,透過我們做的推薦來做,透過客戶評論來做。
- 但當你不知道你想要什麼時,去實體店有一些好處。
- 詢問銷售員,你知道,告訴他們你在想什麼,讓他們問一些縮小範圍的問題,然後指出也許你想考慮的幾件商品。
- 然後你看這些商品,你沒有所有的數據在你面前,你問那個銷售員,這個怎麼樣?
- 那個怎麼樣?
- 他們可以快速回答。
- 如果他們不走開,然後,你知道,你能夠快速做出關於你想要什麼的決定,而我們試圖用 Rufus 做的是我們試圖讓那個體驗變得更好。
- 所以藉由 Rufus,你可以去任何產品詳情頁面,而不是瀏覽詳情頁面上的大量信息,你可以問任何問題,Rufus 會很快回答。
- Rufus 會為你比較不同產品和類別。
- 它會做出建議。
- 你可以做出真正。
- 你可以問非常廣泛的問題來尋求建議,它會問縮小範圍的問題。
- 所以它真正了解你的意圖是什麼。
- 如果你對 Rufus 說,嘿,我想要那個我一直買的高爾夫手套,你能幫我找到嗎?
- 我訂購過的那個。
- Rufus 會為你找到。
- 你可以對 Rufus 說,給我還沒有送達的商品的訂單狀態,你也會得到這個。
Amazon Q 和 Rufus 更新
- 關於 Rufus 最好的一點是,相較於實體銷售人員,Rufus 不會跳槽到其他零售商,也不會轉行從事其他職業。
- Rufus 會一直陪伴著你,越來越了解你的意圖、興趣和需求。
- 再來看看另一個代理人 Alexa。
- 當我們開始開發 Alexa 時,我們分享了我們的目標和使命是打造世界上最好的個人助理,許多人對此嗤之以鼻,他們嘲笑是因為這個目標涵蓋的範圍實在太廣。
- 而且這很難做到。
- 我認為藉由大型語言模型和生成式 AI 的出現,這顯然是可以實現的。
- 如果你看看 Alexa,它在我們銷售的所有設備中有5 億個活躍節點,人們使用它來娛樂、購物、獲取資訊和智慧家庭,超過 5 億個活躍端點,我們有很大的機會讓 Alexa 成為這個領域的領導者。
- 現在我們正在使用多個基礎模型重新設計 Alexa 的大腦。
- 這不僅能幫助 Alexa 更好地回答你的問題,還能做到目前很少生成式 AI 應用程式能做到的事:理解並預測你的需求,並為你採取行動。你可以期待在未來幾個月內看到這些功能。
AI 功能和應用
- 除了代理人之外,我們還能藉由生成式 AI 打造許多新功能,這些功能帶來了非常不同的客戶體驗。
- 我來舉幾個例子。
- 我們有一個功能叫做 Amazon Lens。
- 假設你在朋友家看到一個你很喜歡的花盆。
- 因為這種事經常發生在我身上。
- 而你想知道那個花盆是從哪裡買的。
- 你問了你的朋友,但我的朋友不知道。今天你可以在 Amazon 或其他搜尋引擎中輸入「吊掛式花盆、編織」。
- 也許你會得到一個不錯的答案。
- 但很可能不會。
- 相反地,你可以使用 Amazon Lens 拍下那個物品的照片。
- Amazon Lens 會使用電腦視覺,然後在底層使用多模態模型進行搜尋查詢,直接為你找到 Amazon 上的正確搜尋結果,讓你可以輕鬆購買。
- 這真的很神奇又很酷。
- 再來說說尺寸的問題。
- 我們都有這樣的經驗,你知道,當我們買一件襯衫時,你不確定那個品牌的尺寸是偏大還是偏小,不知道該買 M 號還是 L 號。
- 我們建立了一個大型語言模型,它會分析我們所有品牌之間的尺寸關係,並比較哪些品牌的尺寸相似。
- 當你選購新品牌時,我們可以為你推薦真正適合的尺寸。
- 非常方便,非常實用。
NFL 合作夥伴關係和 AI 整合
- 如果你看看我們在 Prime Video 上做的事,我們與 NFL 有非常深入的合作。
- 我們多年來一起打造了一個叫做 Next Gen Stats 的系統,每個賽季收集 5 億個數據點。
- 然後我們在這些數據上建立 AI 模型。
- 你可以看到我們建立的一些功能。
- 我們建立了一個叫做防守警報的功能,可以顯示哪個防守球員可能會衝擊。
- 四分衛會在周圍畫一個圓圈,改變觀看體驗。
- 或者我們可以觀察不同的陣型和組合,檢測防守可能存在的弱點。
- 所以我們有一個防守弱點功能,可以為觀眾突顯進攻方應該攻擊的地方,這些都改變了球迷的觀賽體驗。
- 順便說一下,這些只是 Amazon 內部近 1000 個正在建立或已經建立的生成式 AI 應用程式中的一部分。
生成式 AI 的經驗教訓
- 在這過程中,我們當然學到了很多經驗。
- 我想和大家分享其中幾點。
- 就分享三點。
- 第一點是,當你的生成式 AI 應用程式達到規模時,運算成本真的很重要。全世界所有的生成式 AI 應用程式,我們所有人,主要都是用一種晶片來運算,人們非常渴望更好的性價比,這就是為什麼人們對 Trainium two 如此興奮的原因。
- 要打造一個真正優秀的生成式 AI 應用程式其實非常困難。
- 這不僅需要一個好的模型。
- 除了模型之外,你還需要有適當的防護機制,適當的訊息流暢度,適當的使用者界面,適當的延遲時間,否則就會變成一個緩慢且卡頓的體驗,而且你還需要有合適的成本結構。
- 我認為很多時候當你建立這些應用程式時,你使用了一個很棒的模型,做了一點工作,就認為我有了一個很棒的生成式 AI 應用程式,結果發現你其實只完成了大約 70% 的工作。
- 事實是,客戶不會接受有 30% 怪異之處的應用程式。
未來願景和創新
模型選擇策略
- 第三點我要說的是,在 Amazon 內部的所有建設中,我對使用模型的多樣性感到驚訝。我們給予我們的開發者自由選擇他們想要使用的模型,我原本以為幾乎所有人都會選擇使用 Anthropic 的 Claude 模型,因為這些模型在過去一年左右的時間裡一直是表現最好的。
- 順便說一下,我們確實有許多內部開發者使用 Claude,但他們同時也在使用 Llama 模型,也在使用這些模型,也在使用我們自己的一些模型,也在使用他們自己開發的模型。
- 這有點出乎我們的意料。
- 但從某些方面來說,當我思考這點時,這也不令人驚訝,因為我們一直在反覆學習同樣的教訓,那就是永遠不會有一個工具可以統治整個世界。
- 在資料庫領域就不是這樣。
- 我們已經討論這個話題十年了。
- 人們使用許多不同的關聯式資料庫或非關聯式資料庫。
- 在分析領域也不是這樣。
- 你知道,我記得 6、7 年前在台上演講時,我們討論到每個人都認為 TensorFlow 會成為唯一的 AI 框架,我們一直在說會有很多框架。
- 事實證明確實如此。
- 結果 PyTorch 成為最受歡迎的框架,對於模型來說也會是一樣的情況。
- 我們在內部就看到這點。
Nova 模型介紹
- 當我們建立所有這些應用程式時,我們注意到我們的內部開發者向我們的模型開發團隊提出了各種需求。
- 他們想要更低的延遲、更低的成本、能夠進行微調的能力。
- 他們想要更好的能力來協調不同的知識庫,能夠確立他們的數據基礎。
- 他們想要執行大量自動化的協調動作,也就是人們所說的代理行為。
- 他們想要很多東西,他們想要更好的圖像和視頻處理能力。
- 他們想要很多東西。
- 我們與我們的模型供應商夥伴分享了這些意見。
- 他們很願意接受,但他們很忙。
- 我是說,你們想要很多東西,要做的事情很多。
- 這也是為什麼我們持續開發自己的前沿模型的原因之一。
- 這些前沿模型在過去 4 到 5 個月內取得了巨大的進展。
- 我們發現如果這些模型對我們有價值,對你們來說可能也會有價值。
- 所以我很興奮能夠分享並宣布推出 Amazon Nova,這是我們新的最先進基礎模型,提供前沿智能和業界領先的性價比。
- [掌聲]
Nova 模型特點
- 在這個智能模型系列中,有四種版本。
- 第一個是 micro,這是一個純文字模型,意味著你輸入文字,它輸出文字。
- 它非常快速,成本效益高,我們的內部開發者在許多簡單任務中都很喜歡使用它。
- 然後我們有三種多模態模型。
- 這些多模態模型可以輸入文字、圖像或視頻,然後輸出文字。
- 這些模型按照大小順序排列。
- 還有智能程度。
- micro、lite 和 pro 模型今天就可以使用。
- premier 模型將在第一季度推出。
- 我來分享一些基準測試結果。
- 我只想說,我們盡可能使用已發布的外部基準測試,當這些測試不可用時,我們自己進行測試。
- 我們在網站上發布了測試方法。
- 所以如果你願意,你可以試著重現這些結果。
- 我來分享一些基準測試結果。
- 在 micro 模型上,你可以看到它是一個非常具有競爭力的模型。
- 如果你看原始數據,與這個級別的領先模型 Llama 和 Google 的 Gemini 相比,我認為在原始數據上,它在所有變數上的表現都比 Llama 好,在 12 或 13 個變數上比 Gemini 好。
- 但如果你進行統計顯著性測試,這也是我們做的,我們只取了所有在 95% 信賴區間重疊的數字。
- 我們認為這些是相等的。
- 所以如果你這樣看,這也是我接下來要用的方式,你可以看到在這類模型中,我們在所有基準測試上都等於或優於 Llama 和 Gemini。如果我看 light 模型,情況也很類似,非常具有競爭力。
- 如果你將 Nova Light 與 OpenAI 的 GPT four mini 相比,你可以看到我們在 19 個基準測試中的 17 個上等於或更好,在與 Gemini 的 21 個基準測試中的 17 個上等於或更好,然後在與 Haiku 3.5 的 12 個基準測試中的 10 個上等於或更好。
- Haiku 還沒有處理圖像或視頻的功能,所以我們無法在太多維度上進行基準測試。
- 但再次強調,這是一個非常具有競爭力的模型。
- 如果你看 pro 的部分,情況也一樣,如果與 GPT four 相比,它在 20 個基準測試中的 17 個表現等於或更好,在與 Gemini 的 21 個基準測試中的 16 個表現等於或更好。在這個級別的模型中,最好的模型是 Sonnet V2 3.5。
- 但即便如此,你可以看到我們的 pro 模型在其中約一半的測試中表現等於或更好。
- 而在那些沒有超越的測試中,它的表現也很有競爭力。
- 你會喜歡這裡的成本和延遲特性。
- 然後是我們的 premier 模型,這將是我們最大的多模態模型,將在第一季度推出。
- 所以這些都是非常具有競爭力、令人信服的智能模型。
- 但我認為這些模型還有一些其他你們會真正喜歡的特點。
- 首先,它們的成本效益非常高。它們比 Bedrock two 中其他領先模型便宜約 75%。
- 它們非常快速。在延遲方面,它們是你能看到的最快的模型。
- 我們也會在 Peter 昨晚談到的 SKU 中提供 Nova 模型。
- 還有經過延遲優化的推論版本,非常快速。
- 它們不只是整合在 Bedrock 中,還深度整合了所有 Bedrock 功能,任何模型提供者都可以使用這些功能。
- 只是這個團隊花時間把它們都做出來了。
Nova 模型整合
- 這意味著您可以進行微調,對於越來越多的生成式 AI 應用程式開發者來說,他們想要使用已標記的範例進行微調,以提升應用程式的性能。
- Nova 模型也整合了提煉功能。
- 就像剛才說的,所以你可以將較大模型的智能注入到成本更低、延遲更小的較小模型中。
- 它深度整合了 Bedrock knowledge bases,讓你可以使用 RAG 來將答案建立在你自己的數據基礎上。
- 同時我們已優化這些模型,使其能與專有系統和 API 配合使用,讓你能更輕鬆地使用這些模型執行多個協調的自動步驟代理行為。
- 所以我認為這些非常令人信服。
- 我很期待嘗試並開始使用它們。
- 客戶實際上想要在生成式 AI 方面做的不僅僅是產生文字輸出。
- 他們在圖像和視頻方面也有很多需求,有很多例子,但簡單的例子包括廣告、行銷或交易材料,所以我們努力做了很多工作,你知道,這很昂貴。
- 這裡沒有太多選擇。
- 你自己很難做到。
- 我們在這個問題上下了很大功夫。
Nova Canvas 和 Reel
- 我很興奮地要向你們宣布兩個新模型。
- 第一個是 Amazon Nova Canvas,這是我們最先進的圖像生成模型。
- [掌聲]
- 所以 Canvas 允許你輸入自然語言文字,然後獲得圖像。
- 它們是美麗的圖像。 - 它們是工作室品質的圖像。
- 它允許你使用自然語言或文字輸入來編輯圖像。 - 它提供了顏色方案和版面配置的控制。
- 它內建了許多負責任使用 AI 的控制機制,包括用於追蹤的浮水印,以及限制生成有害內容的內容審核。
- 我們也對此進行了基準測試。
- 我們嘗試與這個領域中的其他最先進的參與者進行基準比較。
- 在這個案例中,我們選擇了你知道的,通常被認為是這裡的兩個領導者,也就是 DALL-E three 和 Stable Diffusion 3.5。
- 我們在最重要的兩個變數上進行基準測試,也就是圖像品質和指令遵循。
- 你可以看到 Canvas 在這兩個維度上都優於它們。
- 我們也進行了人工評估,看到了類似的結果。
- 所以這是一個令人信服的模型。
- 當然,我們也想讓你能夠輕鬆地生成視頻。
- 所以我們很興奮地宣布推出 Amazon Nova Reel,這是我們最先進的視頻生成模型。
- [掌聲]
- 所以同樣地,使用 Reel,它能產生工作室品質的視頻。 - 你可以創建真正令人驚艷的視頻。
- 它讓你完全控制相機,允許你控制動作。 - 它讓你進行平移。 - 它讓你進行 360 度旋轉和縮放。
- 它也內建了安全 AI 的控制機制,包括浮水印和內容審核。
- 我們將首先推出六秒鐘視頻的功能,這對許多行銷和廣告來說非常有用,在接下來的幾個月內將擴展到兩分鐘的視頻。
- 我們也對此進行了基準測試。
- 實際上沒有太多視頻生成服務提供 API,而且沒有任何服務有自動化基準測試。
- 所以我們只是選擇了其中一個領導者 runway 進行人工評估基準測試。
- 你可以再次看到,相較於其他服務,real 的基準測試表現非常好。
- 所以這是為你們準備的六個新前沿模型。
Nova 未來發展
- Nova 接下來會有什麼發展?
- 首先,團隊在接下來的一年裡將會非常努力地工作。 - 開發這些模型的第二代版本。
- 但我還有幾件事想讓你們先睹為快。
- 第一個是在第一季度,我們預計會為你們提供一個語音到語音的模型,它將允許你輸入語音並獲得非常流暢、非常快速的語音回應。
- [掌聲]
- 然後在年中,我們將為你們提供一個任意到任意的模型。 - 這真的是多模態到多模態的轉換。
- [掌聲]
- 所以你將能夠輸入文字、語音、圖像或視頻,並輸出文字、語音、圖像和視頻。
- 這是前沿模型未來將如何建立和使用的方式。
- 我們真的很期待將這個功能帶給你們。
AWS 模型策略
- 所以你可能在問自己,我應該如何看待 AWS 的模型策略?
- 他們與許多模型供應商有深度合作關係。
- 他們現在也有一些自己的模型。
- 我建議你這樣想:就像我們在所做的每件事情中都提供選擇一樣,我們將為你提供你能在任何地方找到的最廣泛和最好的功能。
- 這意味著你將有選擇。
- 事實是,你們所有人在不同時間、因為不同原因都會使用不同的模型,這也正是真實世界的運作方式。
- 人類不會在每個領域都只向一個人尋求專業意見。
- 你會找不同的人,因為他們在不同領域都有專長。
- 有時你會優化程式碼,有時是數學,有時是與 RAG 的整合,有時是代理需求,有時是較低的延遲,有時是成本,大多數時候是這些因素的某種組合,在 AWS,我們將為你提供所有這些的最佳組合。
- 就像我們一直做的那樣,我們認為今天我們為這個組合添加了一些相當有趣的模型。
- 但最棒的是,所有這些模型都可以在 Bedrock 中使用,你可以任意組合使用它們,你可以實驗,你可以隨時改變。
- 我們現在和將來都會為你提供這種選擇。
- 所以就這樣,我要說開始吧。
- 加油,交回給 Matt。
- 謝謝。
- [音樂]
- [音樂]
- 那真是太棒了。
- 謝謝 Andy。
- 很高興他能回到 re:Invent。
- 非常感謝。
- 分享 Amazon 正在做的很多事情,以及關於 Nova 模型的資訊真的很有趣。
- 我相信你們很多人都迫不及待想要嘗試這些 Nova 模型。
開發者創新焦點
- 好的。
- 我們在 AWS 的目標是幫助每個開發者都能夠創新。
- 我們想要讓你從繁重的重複性工作中解放出來,真正專注於那些讓你所構建的東西最獨特的創意工作,現在,生成式 AI 是這種能力的一個巨大加速器。
- 它讓你能夠專注在那些部分,並把一些繁重的重複性工作推開。
- 現在,在座的觀眾中有多少開發者?
- 請舉手。
- 我們這裡有一些開發者。
- 太好了。
- 我知道今天這裡有很多開發者,所以我想花幾分鐘談談我們如何幫助開發者提高效率。
- 去年我們推出了 Amazon Q Developer,這是你的 AWS 專家,它是最強大的軟體開發生成式 AI 助手。
- 現在,像 Dave Chappelle 這樣的客戶藉由使用 Q Developer 已經達到高達 70% 的效率提升。
- 他們減少了部署新功能的時間。
- 他們更快地完成任務,並最小化了大量重複性的操作。
- 但這不僅僅是關於效率。
- 以 FINRA 為例,他們透過使用 Q Developer 見證了顯著的 20% 程式碼品質和完整性提升,幫助他們創建性能更好、更安全的軟體。
- 當我們最初推出時,我們的目標是透過 Q Developer 提供一個優秀的程式碼助手,我們確實做到了。
- 事實上,Q 擁有目前市場上所有多行程式碼助手中最高的報告接受率。
- 但事實證明,程式碼助手只是大多數開發者需求的一小部分。
- 在你的一天中,我們與開發者交談,事實上,大多數開發者平均每天只花一小時寫程式碼。
- 就是這樣。
- 剩下的時間他們都花在其他端到端的開發任務上。
- 所以我們想看看整個週期,看看是否還有其他我們可以幫助的地方。
- 結果發現有很多任務佔用了開發者的時間,但這些工作是大多數開發者不太喜歡做的對吧?
- 像是寫單元測試或管理程式碼審查。
- 你看,我曾經管理過一個大型開發團隊。
- 我很確定我從未遇到過一個喜歡花時間為他們的程式碼寫出優秀文件的開發者,但這很重要。
- 這不是很有趣,但確實非常重要。
- 這很枯燥。
- 這很耗時,但很關鍵。
- 這是那種你不想跳過的事情,不幸的是,因為它不是那麼有趣。
- 有時人們會潦草帶過,做得不是很好。
- 所以今天我很興奮地宣布三個新的 Q Developer 自主代理,宣布 Q 自主代理可以生成單元測試、文件和程式碼審查。
- [掌聲]
- Q 現在可以自動生成端到端的使用者測試。
- 你只需輸入斜線測試,Q 就會使用進階代理以及對你整個專案的了解來為你創建完整的測試覆蓋。
- 第二個代理可以自動為你創建準確的文件。
- 它可以。
- 有趣的是它不只適用於新程式碼。
- Q 代理也可以應用於舊程式碼。
- 所以如果你遇到一個可能沒有被你的同事完美記錄的程式碼庫。
- Q 也可以幫助你理解那些程式碼在做什麼。
- 你現在可以使用程式碼來自動為你進行程式碼審查。
- 它會掃描漏洞,標記可疑的程式碼模式,甚至識別你可能有的潛在開源套件風險。
- 實際上,它做的另一個很酷的事情是它甚至會識別它認為存在部署風險的地方,並為你提供如何讓部署更安全的建議。
- 我們認為這些代理可以大大減少在這些重要但可能重複的任務上花費的時間,讓你的開發者能夠花更多時間在那些增值活動上。
- 但再次強調,這不僅僅是關於功能。
- 訪問 Q 的位置也很重要,你希望在需要的地方都能使用 Q。
- 所以我們在控制台中加入了 Q。
- 我們在 Slack 中提供 Q,它在所有流行的 IDE 如 Visual Studio VSCode、IntelliJ 中都可以使用,從今天開始,我很興奮地宣布Q Developer 和 GitLab 之間的新深度整合。
- [掌聲]
- 藉由這個新的合作夥伴關係,Q Developer 的功能深度嵌入在 Q 的。
- 在 GitLab 的熱門平台中。
- 它將幫助驅動他們的 duo 助手的許多熱門功能。
- 現在你將能夠訪問 Q Developer 的功能,它們將在 GitLab 工作流程中原生可用。
- 我們將隨著時間的推移添加越來越多功能。
- 我們與一些早期客戶如 Southwest Airlines 和 Mercedes-Benz 試用了這個概念,他們告訴我們他們對能夠一起利用 Amazon、Q Developer 和 GitLab 的組合感到非常興奮。
- 現在,如果我們想要幫助完整的開發者生命週期,你不能只停留在新應用程式上。
- 正如你們許多人所知,大量的開發時間不是花在新應用程式上,而是花在處理現有應用程式上。
- 實際上,大量的開發者時間都花在維護、現代化、修補現有應用程式上,這些都需要大量的努力,事實上,當你想到舊應用程式升級時,這些是巨大的多月努力,而且很多時候它們非常複雜,可能會很長。
- Q Developer 最強大的功能之一是自動化 Java 版本升級。
- 它可以在比手動操作少得多的時間內,將 Java 應用程式從舊版本轉換到新版本。
- 這是沒有開發者喜歡做的工作,但卻至關重要。
- 今年早些時候,Amazon 將這個功能整合到我們自己的內部系統中,我們有很多需要升級的舊 Java 程式碼使用 Q Dev。
- 我們將字面上數萬個生產應用程式升級到 Java 17,而且我們只用了很小一部分的時間。
- 團隊估計這為我們節省了 4500 個開發者年。
- 這是一個令人驚嘆的時間節省量,因為我們現在運行在現代 Java 應用程式上,我們實際上也可以使用更少的硬體。
- 所以我們實際上透過這個過程每年節省 2.6 億美元。
- 這讓我們思考,那太棒了。
- 我在想還有什麼可以幫助我們轉型。
- 我實際上喜歡詢問客戶我們如何能幫助他們,他們最大的痛點是什麼。
- 我認為你會從中聽到一些有趣的事情,而其中一個很快就會浮現的是 Windows。
- 客戶希望有一個簡單的按鈕來擺脫 Windows。
- 他們厭倦了持續的安全問題,持續的打包或修補,所有他們必須處理的可擴展性挑戰,而且他們絕對討厭繁重的授權成本。
- 但我們確實認識到今天這很難,實際上從 Windows 現代化不是今天容易的事,所以我很高興宣布 Q Transformation for Windows .NET Applications。
- [掌聲]
- 現在有了 Q Developer,現代化 Windows 變得容易多了。
- Q Developer 幫助你在很短的時間內將運行在 Windows 上的 .NET 應用程式轉換到 Linux。
- Q Dev 會啟動代理,可以自動發現不相容性,生成轉換計劃,並重構你的原始碼。
- 它可以並行處理數百甚至數千個應用程式。
- 事實證明 Q Dev 可以幫助你以比手動操作快 x 倍的速度現代化 .NET 應用程式。
- 而且一旦你完成,好消息是你可以藉由節省所有授權成本來節省 40%。
- 一個客戶 Signature 是歐洲數位交易的領導者,他們非常專注於將他們的舊 .NET 應用程式從 Windows 現代化,他們真的想要從 Windows 移到 Linux。
- 我們與他們一起測試了 Q Developer 的早期版本,這是一個他們估計需要 6 到 8 個月的專案。
- 他們實際上在短短幾天內就完成了。
- 這是一個改變遊戲規則的時間量。
- 太棒了。
- 但事實證明,Windows 不是數據中心中唯一拖慢所有現代化努力的遺留平台。
- 實際上,當我們與客戶交談時,越來越多他們真的想要完全擺脫數據中心。
- 像 Itau Unibanco、Experian 和 Booking.com 這樣的客戶以及真正數千個客戶與我們合作,完全退出他們的數據中心,降低成本,只專注於創新而不是運行基礎設施。
- 看到這些完整的數據中心遷移很酷,但我們知道今天很多本地工作負載運行在 VMware 上。
- 現在,實際上事實證明很多客戶對於讓部分現有的 VMware 工作負載繼續在 VMware 上運行感到滿意,但他們不想讓它們繼續在他們的數據中心運行。
- 他們想把這些遷移到雲端。
- 而對於這些工作負載。
- 上週,我們宣布了新的 elastic VMware service,讓你可以輕鬆地將 VMware 訂閱移至 AWS,並在 EC2 上原生運行完整的 VMware VCF 堆疊。
- 然而,有很多目前運行在 VMware 上的工作負載,客戶真的很想將其現代化。
- 變成雲原生服務。
- 現在,我們知道 VMware 在你們的數據中心中深深扎根,而且已經很長時間了。
- 而在這個 VMware 環境中發生的事情是,因為它存在了很長時間,最終就會出現這種互相關聯的應用程式的混亂狀況。
- 所以實際上最難的部分是找出這些應用程式的依賴關係是什麼。
- 而遷移容易出錯,因為很難理解如果你移動了某些東西,是否會破壞其他東西?
- 而且,當然,授權也很貴。
- 我們很高興今天宣布 Q transformation for VMware workloads。
- [掌聲]
- 現在 Q 可以幫助你輕鬆地將運行在 VMware 上的工作負載現代化,並將其移至雲原生解決方案。
- 發生的事情是,最大的價值在於 Q 會自動識別所有的應用程式依賴關係,並為你生成遷移計劃,這真的大大減少了遷移時間並顯著降低了風險。
- 然後它還會啟動代理,可以將你的本地 VMware 網路配置轉換為現代 AWS 等效配置。
- 這將原本需要數月的工作縮短到數小時到數週。
- 現在我真的想快速談談。
- 我們處理了 Windows,我們處理了 VMware。
- 但有一個複雜的系統是迄今為止最難遷移到雲端的,那就是 mainframe。
- 甚至就只是努力。
- 實際上,當我們與客戶交談時,發現僅僅是分析、記錄和規劃大型主機現代化的努力就常常太多了。
- 人們放棄了。
- 太難了。
- 這可能會讓人不知所措。
- 事實證明 Q 真的很好,也可以幫助解決這個問題。
- 今天,宣布 Q transformation for mainframe。
- [掌聲]
- Q 有許多代理可以幫助你簡化這個複雜的工作流程。
- 可以為你進行程式碼分析。
- 你可以進行規劃,重構你的應用程式。
- 而且,就像我之前談到的,大多數大型主機程式碼都沒有很好的文件。
- 人們有數百萬行 COBOL 程式碼,他們不知道它做什麼。
- Q 實際上可以接手那些遺留程式碼並建立即時文件,讓你知道這些程式碼做什麼。
- 真的很酷而且在理解你想要現代化哪些應用程式時非常有幫助。
- 現在,大多數客戶會告訴你,他們估計他們的大型主機遷移可能需要 3 到 5 年。
- 我不知道你怎麼想,但規劃一個 3 到 5 年的專案幾乎是不可能的。
- 很多時候他們根本就無法完成。
- 但現在。
- 順便說一下,我希望我可以站在這裡告訴你我要讓大型主機遷移變成一鍵操作。
- 我們還沒有達到那個程度,而且這還不太可能。
- 但根據早期客戶反饋和內部測試,我們認為 Q 實際上可以將原本需要多年的努力縮短到幾個季度,將遷移大型主機的時間縮短超過 50%,超級重要。
- 如果你可以把多年的努力縮短到幾個季度,這是人們真的可以理解的事情,客戶對此非常興奮,好的。
Q Developer 營運
- 我們還沒有談到的開發週期的最後一部分是營運。
- 現在,我們都知道營運是今天運行軟體服務的關鍵部分。
- 而且我們從客戶那裡聽到,當他們管理他們的 AWS 環境時,他們花了很多時間篩選 CloudWatch 圖表和日誌,試圖理解在那個 AWS 環境中發生了什麼。
- 所以今天,我很高興宣布 Q Developer 的一個新功能,Q 現在可以輕鬆幫助調查你的 AWS 環境中的問題。
- [掌聲]
- Q 可以做的是它實際上會查看你的整個環境。
- 它知道你的整個設置,你運行的所有東西,然後它查看 CloudWatch 數據,查看 CloudTrail 日誌。
- 它可以幫助你發現你可能遇到的問題。
- 它深入理解你的 AWS 環境,並尋找異常。
- 你可能說我遇到了一個問題,它會追蹤所有內容直到發現可能被改變的一組破損權限,並建議你如何修復這些問題。
- 它甚至可能建議最佳實踐,告訴你下次如何避免破壞它們。
- 因為一旦你確定了這些根本原因,Q 也可以訪問來自操作手冊和你提供的精選文件中的可能補救方法。
- 現在,CloudWatch 與許多最受歡迎的事件管理和票務系統都有整合。
- 也幫助你管理整個環境中的事件。
PagerDuty 整合
- 我相信我們許多人都在使用的其中一個與 Q 整合的合作夥伴就是 PagerDuty。
- 他們已經協助客戶預防和解決營運事件多年,AWS 很榮幸能在整個過程中與他們保持合作關係。
- 為了告訴我們更多關於他們如何擁抱創新未來以及導入AI 等新技術,讓我們歡迎 PagerDuty 的執行長 Jen Tejada。
- [音樂]
- 大家好嗎?
- [掌聲]
- 謝謝,Matt。
- 很高興能在這裡。
- 讓我介紹什麼是 PagerDuty,不,我們並不是製造呼叫器的。
- 我通常會從 DevOps 的歷史開始講起,這是一種負責任和主動承擔的文化。
- 我在雞尾酒派對上很受歡迎,但在這場派對上就不需要太多解釋了。
- 事實上,我打賭你們許多人現在正在使用 PagerDuty。
- 也就是說,你可能覺得你了解 PagerDuty,但其實你可能並不真的了解我們。
- 我們是由三位 Amazon 軟體工程師在 15 年前創立的,當時他們想要解決一個痛點問題:自動化待命機制,這在當時是 DevOps 的最後一哩路。
- 這只是第一步,到了今天,快速且可靠地將正確的專業知識編排到最優先的問題上仍然至關重要。
- 這可能是讓客戶滿意或損失數百萬營收的關鍵。
- PagerDuty Operations Cloud 是不受限的、獨立的,並且是技術生態系統的核心。
- 它就像是你數位營運的大腦。
- 它與超過 700 個業界領先的應用程式連接,作為現代營運的樞紐。
- 我們的AI 優先產品套件讓開發人員擺脫手動繁瑣工作。
- 我們的平台讓團隊能夠更快速地創新,自動偵測事件、過濾雜訊,並在人員、機器之間進行智慧編排解決方案,而且越來越多地使用 AI 代理。
- 近十年來,我們藉由 AWS、AI 和自動化來大規模提供彈性和安全性。
- 我們的 SLA 不僅涵蓋應用程式可用性,還包括資料傳輸,而且我們從未有過任何維護時間。
- 事件管理和整體營運都具有時效性、非結構化,且對任務至關重要。
- 這使得它們成為AI 和自動化的沃土。
- 我們將這種洞察應用於營運中,將每個 PagerDuty 互動轉化為更聰明決策、更快解決方案和更有彈性服務的機會,同時向左移動。
- 你也可以向右擴展到營運成熟度曲線。
- 我們的基礎數據模型擷取數十億個事件和數百萬個事件工作流程,這些都是建立在 15 年經驗之上,為回應者提供服務,逐漸減輕您的高成本繁瑣工作。
- 如今,超過三分之二的財星 100 大企業和一半的財星 500 大企業都依賴 PagerDuty,還有許多最具創新性的生成式 AI 原生企業也是我們的客戶。
- 我們對大規模可靠性、保真度和安全性的承諾,讓我們贏得了超過 15,000 位客戶的信任,其中將近 6,000 位是與 AWS 共同的客戶。
- 當我還是個孩子時,我父親的建議是要謹慎選擇合作夥伴。
- 畢竟,我們都是被周圍的人所塑造的。
- 在 AWS 上建立 PagerDuty 並與他們合作創新是我們做過最好的商業決策之一,不僅僅是因為 AWS 社群就是我們的社群。
- 你們是我們的同類人。
- 藉由 AWS,我們在不犧牲效率和效能的情況下實現了高可用性和彈性,在擴展時保持超過 80% 的高毛利率。
- 我們是藉由許多 AWS 的基礎元件來實現的,像是 Amazon S3、EventBridge 和 Lambda。
- 因此,與 AWS 合作利用生成式 AI 來強化您的彈性基礎設施和應用程式是很自然的選擇。
- 讓我來說明它是如何運作的。
- 想像你為一家全球銀行建立消費者應用程式。
- 在週日深夜,你收到了 PagerDuty 警報。
- 客戶回報登入問題。
- 你的主管傳來一張社群媒體上問題病毒式傳播的照片。
- 你從經驗中知道,這可能很快就會演變成混亂。
- 多個 Slack 討論串、電子郵件、電話,太多人加入橋接會議,可能還有跨不同大洲的多個作戰室。
- 數小時的壓力、反覆嘗試,一個不眠之夜。
- 我們很多人都經歷過,但有了 PagerDuty Operations Cloud,情況就會不同。
- 你打開一個整合的 Slack,與你的小型專家團隊聊天。
- PagerDuty Advance 是我們的生成式 AI 助手,它使用 Amazon Bedrock 和 Anthropic Claude 來回答診斷問題,比如客戶影響是什麼?
- 有什麼改變?
- PagerDuty Operations Cloud 提供所有類型遙測的即時可見性,包括雲端應用程式、基礎設施和安全事件,並立即識別出例行的第三方更新可能是罪魁禍首。
- 但它不會就此停止。
- PagerDuty Advance 主動建議最佳下一步行動。
- 只需點擊一個按鈕,你就可以部署自動化手冊來回復更新並恢復服務。
- 幾秒鐘內,我們的 AI 助手還會草擬一份適合主管閱讀的狀態更新,在時間緊迫時節省時間。
- 你的客服團隊步調一致,他們能夠在他們的 Salesforce 環境中跟進並與 PagerDuty 互動,使用者也會自動收到問題已解決的通知。
- 現在客戶可以登入了,但當他們查看銀行帳戶時,許多人驚訝地發現餘額為零。
- 這是個比最初看起來更複雜的問題,所以很明顯你需要更多背景資訊,而且很明顯時間不站在你這邊。
- 讓我們面對現實,數學也不站在你這邊。
- 重大事件比去年增加了 43%,平均成本接近 100 萬美元,所以你沒有太多時間去搜尋人員和資訊,發送電子郵件,而且支援案件和工單正在激增。
- 你的主管又在傳訊息詢問合規性、合約義務,然後這個問題登上新聞。
- 客戶忠誠度、聲譽,甚至你公司的營業權現在都岌岌可危。
- 高優先級事件通常會影響多個分散的開發團隊以及各種自有和第三方應用程式與基礎設施服務,所以找到正確的資源來修復問題非常耗時。
- 這就是為什麼今天,我們很自豪地宣布首次將 PagerDuty Advance 和 Amazon Q 的力量結合在一起。
- [掌聲]
- 藉由PagerDuty Advance 整合 Amazon Q,從識別貢獻因素到診斷,你所需的一切都觸手可及,你分享的資料在安全可靠的環境中,在你需要的時候就能取得。
- PagerDuty Advance 統一使用者體驗建立在 Bedrock 和 Claude 之上,並整合到 Q 中,這意味著減少處理事件的時間損失,有更多時間用於建設。
- 信任需要多年才能建立,但可能在幾秒鐘內就失去。
- 生成式 AI 和自動化是強大的加速器,但我們確實需要安全防護,這就是為什麼 PagerDuty 利用 Amazon Bedrock 防護機制。
- 防護機制有助於防止幻覺、阻擋不希望的主題,並最小化有害內容。
- 除了幫助你管理由 AI 和代理引起的事件外,我們還可以幫助你強化負責任的 AI 政策。
- AI 的潛力是無可否認的。
- 隨著顛覆性創新而來的是機遇和責任。
- AWS 和 PagerDuty 致力於以創新方式運用 AI,同時永不忘記是什麼讓我們走到今天。
- 藉由創新、可擴展性和可靠性贏得你的信任。
- 讓我們一起為更安全、更有彈性和光明的未來鋪路。
- 謝謝。
- [掌聲]
- [音樂]
- 謝謝,Jen。
- 我相信有許多開發人員知道他們有 PagerDuty,晚上可以睡得更安穩。
- 好的。
Amazon Q 更新
- 我們花了很多時間討論如何幫助開發人員,但事實證明開發人員並不是唯一能從生成式 AI 獲得巨大收益的群體。
- 我們認為我們也可以透過協助自動化重複性、耗時且坦白說是無趣的任務,來提升公司中其他角色的效率,像是財務、銷售或營運等角色。
- 當我們與人們交談時,跨越所有這些不同角色的一個共同點是人們花費大量時間尋找資料,對吧?
- 他們想要找到資料來做決策,但這些資料分散在不同的應用程式中,他們來回尋找,要把所有資料整合在一起真的很困難。
- 這就是為什麼我們推出了 Q Business。
- Q 是最有能力的生成式 AI 助手,可以運用你公司的內部資料並加速任務。
- Q 的功能是連接你所有不同的業務系統、企業資料來源,無論是來自 AWS、第三方應用程式,還是來自 wiki 等內部來源,所有這些資料都可以用來進行更好的搜尋。
- 它可以對你的資料進行摘要,並讓你與跨越各個資料孤島的所有企業資料進行對話。
- 而且這一切都是在安全和隱私的前提下完成的。
- 所有關於資料的權限都保持在你的資料之中。
- 像是 Nasdaq、Principal Financial 和 Accenture 等客戶使用 Q Business 來讓他們的員工藉由生成式 AI 變得更有生產力。
- 現在,Q Business 的強大之處在於它為所有你的企業資料建立索引。
- 因此它為 Adobe、Atlassian、Microsoft Office、SharePoint、Gmail、Salesforce、ServiceNow 等的資料建立索引。
- 而且 Q 會持續保持這個索引的最新狀態,而且它非常安全。
- 維護所有資料的使用者層級權限。
- 所以如果你在 Q 之外沒有資料存取權限,你就不能在 Q 內部存取它,一切都是受控且合規的。
- 現在,藉由將所有這些儲存、應用程式、生產力工具和企業知識庫整合在一起,我們正以前所未有的方式做到這一點,而且我們正在快速擴展我們可以支援的資料類型,整合許多新的資訊,像是元資料,以及即將推出的音訊和圖片等新檔案類型。
- 但事實證明,這不僅僅是關於整合來自所有生產力工具和 SaaS 應用程式的資料。
- 客戶也對查詢他們的結構化資料感興趣,而許多公司今天在資料庫和資料倉儲中都有這些結構化資料。
- 而今天,如你所知,這些資訊的絕大部分都是藉由商業智慧系統來存取的。
- 現在有超過 100,000 位客戶正在使用 QuickSight 來滿足他們的分析需求。
- 使用 QuickSight 的互動式儀表板、像素完美的報表和嵌入式分析。
- 去年,我們將 Q 和 QuickSight 結合,讓你更容易獲得快速的生成式 AI 支援的見解。
- 你可以直接詢問關於你的資料的問題,並獲得圖表和資訊回覆。
- 現在,如果我們能把這一切整合在一起呢?
- 如果我們能把所有在你的 BI 系統中的資訊整合起來呢?
- 結構化資料存儲,並將其與存儲在 Q 索引文件、採購訂單和電子郵件中的所有資訊整合在一起,如果我們統一所有這些資料,你可能能做出更好的決策。
- 所以今天我很興奮地宣布我們正在將 QuickSight Q 和 Q Business 的資料全部整合在一起。
- [掌聲]
- 那麼,這究竟意味著什麼?
- 想像你正在查看 QuickSight 儀表板。
- 假設這是一個 QuickSight 儀表板。
- 你建立它來展示你的銷售情況。
- 這很有趣而且有用。
- 你可以看到你的銷售情況如何。
- 但也許你還想加入來自你的銷售管道的資訊。
- 你知道嗎?
- 當你在查看時,參考上週團隊討論他們在產業中看到的一些有趣趨勢的月度業務審查,這確實會很有趣。
- 現在,藉由 QuickSight 和 Q Business,你可以將 Salesforce 的管道資料導入你的 QuickSight 報表中。
- 你可以從 Adobe Experience Manager 獲取最新的電子郵件活動細節,或者你可以從 SharePoint 抓取上次的業務審查,而且你可以使用 Q 將所有這些資料整合在一起,並在一個視圖中向你展示。
- 全都在 QuickSight 內部,藉由從其他企業資料來源拉取資訊來讓 QuickSight 變得更強大。
- 這真的很酷,它讓 QuickSight 作為 BI 工具變得更加強大。
- 所以我們做到了,而且我們開始思考,這個 Q 索引,對你的公司來說實際上是一個非常強大的概念。
- 這可以作為所有企業資料來源的規範性資料源。
- 而且因為你有 Q。
- 理論上,這些其他應用程式,像是 QuickSight,可以變得更強大,就像我們做的那樣。
- 它們可以拉取這些資料,你就能從你正在使用的其他應用程式中獲得更多價值。
- 而且因為這個索引是由 AWS 管理的,你知道我們已經深入思考過如何給你對該資料的細粒度控制。
- 所以應用程式在沒有你的許可的情況下將無法存取那些資料。
- 而且正確的人只能存取正確的資料集。
- 所以我們問自己,為什麼要止步於 AWS 應用程式?
- 所以我們去跟一些客戶以及我們的一些 ISV 合作夥伴談話,我們說,如果我們能給你與我們給 QuickSight 相同的 Q 索引存取權限會怎樣,你就能看到他們的眼睛亮了起來。
- 他們可以看到,如果他們能拉取這些其他來源的資料,他們可以從這些第三方應用程式中獲得的價值,或者從應用程式開發者的角度來看,他們能為客戶提供的價值是巨大的。
- 所以我很高興宣布現在有一組新的 API,讓 ISV 可以存取我們在 Q Business 中使用的這個 Q 索引。
- [掌聲]
- 這對你們所有人來說意味著當你使用 Q Business 時,它讓所有其他應用程式也有潛力變得更好。
- 現在它帶有這種細粒度的權限,所以你可以控制當一個第三方應用程式可能有存取權限時。
- 但當你這樣做時,這些應用程式變得更好更有用。
- ISV 應用程式變得更強大且個人化。
- 它可以讓你節省時間和金錢,而且你不需要依賴。
- 如果他們想要存取那些資料,你不需要讓一堆其他 ISV 都有存取權限,並且都試圖處理權限。
- 你知道 AWS 已經處理好了。
- 所以,你知道,安全性就在那裡,在你需要的時候。
- 像 Asana 和 Miro Pagerduty、Smartsheet 和 Zoom 這樣的公司都已經在建立與這個 Q 索引的整合。
- 讓我們快速看看這可能是什麼樣子。
- 以 Asana 為例。
- 好的。
- Asana 是一個工作管理軟體提供商。
- 對。
- 他們已經與 Q 索引整合,在他們的專案管理應用程式中展示來自其他應用程式的內容。
- 讓我們假設一下你是一個 IT 領導者,而且你正在使用 Asana 建立一組新的工具。
- 然而,你可以看到不幸的是你的專案已經偏離軌道。
- 發生的情況是 Asana AI 利用 Q 索引來識別問題。
- 他們做的是查看並識別問題。
- 他們做的是從你的團隊聊天記錄中查看並拉取。
- 他們從團隊聊天中看到你沒有從 CTO 那裡得到承諾的時間表。
- 它還從一條未讀的 Gmail 訊息中發現,一個原本應該做出與這個專案相關決定的重要會議實際上被推遲到下週了,現在你已經落後了。
- 現在,因為你能夠整合所有這些資訊,你知道要把時間集中在哪裡,你可以試著讓事情回到正軌。
- 把所有這些資訊整合在一起真的很酷。
- 太棒了。
分析與 AI 整合
- 去年,我們還在 Q 中推出了一個名為 Q Apps 的新功能。
- Q Apps 讓你能輕鬆快速地自動化一些讓日常生活更便利的小任務。
- 你所要做的就是進入 Q Apps,用自然語言描述你想要的應用程式,它就會快速為你生成。
- 順便說一下,這些不是用來做大型主要應用程式的,對吧?
- 像是 Asana 或 Pagerduty 這樣的。
- 這些只是一些小應用程式,可能能夠每天為你節省 15 分鐘。
- 舉例來說,如果你是社群媒體行銷人員,你可以建立一個快速應用程式來調整你的文案,以適應不同網站的文字限制和受眾偏好。
- 所以現在,當你必須想出文案時,你可能需要反覆修改。
- 為了不同的網站修改十幾次、二十幾次或三十幾次,你可以建立一個小應用程式,只需輸入一次。
- 它會為你建立所有不同版本的文案。
- 這是一個簡單的應用程式,但它為你節省了大量時間,而且你可以想像如果你每天反覆使用它,這些時間會累積起來。
- 我們看到客戶一直在製作數百個這樣的應用程式,有時候它們實際上可以產生相當大的影響。
- Volkswagen 目前正在升級到一個新的空中資訊系統,像許多大型企業一樣,他們發現僅在北美就有超過 4000 個不同的工作代碼,而他們試圖將這些整合成幾十個標準化的工作代碼。
- 團隊中有人建立了一個 Q App 來做這件事,而且效果很好。
- 他們實際上將它推廣到整個團隊。
- 現在他們可以藉由使用這個功能在明年全球節省超過 100,000 小時。
- 多麼大的成功。
- 這全都來自於某人在他們的桌面上花約 5 到 10 分鐘建立的應用程式。
- 所以如果 Q 可以幫助自動化這些簡單的小工作流程,我們認為它也許也能幫助處理複雜的工作流程。
- 每個公司都有這些非常複雜的工作流程,對吧?
- 這些是涉及多個應用程式的工作負載。
- 它們涉及核准、涉及人工輸入。
- 而這些事情都很痛苦。
- 它們真的很難自動化。
- 沒錯。
- 而且這實際上不是一個新概念。
- 人們一直在試圖自動化這種類型的工作負載很長時間了。
- 但這很困難,因為它們通常需要人工互動。
- 有一個使用者介面,如果使用者介面的任何元素損壞,整個工作流程就會損壞,而你要花上數週的時間去嘗試修復它。
- 而且這些系統很脆弱,它們並不真的能運作。
- 試圖去建立它們的成本很高。
- Q 有一個更好的方法。
- 然而,我很高興地宣布即將推出的 Q Business 自動化功能可以幫助跨多個團隊和應用程式自動化任務。
- [掌聲]
- Q Business 將使用一系列進階代理來建立、編輯和維護工作流程,使它們對變更更具彈性,而且它們會自動完成所有這些工作。
- 舉例來說,假設你告訴 Q Business 你想要自動化一個複雜的,比如說汽車理賠處理工作流程。
- 好的,你只需要告訴它你的標準作業程序是什麼。
- 事實上,你甚至可以安裝一個瀏覽器外掛程式,它會跟隨並觀看影片,或在你手動執行步驟時錄製影片。
- 然後它會自動建立該工作流程。
- 詢問你一些它不理解的問題,然後就完成了。
- 現在你有了一個自動化的工作流程,而且在你啟動工作流程後,會有一個 Q 代理持續監控它,確保它能調整並找到任何發生的使用者介面變更,並即時修復它們,這樣你就不會有任何停機時間。
- 以前這需要花費數週或數月的時間,而現在你可以在幾分鐘內完成。
- 我們認為這只是 Q Business 將幫助你們所有人進行的自動化的開始,我們認為它對於節省許多這些繁瑣任務的時間將產生真正的影響。
- 現在讓我們聽聽另一家新創公司的故事,這家公司正在 AWS 上建立,並將自動化帶到一個全新的層次。
- [音樂]
- 我們對機器人的既定觀念是它們缺乏一些同理心。
- 它們缺乏一些互動性。
- 我不認為一定要這樣。
- [音樂]
- 在愛科,我們看到一個機器人在每個領域都提供幫助的未來。
- [音樂]
- 機器人必須以非常可預測的方式運作。
- 感測、感知、軟體。
- 所以它從雲端一直連接到車輪的實體驅動。
- [音樂]
- Proxy 的設計是為了承擔這些物料移動任務,移動箱子、手提箱和推車,可以移動重達 1,500 磅的推車。
- 而且它是一個友善的機器人。
- 它不是一台工業機器。
- 它不是一台堆高機。
- 藉由 AI 的進步,藉由大型語言模型的進步,我們有能力進行更具同理心的互動。
- 我們一開始並沒有想到。
- 我們該如何讓它能輕鬆地與不同模型即插即用?
- [音樂]
- 但 AWS 為我們預見了這點,AWS with Bedrock 了解到它不會來自單一來源。
- [音樂]
- 隨著這些模型更新,我們幾乎立即就能存取它們來改進我們的機器人,作為技術人員,作為發明家,我們有能力決定未來的樣貌。
- AI 不僅會改變認知工作的本質,它還會改變實體工作。
- [音樂]
SageMaker 演進
- 好的,那真是令人印象深刻,Brad。
- 那些機器人太棒了。
- 謝謝你的分享。
- 好的。
- 今天還有一個領域我們還沒有談到。
- 那就是 AWS 中的分析。
- 我們擁有最廣泛和最深入的專門分析服務。
- 我們有資料倉儲、資料處理、搜尋分析、串流分析、商業智慧等服務。
- 讓我介紹其中幾個,Redshift 是我們的雲端原生資料倉儲。
- 它提供業界領先的性價比。
- 現在有成千上萬的客戶在使用它,Redshift 每天處理數以 EB 計的資料。
- 我們有 EMR,這是我們的 PB 級大數據處理服務,而且它提供比開源 Spark 快 3.9 倍的性能。
- 我們有 OpenSearch,它提供從日誌分析到向量搜尋的所有功能。
- 它是一個非常靈活的服務,有數萬個活躍客戶使用 OpenSearch,支援數十萬個叢集,每月處理數兆個請求。
- AWS Glue 是我們的無伺服器資料整合服務,它每個月執行數億個資料整合工作,而且我們看到越來越多的客戶使用 SageMaker 開始他們的分析工作流程。
- 你聽到 Laurie 談到 JPMC 的情況了。
- 我們看到客戶使用 SageMaker 來處理和準備他們的資料用於 ML 工作負載和 ML 基礎分析。
- 而實際上,最後這一點非常有趣。
- 許多客戶告訴我們,他們的分析和 AI 工作負載越來越多地圍繞著許多相同的資料和相同的工作負載、工作流程集中。
- 這實際上正在改變客戶對分析服務的看法,因為事實證明你不再只是單獨使用分析和 AI 工具。
- 事實上,許多客戶正在使用他們的歷史分析資料來訓練機器學習模型,而且越來越多地將相同的資料整合到他們的生成式 AI 應用程式中。
- 所以很多人已經在一起使用這些服務了。
- 最近我和一個金融服務客戶討論,他們正在建立一個即時詐欺偵測系統,他們向我解釋他們的架構時說,看,這就是我的做法。
- 我從一個自建的資料目錄開始,它是為了讓分析師嘗試存取他們需要的資料,然後他們取得這些資料並載入到 Redshift 和他們的資料倉儲中,那就是他們儲存的地方。
- 然後他們在這些資料上執行 SQL 分析。
- 然後使用 SageMaker 和 EMR 的組合,他們將這些傳遞給他們的資料科學家,然後使用這些系統來準備訓練資料。
- 然後訓練和部署詐欺系統。
- 我的模型。
- 這實際上是一個他們建立的相當酷的系統,事實證明如果沒有這些雲端系統,他們永遠無法實現這個成果,對吧?
- 這是他們無法做到的事情,因為他們必須為每個步驟使用絕對最好的服務。
- 在對的時機使用最好的工具。
- 但當我們思考這個例子和其他類似的例子時,我們一直在想,我們如何讓這變得更容易?
- 如果我們從一張白紙開始呢?
- 一個理想的 AI 和分析系統會是什麼樣子?
- 所以我們這裡有四個能力圈。
- 我們擁有所有最好的分析服務。
- 我們有一個簡單的方法來理解所有你的資料,無論是結構化還是非結構化的,橫跨 S3、Redshift 和 Aurora 以及第三方資料來源,你會想要能夠利用你的資料管理能力。
- 然後使用 datazone 來做類似目錄、共享目錄和資料治理這樣的事情。
- 而且你會想要讓 AI 成為你所做一切的核心。
- 這幾乎就像我們需要第五個圈來將它們全部整合到一個統一的體驗中。
- 現在,SageMaker 是世界上最受歡迎的建立、訓練和部署 ML 模型的服務。
- 現在,如我們先前討論的,建立優秀 AI 應用程式的秘訣是用你自己的資料來客製化它們。
- 而 SageMaker 是現在大多數客戶執行這項工作的中心。
- 而且 SageMaker 實際上越來越成為許多資料、AI 和資料分析的中心。
- 事實上,這是我們看到客戶處理其資料和 AI 模型的實際方式。
- 而且現在已經有數十萬客戶在使用 SageMaker。
- 現在我們正在將所有這些部分整合在一起,我非常興奮地宣布下一代 Amazon SageMaker。
- [掌聲]
- SageMaker 現在是你所有資料分析和 AI 需求的中心。
- 我們正在做的是把你們都熟悉且喜愛的 SageMaker 擴展,藉由整合最全面的資料分析和 AI 工具集。
- 快速分析、資料處理、搜尋資料準備、AI 模型開發和生成式 AI 所需的一切,都能以單一視圖查看你的企業資料。
- 作為其中的一部分,我也很興奮地宣布 SageMaker Unified Studio。
- [掌聲]
- 這是一個今天就可以預覽的單一資料和 AI 開發環境。
- 它讓你能夠存取組織中的所有資料,並使用最適合工作的工具來處理它。
- 它整合了分析師和資料科學家今天在 AWS 中跨多個獨立工作室使用的功能、獨立查詢編輯器和各種視覺化工具,像是 EMR、Glue、Redshift、Bedrock 和所有現有的 SageMaker Studio 功能。
- 它允許你建立包含 AI 或分析成品(如筆記本或模型)的共享專案,並讓你的資料科學家、分析師和 ML 專家都能在同一個整合空間中輕鬆協作。
- 它還包含整合的資料目錄和治理功能,讓你能夠輕鬆應用安全控制,使組織中的不同使用者都能存取他們需要的成品,但只能存取他們有權限的部分。
- 那麼我們是如何做到這一點的呢?
- 我們首先必須打破我們現有的資料孤島。
- 如你所知,這需要多年的時間。
- 我們一直在朝著零 ETL 的未來邁進。
- 考慮到這一刻,Zero-ETL 整合了你在 Aurora、RDS、DynamoDB 和 Redshift 之間的所有資料。
- 而且我們也知道,如我們整天討論的,你的許多關鍵資料都存在於強大的第三方應用程式中,這使得一起使用所有這些資料變得困難,因為它們是孤立的。
- 我們也想讓這變得更容易。
- 所以今天我們推出 Zero-ETL for Applications,這是一個新功能,讓你可以分析存儲在許多最受歡迎的第三方 SaaS 應用程式中的資料,而無需建立和管理資料管道。
- [掌聲]
- 所以客戶想要跨所有這些資料進行分析。
- 而且如我們今天早些時候宣布的,我們在 S3 中有這個新的 Iceberg 功能,讓查詢你的 S3 資料湖變得更容易。
- 但你想要一個跨所有資料的單一介面,無論是 Redshift、結構化資料源,還是 S3 資料湖或其他聯合資料源。
- 所以我今天很興奮地宣布 Amazon SageMaker Lakehouse。
- [掌聲]
- 這是 SageMaker 中一個新的 Apache Iceberg 相容資料湖,提供跨所有這些資料源的簡單、統一存取。
- 你可以在統一工作室中輕鬆處理所有資料,或者你實際上可以從任何支援 Apache Iceberg API 的第三方 AI 或分析工具或查詢引擎直接存取你的 SageMaker Lakehouse。
- 無論資料是如何或在何處實體存儲,你都可以查詢資料,而且對於所有那些使用案例,無論是分析或特定查詢、處理或資料科學等,都是藉由這個一致的介面。
- 而且別擔心,你熟悉且喜愛的 SageMaker 仍然包含所有你一直在使用的現有 AI 功能。
- 像是資料整理、人工在迴圈中、groundtruth 實驗、MLOps,當然還有 hyperpod 管理的分散式訓練。
- 我們現在將其稱為 SageMaker AI,而且在 SageMaker AI 中有大量新的發布,你會在這週期間聽到這些內容。
結語
- 讓我們把一切都串連起來。
- 還記得我們一開始提到的詐欺偵測使用案例嗎?
- 讓我們看看如何藉由 新的統一工作室和新的 SageMaker 來改善這個體驗。
- 現在你的分析師和資料科學家可以存取整合的業務資料目錄集。
- 他們現在可以搜尋他們的使用案例所需的相關資料。
- 在這個例子中,假設資料分析師想要查看交易。
- 他們可以查看資料的細節,而且他們可以訂閱並將其加入他們的專案。
- 接下來,他們可以開啟一個查詢編輯器,它原生整合在統一介面中。
- 這個查詢編輯器讓他們能夠撰寫可以針對 Redshift 或 Athena 執行的 SQL 查詢,而且完全不需要離開 SageMaker,然後他們可以輕鬆地與團隊中的資料科學家分享這個資料集以繼續工作。
- 所有這些團隊都可以在這個專案上協作,然後資料科學家加入並開始處理和準備使用資料。
- 他們可以使用 Spark,然後訓練機器學習模型並偵測詐欺,並使用 SageMaker AI 部署它們。
- 全都在這個單一筆記本中。
- 所有東西都在一個統一的工作室中,全部一起運作。
- 而且我們才剛開始。
- 在接下來的一年中,我們將為新的 SageMaker 添加大量新功能,像是:
- AutoML
- 新的低程式碼體驗
- 專業 AI 服務整合
- 串流處理和搜尋
- 藉由 Zero-ETL 存取更多服務和資料,全都在這個單一統一介面中。
- 最重要的是,你今天就可以開始。
- 只要登入 SageMaker 你就可以開始建置。
- 好的。
- 今天我們涵蓋了很多內容,從最佳的基礎建置區塊到能讓你增加影響力和工作效率的應用程式,它們讓你更容易以你需要的方式處理所有資料。
- 而且我們一直在以前所未有的速度創新,為你們這些客戶提供建立任何你們能想像的事物所需的一切。
- 而且我告訴你,我從未像今天這樣對未來感到興奮。
- 我們正處於一個重要的時刻。
- 我們在世界上看到的創新數量真的令人難以置信,我不只是指來自 AWS 的創新。
- 我真的對我們看到的來自客戶、合作夥伴、企業、令人難以置信的新創公司的創新感到興奮,就像我們今天聽到的那些。
- 從來沒有比現在更好的創新時機,而且你從未擁有過如此豐富的強大工具來幫助你做到這一點。
- 請把握本週的機會向在場的每個人學習。
- 這裡有大量很棒的內容和很棒的人可以向他們學習。
- 非常感謝,享受 re:Invent。
- [音樂]