(圖說：拍攝於 Lac de Neuchatel 湖畔，瑞士。圖片來源：Ernest。)
美國聯合航空公司意識到生成式 AI 對於推動業務營運的重大潛力，無論是改善客戶體驗、還是提高營運效率。然而，他們也了解這項新興技術所隱含的風險和陷阱。透過與 AWS 及其 Amazon Bedrock 生成式 AI 服務合作，聯合航空公司制定了一個策略性的框架，以負責任的方式實施和擴大生成式 AI 的使用案例。他們的方法注重創新、包容並快速原型製作高價值和低複雜度的使用案例，並建基於現有（十五年）的 MLOps 平台和數據工程能力。聯合航空公司視 Amazon Bedrock 為關鍵，可解鎖生成式 AI 的各種可能性，包括其全託管服務、API 框架、模型選擇和數據安全性。展望未來，他們的優先考量點包括增強提示工程、多模態模型、成本優化和為特定使用案例微調模型。
內容大綱
摘要 tl;dr
- 美國聯合航空公司與 AWS 合作，使用其 Amazon Bedrock 生成式 AI 服務，策略性地在整個業務中導入生成式 AI
- 他們的方法著重於首先快速建立高價值、低複雜度使用情境的原型
- 使用情境以改善客戶體驗為中心，包括摘要、對話和情感分析
- 優先考量點包括負責任的 AI、模型選擇、客製化以及創造業務價值
- 未來重點領域包括多模態模型、成本優化和模型微調
影片觀看
內容選自 AWS Events。完整議程請見 AWS re:Invent 2023 - Accelerate generative AI application development with Amazon Bedrock (AIM337)。
內容
美國聯合航空 ML Engineering
- 再次感謝大家，我是 Sanjay Nair，來自美國聯合航空 (United Airlines)。我負責我們的資料、 人工智慧和分析工程部門，我將帶大家從 AI 建立的 Octank Bank 情境，轉向真實世界，透過世界上最大的航空公司之一的客戶視角。接著，我將基於 Mark 和 Girish 介紹的 Amazon Bedrock 產品和技術，開始介紹我們團隊，討論這一年來我們面臨的挑戰與機會。我們將討論我們如何與策略夥伴如 AWS 一起策略設計和實施我們的解決方案，然後談談未來的道路，探索我們如何使用 Bedrock 釋放生成式 AI 的巨大潛力。
- 聯合航空的使命是成為航空業的最佳航空公司，這不僅僅是在規模、路線網路、目的地數量或我們運送的客戶數量上成為最佳，而是在提供最佳客戶體驗、驅動最高的客戶忠誠度並激勵員工的積極參與上做到最好。
- 我們的成長戰略令人興奮，計劃在未來幾年新增超過 700 架飛機，這幾乎是我們機隊的兩倍，但我們的座右銘是「Good leads the way.」，意味著我們要以對我們有幸服務的社區負責的方式進行擴展，並對我們的客戶負責。
- 現在，我們的業務很複雜，我們在聯合航空相信 AI 和 ML，特別是生成式 AI，將對我們業務的多個不同領域帶來顯著的價值，無論是網路營運、客艙或飛行營運、收益管理、商業面或技術面的營運和維護。我的團隊有幸支持整個企業，無論是在營運、商業、數位等方面，實施我們認為將增加重大價值的生成式 AI 平台。
生成式 AI 機會
- 我想可以肯定地說，在 2023 年達到這個階段時，我們大多數公司都沒有生成式 AI 的計劃。更多的是生成式 AI 衝擊到我們，而不是我們為它做好了計劃。但我們必須迅速做出反應，聯合航空必須迅速做出反應的原因是許多供應商和夥伴都在向企業各處的業務用戶推出解決方案，聲稱能解決他們的所有問題。
- 但是，我們認識到生成式 AI 存在的巨大機會，同時也認識到這項技術的風險和陷阱。
- 首先，當然是它的新穎性，但我們也知道它存在風險。但我們建立了一套指導原則，幫助我們為這個計劃制定策略。首先，當然是我們要聽取所有業務用戶的意見和所有我們稱為「由包容推動的創新」的想法，我們要確保考慮了所有場景，並找到適合生成 AR 的正確方法。當然，我們必須迅速將它們推向市場，因為這是所有這些不同場景和夥伴進入市場的主要考慮因素。第三，我們必須有一個簡單而快速的整合，因為這也是其他夥伴和供應商所承諾的。
- 那麼我們做了什麼呢？我們召集了一些策略夥伴，當然 AWS 是我們的策略夥伴，我們利用 AWS 現代化我們的數位技術平台到雲端，幫助我們從各種大肆宣傳當中辨識出什麼才是現實。
Amazon Bedrock 解決方案
- 這就是我們如何首次預覽到 Bedrock，並且被其中的幾個功能所說服。首先，它是一項完全由 AWS 管理的服務，這很棒，因為它建立在我們已有的 AWS 平台上。其次，正如 Girish 提到的，它採用 API 呼叫框架，使我們的商業用戶和應用開發夥伴能夠輕鬆使用。第三，也是最重要的，它提供了我們真正需要的模型選擇，因為我們都知道這仍然是一個新興的領域，有很多我們不了解的地方，所以我們想要有選擇，可以進行實驗，嘗試，然後決定哪種最優模型適用於某個場景。
- 當然，我們不想在企業中到處都是這些點狀解決方案，那會使安全成為一場噩夢，會使負責任的 AI 成為一場噩夢，所以我們要確保我們有中央化的營運來推動這整體工作的進展。我已經談到了安全問題，對於大型企業來說，安全非常重要，所以對我們來說，確保 Bedrock 具備實施平台時所需的許多功能和能力是至關重要的。
- 我提到了實驗和快速原型設計，在這裡你決定場景是否有效，如果不行，我們有一個平台可以快速失敗，並轉向下一個場景。這就帶領我們檢查如果這個場景是有意義的，我們如何擴大規模並做好生產準備，這正是 AWS 的強項，它為我們提供了一個平台，使我們能夠迅速將這些場景擴展到生產。
- 現在讓我們稍微談談我們構建這個架構的技術架構。AI 和 ML 對於聯合航空來說並不陌生，我們已經使用 ML 將近 15 年了，但過去 15 個月真正令人興奮的是，我們在雲端現代化我們的資料平台之上構建了我們的 MLOps 平台，這確實是加速並實施聯合航空生成式 AI 的平台。
- 這就是我們與 AWS 合作，將 Bedrock 平台整合進我們的 MLOps 平台之上。這為我們提供了之前談到的功能，如 API 呼叫、我們的 LLM 模型的多重選擇，從那裡我們可以將 Bedrock 和我們的 MLOps 平台擴展到其他事物，例如 Girish 談到的知識庫 (knowledge base) 和向量資料庫 (vector database)，這將有助於我們嵌入文件 (embedding documents) 和文件分塊 (document chunking)，保留提示和回應的上下文和記憶，以及這些 LLM 模型的持續對話。
- 當然，我們還將這個 API 框架擴展到像服務日誌這樣的事物中，以記錄提示和回應，確保我們能夠將其存儲在我們的 S3 中，我們的聯合資料 Hub 中，然後我們可以使用它來進一步改進和微調我們的模型。我們還為這個框架添加了一些加速器和適配器，這是 CS 模板，這些模板像 G 提到的摘要以及聊天機器人模板一樣，這些真正幫助了我們的場景和我們的業務用戶，這將繼續隨著越來越多的場景出現而持續發揮作用，這些模板可以用來加速實施，更重要的是減少我們的業務用戶和應用開發夥伴需要使用的客戶工作。
- 最重要的是，沒有負責任的 AI 對於生成式 AI 的技術架構討論是不完整的，尤其是對於我們這樣規模的公司來說。許多這些功能都內置在 Bedrock 中，我們也在進一步擴展這些功能，例如回應過濾器和上下文過濾器，以確保我們監控像語氣和潛在的有毒回應等事物，然後我們可以在將這些場景向前推進時在迴圈中加入人類來工作並調整這些場景。
- 但從這張幻燈片上真正需要帶走的關鍵信息是 AWS 和 Bedrock 提供了基礎設施，他們將繼續創新並支持這一點，而我們相信我們將專注於資料，建立資料知識庫，然後專注於提示和回應，繼續為業務創造重大價值。
- 現在，讓我們談談過去幾個月基於我們談到的技術和框架的一些學習經驗，首先對我們真正有幫助的是，我們不必將我們的資料和 ML 工程團隊轉變 180°，我們能夠從我們在 AWS MLOps 平台上構建的基礎上建立和成長，這不僅是一個驗證，也是一個偉大的加速器，尤其是對於我的工程師和我的團隊來說，能夠迅速將這些解決方案推向市場。
- 其次，真正要構建的是組織和溝通框架，因為要支持我們這樣規模和規模的企業，我們需要確保我們不僅傳達生成式 AI 和 Bedrock 的力量，還要傳達潛在風險，以及如何管理負責任的 AI 組件，以及如何管理與之相關的風險，因此這真正為我們構建這些場景和概念驗證提供了正確的框架，為支持它們做好了準備。
- 因此，如果我要總結這些學習，就像這本書的三個章節一樣，第一章是建立提供框架的計劃結構，以接收這些場景和概念證明，然後評估它們的準備情況；第二章確實是關於準備情況的，確保你有一個框架，我們使用的是一個矩陣，一個軸上是價值，另一個軸上是複雜性，並且真正開始關注那些具有高價值和低複雜性的場景，這為我們提供了經驗，然後轉向那些也將產生高價值的更複雜的場景。
- 那麼，一些場景是什麼呢？我們真正關注的是我們的客戶，我們談到了員工群體，許多新加入我們公司的員工都屬於熱愛且擁抱技術的族群，這是數位原生的，熱愛使用生成式 AI。因此，我們認為這非常適合我們，使他們能夠更好地支持客戶，優化與客戶的溝通，更重要的是，通過生成式 AI 理解客戶情緒，理解客戶滿意度並推動可操作的洞察，因此我們將客戶置於這些場景的中心，隨著我們開發這些場景。
- 正如 Girish 所說，我可以總結出，我們有四五類場景模型。
- 第一類圍繞摘要和寫作，我們有很多複雜的政策和業務規則，生成式 AI 在摘要這些資訊政策和業務規則的相關部分上特別有用，以便員工和團隊成員能夠向客戶展示，我們認為這將帶來重大價值。
- 第二個是圍繞對話，聊天機器人類型的場景，與客戶更一對一互動，我們認為生成式 AI 在摘要和帶回資訊方面有很多價值，使這種一對一的對話成為可能，無論是通過 agent 還是通過我們的數位工具，包括我們屢獲殊榮的 United Mobile app 應用程式，這些工具真正可以利用這項技術為客戶和員工提供很多價值。
- 第三個是圍繞情緒分析，正如我提到的，我們有大量的客戶回饋進來，利用這個知識庫，利用我們的平台從中獲得真正可操作的洞察，推動更多的項目和倡議，以提高客戶滿意度和客戶體驗。
- 第四個是圍繞更多新興領域的多模態 LLM，這是關於文字轉語音和語音轉文字以及我提到的所有其他場景的總結，可以提供更多沉浸式體驗，無論是對於客戶還是我們的員工，以改善客戶體驗，這是一個令人興奮的前沿領域。
解鎖商業可能性
- 現在，讓我們稍微談談我們認為 Bedrock 如何使這些場景得以實現並取得成功。
- 首先，也是重複出現的主題之一，對我們來說是關於負責任的 AI 和安全，這很重要，正如 Girish 所提到的那樣，我們相信我們的資料不會被用來訓練基礎模型，我們的訓練資料是我們的，這對我們來說至關重要，可以讓我們安心，知道它不會被用於其他目的。
- 第二，當然是為了實現生成式 AI 的民主化，我們相信 Bedrock 提供的模型選擇將有助於將 AI 傳播到整個企業，這是實現業務價值的關鍵。
- 第三是關於業務效率，我們相信隨著我們將我們的遺留平台軟體現代化到雲端，生成式 AI 將轉變許多業務，這也是一個巨大的價值領域。
- 最後，但同樣重要的是，Bedrock 提供的模型選擇和定制是我們不確定的領域，因此擁有這些選擇，能夠實驗，玩耍並持續改進這些 LLM 的輸出，將是中短期內為聯合航空創造價值的關鍵。
- 現在，讓我們回到我們開始的地方，談談這一切將如何發展，我們認為這種創新將如何運作，再次強調的主題是，我們使用 Bedrock 並與 AWS 合作，因為我們相信他們將繼續用 Bedrock 進行創新，然後我們可以專注於如何利用我們擁有的資料和我們將建立和構思的場景來創造價值。
- 我想談論的三個類別，首先，當然是負責任的 AI 和安全，我們正在設置合適的護欄，以保護我們的客戶和員工的安全，我們正在研究像提示工程這樣的事物。
- 第二個是平台，這實際上是需要優化的地方，在整個演講中你沒有聽到很多關於成本的內容，但這將是包括我們在內的任何公司的一個重要考慮因素，因此成本優化將是我們未來關注的重要組成部分，管理這些成本將是重要的，我們相信保持這一點在心中將是重要的，所以像硬體優化，為適當的場景選擇正確的晶片，以及資料庫優化，將是我們未來關注的重要方面，以及模型監控以及進行這些測試以確保這些測試生成我們認為的價值。
- 最後，同樣重要的是模型本身，我們談到了 Bedrock 提供的模型選擇，以及未來將推出的更多客戶模型，我們對這一多模態機會特別感興趣和興奮，然後也在努力微調一些我們為聯合航空訓練的特定場景的模型，這也將幫助我們優化成本，進一步前進，我們不必使用那些已經訓練好的更大模型。
- 所以，這些是我們未來將要關注的領域，再次總結，我們的重點將放在我們的場景和我們的資料上，同時我們將與 AWS 合作，以增強和開發更多創新的 Bedrock 平台，這樣我們的資料工程師和我們的 ML 工程師就可以專注於與我們的業務合作，確保我們建立業務效率，更重要的是建立客戶體驗，使我們的客戶繼續回來並乘坐聯合航空。這就是我們的故事，謝謝大家，現在我將時間交給 Mark。