Meta AI Llama 2: Open Foundation and Fine-Tuned Chat Models

(圖說：拍攝於 Lac de Neuchatel 湖畔，瑞士。圖片來源：Ernest。)

關於

整理 Llama 1 與 Llama 2 的比較資訊，以及關於 LLAMA 2 COMMUNITY LICENSE AGREEMENT 的筆記備忘。更多 Meta AI 模型與產品請參考這頁筆記。

Llama 1

• Blog = Introducing LLaMA: A foundational, 65-billion-parameter language model on 2023-02-24
• Paper = [2302.13971] LLaMA: Open and Efficient Foundation Language Models
• License = GPL v3
  • src = llama/LICENSE at 1076b9c51c77ad06e9d7ba8a4c6df775741732bd · facebookresearch/llama

Llama 2

• Blog = Meta and Microsoft Introduce the Next Generation of Llama on 2023-07-18
• Paper = [2307.09288] Llama 2: Open Foundation and Fine-Tuned Chat Models
• License = Llama 2 Community License Agreement
  • src = llama/LICENSE at 6d4c0c290aeec1fa4399694fefb864be5a153bb6 · facebookresearch/llama
• 填完 Request 表格後會收到一封信說明同意授權、及下載 models 的方法。

LLAMA 2 COMMUNITY LICENSE AGREEMENT

llama/LICENSE at 6d4c0c290aeec1fa4399694fefb864be5a153bb6 · facebookresearch/llama

我將大家討論比較多的段落標示出來。License 全文請參考上面連結。

• You are granted a non-exclusive, worldwide, non-transferable and royalty-free limited license under Meta’s intellectual property or other rights owned by Meta embodied in the Llama Materials to use, reproduce, distribute, copy, create derivative works of, and make modifications to the Llama Materials.
• 可散佈。
• Licensee 用 Llama Materials 製作出衍生物，該衍生物的終端使用者不適用本授權的 Section 2？（Section 2 可能只管轄機構、不適用終端使用者？）
• 不能拿 Llama 來改進其他 LLM。
• 超過 7 億 MAU 要申請許可。 (Section 2)

Llama 1 vs Llama 2 (Comparison)

• Evaluation Results
  • 

討論

• 雖然關於 “open source” 這詞有爭議、有各種詮釋角度？！¹ 但 Meta AI 這一步，也許可以取得 Edge AI 的先期導入佔比？
• 七億 MAU 以下，請別想太多，盡情創造無腦玩？！
• 期待更多測試、比較結果，各種模型或是工具，應有其優缺點、適用性。
• 同一天 (2023-07-18) AWS Blog 也發布一篇 Llama 2 foundation models from Meta are now available in Amazon SageMaker JumpStart | AWS Machine Learning Blog，推測 Meta 應該也有與 AWS 密切合作，才能在 2023-07-18 同時發表？而 Meta Blog 與新聞稿卻是與 Microsoft 聯名，頗有趣。