今天 (18/4) Meta 宣布了下一代 Llama 的前兩款車型， 元羊駝 3，準備全面使用。這個新版本包括預先訓練和微調的語言模型，以及參數 8B e 70B，能夠滿足廣泛的需求。秉承支持開源社群的傳統，Meta 做出了 駱駝3 為社區。這也意味著 元人工智能公司社交網路上的人工智慧也將得到改進，包括在社交網路中即時創建圖像的能力 Whatsapp。看更多！
認識駱駝 3
隨著 駱駝3 該公司打算開發可與目前可用的最佳專有語言模型相媲美的開放模型，例如 GPT-4。根據 Meta 的說法，開發者反饋已被優先考慮以提高 Llama 3 的整體可用性，“在負責任地使用和實施大語言模型（LLM）方面保持領導力的承諾“。
遵循以下原則 開碼，採用了早期頻繁發布的方式，允許社區即時存取並為這些模型的開發做出貢獻。今天推出的基於文字的範本只是 Llama 3 系列中的第一個。 法學碩士，例如推理和編碼。
符合設計方法 駱駝3, Meta 選擇了 Transformer 架構 僅解碼器，這是預設選擇。 Llama 3 採用標記化，詞彙量擴展為 128 代幣，從而實現更有效率的語言編碼，從而提高模型效能。為了優化 Llama 3 模型的推理效率，該公司採用了叢集查詢注意力技術（質量保證局）有兩種不同尺寸：8B 和 70B。在訓練期間，使用的序列長度為 8.192 個標記，並套用遮罩以確保自註意力保持在文件邊界內。
為了訓練最好的語言模型，擁有大量、高品質的訓練資料集至關重要。根據我們的設計原則，我們在 Llama 3 的預訓練資料上投入了大量資金。 超過 15 兆代幣，全部來自公開來源。我們的訓練資料集比 Llama 2 使用的資料集大七倍，包含四倍以上的程式碼。
為了為未來的多語言用例做好準備，Llama 5 預訓練資料集中超過 3% 由英語以外的語言的高品質資料組成， 涵蓋30多種語言。然而，Meta 並不期望在這些語言中達到與英語相同的表現水平。
為了確保 Llama 3 使用最高品質的資料進行訓練，開發了一系列資料過濾管道。這些管道包括使用 啟發式過濾器、過濾不適當的內容、語意重複資料刪除技術和文字分類器來評估資料品質。 Llama 的早期版本有效 高品質數據識別，然後使用 Llama 2 為提供給 Llama 3 的文本品質分類器產生訓練資料。
此外，Meta 使用實驗來確定將不同來源的資料合併到最終預訓練資料集中的最佳方法。這些實驗使我們能夠選擇資料組合，確保 Llama 3 在各種用例中表現良好，包括 瑣事, 幹 （科學、技術、工程和數學）， 編纂, 歷史知識等等。
與 Llama 2 的比較
新模型 駱駝3，參數為 8B 和 70B，表示相對於 駱駝2，為這些規模的法學碩士模式設立了新標準。 Meta 聲稱，由於預訓練和訓練後的改進，預訓練和指令微調模型目前在 8B 和 70B 參數規模上是無可爭議的領導者。
培訓後程序的優化導致 減少錯誤拒絕率，除了提高模型響應的一致性和增加多樣性之外。推理、程式碼產生和未來指導等功能也得到了顯著改進，使 Llama 3 更具適應性和針對性。
在 Llama 3 的開發過程中，我們對模型在標準基準測試和現實場景中的表現進行了分析。為了確保實際應用的有效優化，創建了一個新的高品質人類評估套件。此組包含 1.800 個提示，涵蓋 12 個主要用例，包括 尋求建議、集思廣益、排序、回答封閉式問題、編碼、創意寫作、提取、模仿人物/角色、回答開放式問題、推理、重寫 e 摘要.
為了避免 過擬合 （或 過度擬合，最常用的術語）這個評估集的模型是偶然的，即使是Meta自己的建模團隊也無法存取它。所呈現的圖表顯示了這些類別和提示中人類評估的匯總結果，並將 Llama 3 的性能與模型進行了比較 克勞德 十四行詩, 米斯特拉爾介質 e GPT-3.5.
Llama 3 如何改善元人工智慧
由於 Meta Llama 3 的進展，該公司宣布 Meta AI 的國際擴張——記住該資源是美國獨有的。 Meta AI 作為現有模型的有力競爭對手，現在可供世界各地更多的人使用，使用戶能夠使用 Facebook, Instagram, Whatsapp e Messenger 享受這項免費技術來執行各種操作、創建內容和即時存取資訊。
Meta AI 最初是在去年的 Connect 期間透露的，現在用戶來自以下國家： 澳洲、加拿大、加納、牙買加、馬拉威、紐西蘭、奈及利亞、巴基斯坦、新加坡、南非、烏幹達、尚比亞 e 津巴布韋 也能享受它的好處。作為 Meta AI 擴充功能的一部分，人們現在還可以在 元人工智慧，在網路版本中。
你打算晚上和朋友一起出去嗎？請 Meta AI 推薦一家風景優美、甚至有素食選擇的餐廳。您正在組織週末旅行嗎？請 Meta AI 尋找週六晚上的節目。你正在準備考試嗎？請 Meta AI 解釋遺傳特徵如何發揮作用。您要搬進您的第一間公寓嗎？讓 Meta AI 「想像」您想要的美感，助手將為您的家具產生一些靈感照片。
Meta 解釋了人工智慧如何幫助你
O 元人工智能 它也可以直接在 Facebook、Instagram、WhatsApp 和 Messenger 的搜尋功能中使用。這意味著您可以 即時存取互聯網資訊 無需在應用程式之間切換。例如，假設您正在計劃透過 Messenger 群組與朋友一起旅行。透過 Messenger 搜索，您可以要求由全新 Llama 3 提供支援的 Meta AI 查找從您的出發地到目的地的航班，並發現最慢的周末旅行。當然，這一切都無需離開 Messenger 應用程式。
人們也可以在瀏覽 Facebook Feed 時造訪 Meta AI。如果您發現某個帖子激起了您的興趣，您可以直接從該帖子向 Meta AI 請求更多信息，就像常規的 Google 搜索一樣，僅在 Facebook 帖子中進行。
Meta 正在加速成像過程，使人們能夠使用 Meta AI 的 Imagine 功能從文字創建即時影像。該功能今天開始推出測試版，可在美國的 WhatsApp 和 Meta AI 網路體驗上使用。當他們開始打字時，人們會立即看到圖像出現。該圖像會隨著您輸入的每個字母而變化，讓您可以看到 Meta AI 將您的想法即時變為現實。
據該公司稱，這些生成的圖像呈現出 提高清晰度和品質，提供更好的在圖像中包含文字的能力。此外，它還會提供改進影像的建議，讓您可以從最初的起點繼續改進。當您找到圖像時，只需要求 Meta AI 對其進行動畫處理、將其調整為新格式，甚至將其轉換為 的GIF 與您的朋友分享。
雖然這些更新特定於 Facebook、Instagram、WhatsApp、Messenger 和網路上的 Meta AI，但重要的是要記住，Meta AI 在美國也適用於智慧眼鏡 雷朋 Meta，很快在 元任務 — 元虛擬實境設備。
開源和安全的透明度
生成式人工智慧技術的潛力可以真正改善Meta產品和更廣泛生態系統的使用者體驗。儘管如此，必須解決的另一點是確保這是在一個 負責任的 e 當然。因此，該公司正在採取措施評估和降低人工智慧開發和實施各個階段的風險。這包括將保障措施整合到 Llama 基礎模型設計和發布流程中，以及支援開發者生態系統以促進負責任的實踐。
因此，Llama 3 採用了一種系統方法，將 發展各階段的保障。這意味著除了提供使開發人員負責任地實現模型的工具之外，還對培訓和調整過程進行了特別關注。
這種方法不僅加強了負責任的人工智慧方面的努力，而且體現了開放創新的願景，使開發人員能夠安全地自訂他們的產品以造福用戶。元還有 負責任的使用指南， 開發人員的重要來源，為建立產品提供指南。
正如我們在發布 Llama 2 時所解釋的，有意設計這些措施非常重要，因為有些措施只能由模型提供者有效實施，而另一些措施只有在開發人員作為其特定的一部分實施時才能有效發揮作用。應用。
增強公司實力
自去年推出 Meta AI 以來，該品牌在多個領域不斷改善體驗：
- Meta AI 對政治和社會議題的回應已經完善，納入了針對這些主題的具體指導方針。目標是就某個主題提供各種相關觀點，同時在提出具體問題時尊重使用者的意圖。
- 包括具體的說明和回應，使其更有用，使用獎勵模型來指導您的行為。
- Meta AI 的性能透過基準測試和人類專家的測試進行評估，解決持續過程中發現的任何問題。
- 請求和回應層級的保護措施，包括過濾器和分類器，以確保互動符合準則且安全。
- 供使用者分享經驗的回饋工具，使我們能夠持續改進 Meta AI 的效能。
而你，你對這個消息有何看法？我們迫不及待想去巴西，不是嗎？告訴我們您在我們身上發現了什麼 評論!
另見：
審閱者 格勞孔生命力 18 年 4 月 24 日。
了解更多關於秀美科技
註冊以透過電子郵件接收我們的最新消息。
