Meta meluncurkan Llama 3, model AI yang mampu menghasilkan gambar secara real time di WhatsApp

Hari ini (18/4) tersebut meta mengumumkan dua model pertama dari generasi berikutnya Llama, the Meta Lama 3, siap digunakan secara komprehensif. Versi baru ini mencakup model bahasa yang telah dilatih sebelumnya dan disempurnakan, dengan parameter 8B e 70B, mampu memenuhi berbagai kebutuhan. Mengikuti tradisi mendukung komunitas open source, Meta membuat Lama 3 untuk komunitas. Ini juga berarti bahwa Meta AI, kecerdasan buatan yang ada di jejaring sosial perusahaan, juga akan ditingkatkan, termasuk kemampuan membuat gambar secara real time di WhatsApp. Lihat selengkapnya!

Temui Llama 3

Dengan Lama 3 perusahaan bermaksud untuk mengembangkan model terbuka yang menyaingi model bahasa kepemilikan terbaik yang tersedia saat ini, seperti halnya GPT-4. Masukan pengembang telah diprioritaskan untuk meningkatkan kegunaan Llama 3 secara keseluruhan, menurut Meta, “menjaga komitmen terhadap kepemimpinan dalam penggunaan dan penerapan Grand Language Model (LLM) secara bertanggung jawab".

Mengikuti prinsip kode terbuka, pendekatan pelepasan awal dan sering diterapkan, yang memungkinkan komunitas mengakses dan berkontribusi pada pengembangan model-model ini secara real-time. Templat berbasis teks yang diperkenalkan hari ini hanyalah yang pertama dalam seri Llama 3. Visi masa depan lebih lanjut mencakup perluasan Llama 3 untuk menawarkan dukungan multibahasa dan multimodal, meningkatkan kemampuan konteks, dan terus meningkatkan kinerja di seluruh aspek utama dari Llama XNUMX. LLM, seperti penalaran dan pengkodean.

Sejalan dengan pendekatan desain di Lama 3, Meta memilih arsitektur transformator khusus dekoder, yang merupakan pilihan default. Llama 3 menggunakan tokenisasi dengan kosakata yang diperluas 128 ribu token, menghasilkan pengkodean bahasa yang lebih efisien dan, akibatnya, meningkatkan performa model. Untuk mengoptimalkan efisiensi inferensi model Llama 3, perusahaan memasukkan teknik perhatian kueri berkerumun (GQA) dalam dua ukuran berbeda: 8B dan 70B. Selama pelatihan, urutan yang digunakan memiliki panjang 8.192 token, dan masker diterapkan untuk memastikan bahwa perhatian diri tetap berada dalam batas dokumen.

Untuk melatih model bahasa terbaik, penting untuk memiliki kumpulan data pelatihan yang besar dan berkualitas tinggi. Sejalan dengan prinsip desain kami, kami telah banyak berinvestasi pada data pra-pelatihan untuk Llama 3. Model ini telah dilatih sebelumnya pada lebih dari 15 triliun token, semuanya dari sumber yang tersedia untuk umum. Kumpulan data pelatihan kami tujuh kali lebih besar daripada yang digunakan untuk Llama 2 dan mencakup kode empat kali lebih banyak.

Dalam persiapan untuk kasus penggunaan multibahasa di masa depan, lebih dari 5% kumpulan data pra-pelatihan Llama 3 terdiri dari data berkualitas tinggi dalam bahasa selain bahasa Inggris, mencakup lebih dari 30 bahasa. Namun, Meta tidak berharap untuk mencapai tingkat kinerja yang sama dalam bahasa-bahasa ini seperti yang dicapai dalam bahasa Inggris.

Untuk memastikan bahwa Llama 3 dilatih dengan data berkualitas tertinggi, serangkaian saluran penyaringan data dikembangkan. Jalur pipa ini mencakup penggunaan filter heuristik, filter untuk konten yang tidak pantas, teknik deduplikasi semantik, dan pengklasifikasi teks untuk menilai kualitas data. Versi Llama sebelumnya efektif identifikasi data berkualitas tinggi, lalu Llama 2 digunakan untuk menghasilkan data pelatihan untuk pengklasifikasi kualitas teks yang memberi makan Llama 3.

Selain itu, Meta menggunakan eksperimen untuk menentukan cara terbaik menggabungkan data dari berbagai sumber ke dalam kumpulan data pra-pelatihan akhir. Eksperimen ini memungkinkan kami memilih kombinasi data yang memastikan Llama 3 berkinerja baik di berbagai kasus penggunaan, termasuk pertanyaan sepele, BATANG (sains, teknologi, teknik dan matematika), kodifikasi, pengetahuan sejarahantara lain.

Perbandingan dengan Llama 2

model-model baru Lama 3, dengan parameter 8B dan 70B, mewakili kemajuan dalam kaitannya dengan Lama 2, menetapkan standar baru untuk model LLM pada skala ini. Meta mengklaim bahwa karena adanya peningkatan pada pra-pelatihan dan pasca-pelatihan, model pra-pelatihan dan penyempurnaan instruksi saat ini menjadi pemimpin yang tak terbantahkan pada skala parameter 8B dan 70B.

Optimalisasi prosedur pasca pelatihan menghasilkan a mengurangi tingkat penolakan yang salah, selain meningkatkan keselarasan dan meningkatkan keragaman respons model. Peningkatan signifikan juga terlihat pada fitur-fitur seperti penalaran, pembuatan kode, dan panduan masa depan, menjadikan Llama 3 lebih mudah beradaptasi dan tepat sasaran.

Selama pengembangan Llama 3 terdapat analisis performa model, baik dalam benchmark standar maupun skenario dunia nyata. Untuk memastikan pengoptimalan yang efektif untuk aplikasi praktis, rangkaian evaluasi manusia baru yang berkualitas tinggi telah dibuat. Kumpulan ini terdiri dari 1.800 petunjuk yang mencakup 12 kasus penggunaan utama, termasuk meminta saran, bertukar pikiran, menyortir, menjawab pertanyaan tertutup, coding, menulis kreatif, mengekstraksi, meniru karakter/persona, menjawab pertanyaan terbuka, menalar, menulis ulang e ringkasan.

Untuk menghindari terlalu pas (Atau terlalu pas, istilah yang paling banyak digunakan) model yang tidak disengaja ke kumpulan evaluasi ini, bahkan tim pemodelan Meta sendiri tidak memiliki akses ke sana. Grafik yang disajikan menunjukkan hasil agregat evaluasi manusia dalam kategori dan petunjuk ini, membandingkan kinerja Llama 3 dengan model Claude Sonet, Media Mistral e GPT-3.5.

Bagaimana Llama 3 Meningkatkan Meta AI

Karena kemajuan yang dicapai dengan Meta Llama 3, perusahaan mengumumkan perluasan internasional Meta AI — mengingat sumber dayanya eksklusif untuk Amerika Serikat. Hadir sebagai pesaing kuat model yang sudah ada, Meta AI kini tersedia untuk lebih banyak orang di seluruh dunia, sehingga memungkinkan pengguna Facebook, Instagram, WhatsApp e kurir nikmati teknologi gratis ini untuk melakukan berbagai tindakan, membuat konten, dan mengakses informasi secara real time.

Meta AI pertama kali terungkap selama Connect tahun lalu, dan sekarang digunakan oleh pengguna di negara-negara serupa Australia, Kanada, Ghana, Jamaika, Malawi, Selandia Baru, Nigeria, Pakistan, Singapura, Afrika Selatan, Uganda, Zambia e Zimbabwe juga dapat menikmati manfaatnya. Sebagai bagian dari perluasan Meta AI, orang-orang kini juga dapat mengaksesnya meta.ai, dalam versi web.

Apakah Anda berencana pergi keluar malam bersama teman-teman? Minta Meta AI untuk merekomendasikan restoran dengan pemandangan menakjubkan dan bahkan pilihan vegan. Apakah Anda mengatur perjalanan untuk akhir pekan? Minta Meta AI untuk menemukan pertunjukan untuk Sabtu malam. Apakah Anda sedang mempersiapkan ujian? Minta Meta AI untuk menjelaskan cara kerja sifat-sifat keturunan. Apakah Anda pindah ke apartemen pertama Anda? Minta Meta AI untuk “membayangkan” estetika yang Anda inginkan dan asisten akan menghasilkan beberapa foto inspirasi untuk furnitur Anda. 

Meta menjelaskan sedikit bagaimana AI dapat membantu Anda

O Meta AI itu juga akan tersedia langsung di fungsi pencarian Facebook, Instagram, WhatsApp dan Messenger. Ini berarti Anda bisa mengakses informasi dari internet secara real time tanpa harus berpindah antar aplikasi. Misalnya, bayangkan Anda merencanakan perjalanan bersama teman-teman di obrolan grup Messenger. Dengan pencarian Messenger, Anda dapat meminta Meta AI — didukung oleh Llama 3 baru — untuk menemukan penerbangan dari asal Anda ke tujuan Anda, dan menemukan akhir pekan paling lambat untuk dikunjungi. Dan tentu saja, semua ini tanpa harus keluar dari aplikasi Messenger.

Orang-orang juga akan memiliki kemampuan untuk mengakses Meta AI saat menelusuri Umpan Facebook mereka. Jika Anda menemukan postingan yang menarik minat Anda, Anda dapat meminta informasi lebih lanjut langsung dari Meta AI dari postingan tersebut, seperti pencarian Google biasa, hanya dalam postingan Facebook.

Meta mempercepat proses pencitraan untuk memungkinkan orang membuat gambar real-time dari teks menggunakan fitur Bayangkan Meta AI. Peluncuran fitur ini dimulai dalam versi beta hari ini, tersedia di WhatsApp dan pengalaman web Meta AI di Amerika Serikat. Saat mereka mulai mengetik, orang akan langsung melihat gambar muncul. Gambar ini akan berkembang dengan setiap beberapa huruf yang Anda ketik, memungkinkan Anda melihat Meta AI mewujudkan ide Anda secara real-time.

Menurut perusahaan, gambar yang dihasilkan ini menyajikan a meningkatkan ketajaman dan kualitas, menawarkan kemampuan yang lebih baik untuk memasukkan teks ke dalam gambar. Selain itu, ini akan memberikan saran untuk meningkatkan gambar, memungkinkan Anda untuk terus menyempurnakan dari titik awal awal Anda. Saat Anda menemukan gambar, cukup minta Meta AI untuk menganimasikannya, mengadaptasinya ke format baru, atau bahkan mengubahnya menjadi gambar GIF untuk berbagi dengan teman-teman Anda.

Meskipun pembaruan ini khusus untuk Meta AI di Facebook, Instagram, WhatsApp, Messenger, dan web, penting untuk diingat bahwa Meta AI juga tersedia di Amerika Serikat untuk kacamata pintar. Meta Ray-Ban, dan segera masuk Pencarian meta — Perangkat realitas virtual meta.

Transparansi dengan open source dan keamanan

Potensi teknologi AI generatif benar-benar dapat meningkatkan pengalaman pengguna produk Meta dan ekosistem yang lebih luas. Namun, hal lain yang harus diperhatikan adalah memastikan bahwa hal ini dilakukan dalam a bertanggung jawab e tentu. Oleh karena itu, perusahaan mengambil langkah-langkah untuk menilai dan memitigasi risiko di semua tahap pengembangan dan implementasi AI. Hal ini termasuk mengintegrasikan perlindungan ke dalam proses desain dan pelepasan model dasar Llama, serta mendukung ekosistem pengembang untuk mendorong praktik yang bertanggung jawab.

Oleh karena itu, dengan Llama 3, diadopsi pendekatan sistematis yang terintegrasi perlindungan pada semua tahap pembangunan. Ini berarti perhatian khusus telah diterapkan pada proses pelatihan dan penyesuaian, selain menawarkan alat yang memungkinkan pengembang mengimplementasikan model secara bertanggung jawab.

Pendekatan ini tidak hanya memperkuat upaya AI yang bertanggung jawab, namun juga mencerminkan visi inovasi terbuka, memberdayakan pengembang untuk menyesuaikan produk mereka dengan aman demi memberikan manfaat bagi penggunanya. Meta juga memiliki Panduan Penggunaan yang Bertanggung Jawab, sumber penting bagi pengembang, memberikan pedoman untuk membuat produk.

Seperti yang kami jelaskan ketika kami merilis Llama 2, penting untuk berhati-hati dalam merancang langkah-langkah ini, karena ada beberapa langkah yang hanya dapat diterapkan secara efektif oleh penyedia model, dan ada pula yang hanya berfungsi secara efektif jika diterapkan oleh pengembang sebagai bagian dari langkah spesifiknya. aplikasi.

Memperkuat perusahaan

Sejak meluncurkan Meta AI tahun lalu, merek ini terus meningkatkan pengalaman di beberapa bidang:

• Respons Meta AI terhadap isu-isu politik dan sosial telah disempurnakan, dengan memasukkan pedoman khusus untuk topik-topik tersebut. Tujuannya adalah untuk menawarkan berbagai sudut pandang yang relevan mengenai suatu topik, sekaligus menghormati maksud pengguna saat mengajukan pertanyaan spesifik.
• Menyertakan instruksi dan respons spesifik agar lebih bermanfaat, menggunakan model penghargaan untuk memandu perilaku Anda.
• Kinerja Meta AI dievaluasi dalam tolok ukur dan melalui pengujian dengan pakar manusia, untuk mengatasi setiap masalah yang teridentifikasi dalam proses yang sedang berlangsung.
• Perlindungan tingkat permintaan dan respons, termasuk filter dan pengklasifikasi untuk memastikan interaksi selaras dengan pedoman dan aman.
• Alat umpan balik bagi pengguna untuk berbagi pengalaman mereka, memungkinkan kami untuk terus meningkatkan kinerja Meta AI.

Dan Anda, apa pendapat Anda tentang berita tersebut? Kita tidak sabar untuk segera ke Brasil, bukan? Beritahu kami apa yang Anda temukan pada kami Komentar!

Lihat juga:

Google Foto gratis pengeditan gambar AI gratis untuk semua pengguna.

Dengan informasi dari: Sasaran [1], [2] e [3].

Diperiksa oleh Glaucon Vital pada 18/4/24.