Index
Idag (18/4) meta tillkännagav de två första modellerna av nästa generation av Llama, den Meta lama 3, redo att användas heltäckande. Den här nya versionen inkluderar förtränade och finjusterade språkmodeller, med parametrar 8B e 70B, som kan möta ett brett spektrum av behov. Efter traditionen att stödja open source-gemenskapen, gjorde Meta Lama 3 för samhället. Detta innebär också att Meta ai, artificiell intelligens som finns på företagets sociala nätverk, kommer också att förbättras, inklusive möjligheten att skapa bilder i realtid i WhatsApp. Se mer!
Möt Llama 3
Med Lama 3 företaget avser att utveckla öppna modeller som konkurrerar med de bästa proprietära språkmodellerna som för närvarande finns tillgängliga, vilket är fallet med GPT-4. Feedback från utvecklare har prioriterats för att förbättra den övergripande användbarheten av Llama 3, enligt Meta, "upprätthålla ett engagemang för ledarskap i ansvarsfull användning och implementering av Grand Language Models (LLM)".
Att följa principerna för öppen kod, antogs ett tillvägagångssätt för tidig och frekvent lansering, vilket gjorde det möjligt för samhället att få tillgång till och bidra till utvecklingen av dessa modeller i realtid. De textbaserade mallarna som introduceras idag är bara de första i Llama 3-serien. Framtidsvisionen inkluderar att ytterligare utöka Llama 3 för att erbjuda flerspråkigt och multimodalt stöd, öka kontextkapaciteten och ständigt förbättra prestanda inom alla nyckelaspekter av. LLM, såsom resonemang och kodning.
I linje med designansatsen i Lama 3, Meta valde en transformatorarkitektur endast avkodare, vilket är ett standardval. Llama 3 använder tokenisering med ett utökat ordförråd av 128 tusen tokens, vilket resulterar i effektivare språkkodning och, följaktligen, förbättrad modellprestanda. För att optimera slutledningseffektiviteten för Llama 3-modeller, införlivade företaget klustrade frågeuppmärksamhetsteknik (GQA) i två olika storlekar: 8B och 70B. Under träning har de använda sekvenserna en längd på 8.192 XNUMX tokens, och en mask appliceras för att säkerställa att självuppmärksamhet förblir inom dokumentgränserna.
För att träna den bästa språkmodellen är det viktigt att ha en stor, högkvalitativ träningsdatauppsättning. I linje med våra designprinciper har vi investerat avsevärt i förträningsdata för Llama 3. Denna modell är förtränad på mer än 15 biljoner tokens, allt från allmänt tillgängliga källor. Vår träningsdatauppsättning är sju gånger större än den som används för Llama 2 och innehåller fyra gånger så mycket kod.
Som förberedelse för framtida flerspråkiga användningsfall består mer än 5 % av Llama 3 förträningsdataset av högkvalitativa data på andra språk än engelska, som täcker mer än 30 språk. Meta förväntar sig dock inte att uppnå samma prestationsnivå på dessa språk som den som uppnås på engelska.
För att säkerställa att Llama 3 tränas med data av högsta kvalitet, utvecklades en serie pipelines för datafiltrering. Dessa pipelines inkluderar användningen av heuristiska filter, filter för olämpligt innehåll, semantiska dedupliceringstekniker och textklassificerare för att bedöma datakvalitet. Tidigare versioner av Llama är effektiva i högkvalitativ dataidentifiering, sedan användes Llama 2 för att generera träningsdata för textkvalitetsklassificerare som matar Llama 3.
Dessutom använde Meta experiment för att fastställa de bästa sätten att slå samman data från olika källor till den slutliga förträningsdatauppsättningen. Dessa experiment gjorde det möjligt för oss att välja en kombination av data som säkerställer att Llama 3 fungerar bra i en mängd olika användningsfall, inklusive trivia frågor, STAM (vetenskap, teknik, teknik och matematik), kodifiering, historisk kunskap, bland annat.
Jämförelse med Llama 2
de nya modellerna Lama 3, med parametrarna 8B och 70B, representerar ett framsteg i förhållande till Lama 2, sätter en ny standard för LLM-modeller på dessa skalor. Meta hävdar att på grund av förbättringar i både förträning och efterträning, är förtränade och instruktionsfinjusterade modeller för närvarande de obestridda ledande på 8B och 70B parameterskalan.
Optimering av procedurer efter utbildning resulterade i en minska antalet felaktiga avslag, förutom att förbättra anpassningen och öka mångfalden i modellsvar. Betydande förbättringar observerades också i funktioner som resonemang, kodgenerering och framtida vägledning, vilket gjorde Llama 3 ännu mer anpassningsbar och målinriktad.
Under utvecklingen av Llama 3 gjordes en analys av modellens prestanda, både i standardriktmärken och i verkliga scenarier. För att säkerställa effektiv optimering för praktiska tillämpningar skapades en ny högkvalitativ svit för mänsklig utvärdering. Denna uppsättning består av 1.800 12 uppmaningar som täcker XNUMX huvudsakliga användningsfall, inklusive be om råd, brainstorming, sortering, svara på slutna frågor, kodning, kreativt skrivande, extrahera, imitera karaktärer/personas, svara på öppna frågor, resonera, skriva om e sammanfattning.
För att undvika överanpassning (Eller överanpassning, den vanligaste termen) oavsiktlig av modeller till denna utvärderingsuppsättning, inte ens Metas egna modelleringsteam har tillgång till den. Den presenterade grafen visar de aggregerade resultaten av mänskliga utvärderingar i dessa kategorier och uppmaningar, och jämför prestandan för Llama 3 med modellerna Claude sonett, Mistral Medium e GPT-3.5.
Hur Llama 3 förbättrar Meta AI
På grund av de framsteg som gjorts med Meta Llama 3 tillkännager företaget den internationella expansionen av Meta AI - med tanke på att resursen var exklusiv för USA. Meta AI kommer in som en stark konkurrent till befintliga modeller och är nu tillgänglig för fler människor runt om i världen, vilket gör att användare av Facebook, Instagram, WhatsApp e Messenger njut av denna gratis teknik för att utföra en mängd olika åtgärder, skapa innehåll och få tillgång till information i realtid.
Meta AI avslöjades ursprungligen under Connect förra året, och nu användare i länder som Australien, Kanada, Ghana, Jamaica, Malawi, Nya Zeeland, Nigeria, Pakistan, Singapore, Sydafrika, Uganda, Zambia e Zimbabwe kan också njuta av dess fördelar. Som en del av expansionen av Meta AI kommer människor nu också att kunna komma åt den på meta.ai, i webbversionen.
Planerar du att gå ut på kvällen med vänner? Be Meta AI att rekommendera en restaurang med en fantastisk utsikt och till och med veganska alternativ. Planerar du en resa till helgen? Be Meta AI att hitta shower för lördagskvällen. Förbereder du dig för ett test? Be Meta AI förklara hur ärftliga egenskaper fungerar. Ska du flytta in i din första lägenhet? Be Meta AI att "föreställa sig" den estetik du vill ha så genererar assistenten några inspirationsbilder till dina möbler.
Meta förklarar lite hur AI kan hjälpa dig
O Meta ai den kommer också att finnas tillgänglig direkt i sökfunktionen på Facebook, Instagram, WhatsApp och Messenger. Det betyder att du kan få tillgång till information från internet i realtid utan att behöva växla mellan applikationer. Tänk dig till exempel att du planerar en resa med vänner i en Messenger-gruppchatt. Med Messenger-sökning kan du be Meta AI – som drivs av nya Llama 3 – att hitta flyg från ditt ursprung till din destination och upptäcka de långsammaste helgerna att besöka. Och naturligtvis allt detta utan att behöva lämna Messenger-appen.
Människor kommer också att ha möjlighet att komma åt Meta AI när de surfar i deras Facebook-flöde. Om du hittar ett inlägg som väcker ditt intresse kan du begära mer information direkt från Meta AI från det inlägget, precis som en vanlig Google-sökning, bara inom ett Facebook-inlägg.
Meta påskyndar bildbehandlingsprocessen för att göra det möjligt för människor att skapa realtidsbilder från text med hjälp av Meta AI:s Imagine-funktion. Utrullningen av den här funktionen började i beta idag, tillgänglig på WhatsApp och Meta AI-webbupplevelsen i USA. När de börjar skriva kommer folk att se en bild visas direkt. Den här bilden kommer att utvecklas med några få bokstäver du skriver, så att du kan se när Meta AI förverkligar din idé i realtid.
Enligt företaget presenterar dessa genererade bilder en förbättrad skärpa och kvalitet, vilket ger en bättre möjlighet att inkludera text i bilder. Dessutom kommer det att ge förslag för att förbättra bilden, så att du kan fortsätta förfina från din ursprungliga utgångspunkt. När du hittar en bild, be bara Meta AI att animera den, anpassa den till ett nytt format eller till och med omvandla den till en GIF att dela med dina vänner.
Även om dessa uppdateringar är specifika för Meta AI på Facebook, Instagram, WhatsApp, Messenger och webben, är det viktigt att komma ihåg att Meta AI också är tillgängligt i USA för smarta glasögon Ray-Ban Meta, och snart in Meta quest — Meta virtual reality-enheter.
Transparens med öppen källkod och säkerhet
Potentialen hos generativ AI-teknik kan verkligen förbättra användarupplevelsen av Metas produkter och det bredare ekosystemet. Ändå är en annan punkt som måste åtgärdas att se till att detta görs i en ansvarig e segura. Därför vidtar företaget åtgärder för att bedöma och minska risker i alla stadier av AI-utveckling och implementering. Detta inkluderar att integrera skyddsåtgärder i Llama-basmodellens design och releaseprocess, samt att stödja utvecklarens ekosystem för att främja ansvarsfulla metoder.
Därför, med Llama 3, antogs ett systematiskt tillvägagångssätt som integrerar skydd i alla utvecklingsstadier. Det innebär att särskild omsorg har lagts på utbildning och trimningsprocesser, förutom att erbjuda verktyg som gör det möjligt för utvecklare att implementera modeller ansvarsfullt.
Detta tillvägagångssätt stärker inte bara ansträngningarna inom ansvarsfull AI, utan speglar också visionen om öppen innovation, vilket ger utvecklare möjlighet att säkert anpassa sina produkter för att gynna deras användare. Meta har också Guide för ansvarsfull användning, en viktig källa för utvecklare som ger riktlinjer för byggprodukter.
Som vi förklarade när vi släppte Llama 2, är det viktigt att vara avsiktlig vid utformningen av dessa åtgärder, eftersom det finns några som bara kan implementeras effektivt av modellleverantören och andra som bara fungerar effektivt när de implementeras av utvecklaren som en del av deras specifika Ansökan.
Stärker företaget
Sedan Meta AI lanserades förra året har varumärket kontinuerligt förbättrat upplevelsen inom flera områden:
- Meta AI:s svar på politiska och sociala frågor har förfinats, med specifika riktlinjer för dessa ämnen. Målet är att erbjuda en mängd olika relevanta synpunkter på ett ämne, samtidigt som man respekterar användarens avsikter när man ställer specifika frågor.
- Inkludera specifika instruktioner och svar för att göra det mer användbart, använda belöningsmodeller för att vägleda ditt beteende.
- Meta AI:s prestanda utvärderas i benchmarks och genom testning med mänskliga experter, och tar upp eventuella problem som identifieras i en pågående process.
- Säkerhetsåtgärder på begäran och svarsnivå, inklusive filter och klassificerare för att säkerställa att interaktioner är i linje med riktlinjerna och är säkra.
- Feedbackverktyg för användare att dela sina erfarenheter, vilket gör att vi kontinuerligt kan förbättra Meta AI:s prestanda.
Och du, vad tyckte du om nyheterna? Vi kan inte vänta med att komma till Brasilien, eller hur? Berätta vad du hittade hos oss Kommentar!
Veja também:
Google Foton libera gratis AI-bildredigering för alla användare.
Med information från: Mål [1], [2] e [3].
Granskats av Glaucon Vital den 18/4/24.
Upptäck mer om Showmetech
Registrera dig för att få våra senaste nyheter via e-post.
