Artificiell intelligens som översätter teckenspråk

Eleven utvecklar artificiell intelligens som översätter teckenspråk i realtid

Alexandre Marques Avatar
Gabriel Sales, programmerare och statistikstudent vid UFF, lovar att revolutionera hur hörselskadade kommunicerar genom Vågar. Förstå!

I det nuvarande teknikscenariot är inget ämne så spekulerat om nya innovationer som artificiell intelligens. Det är mitt i detta konkurrensscenario som Gabriel Sales, statistikstudent vid UFF, i Rio de Janeiro, framstår som en visionär genom att leda ett artificiell intelligensprojekt som översätter teckenspråk. Hans projekt syftar till att övervinna kommunikationsbarriärer mellan döva och hörande och erbjuder ett effektivt sätt att transkribera teckenspråk till portugisiska i realtid.

Enligt Gabriel är huvudsyftet med denna AI att revolutionera hur döva kommunicerar, ge tillgänglighet, oberoende och möjligheter för samhället. Projektet, som fortfarande är under utveckling, visar att det är kapabelt att tolka tecken på döva i videor och omedelbart översätta dem till portugisiska.

Hur fungerar AI för döva?

Projektet använder tre distinkta artificiella intelligenser för att uppnå sitt mål. Den första AI:n är ansvarig för att fånga viktiga punkter på kroppen, kartlägga dem över ramarna i en video. Dessa data skickas sedan till den andra AI:n, en klassificerare som identifierar den specifika signal som görs. Den senaste AI:n träder i kraft för att kontextualisera de identifierade signalerna och omvandla listan över förutspådda signaler till ett läsbart och begripligt meddelande på portugisiska.

Potentialen i detta projekt är enorm. Generellt sett skulle all kommunikation mellan döva och personer med svårigheter att tolka Vågar förenklas till en simultanöversättning som skulle lösa bruset i dialogen. Om den är effektiv kan tekniken lösa flera kommunikationsproblem som påverkar cirka 10 miljoner döva medborgare i Brasilien, cirka 5 % av den brasilianska befolkningen, enligt IBGE.

Gabriel Sales står dock inför utmaningar i sitt projekt, såsom hårdvara och resursbegränsningar för att samla in viktig data. Han söker bidrag för att skaffa en kraftfullare dator, högkvalitativa kameror och resurser för att främja projektets forskning och utveckling, genom en vakinha online.

Projektet som enbart leds av Gabriel Sales återspeglar inte bara hans passion för teknik, utan lyfter också fram kraften hos artificiell intelligens för att skapa innovativa lösningar med betydande social påverkan. Lägga upp videor om dina AI-uppdateringar på Instagram, @projeto_ia_libras, Gabriel har redan fått mer än 86,1 tusen följare, förutom tusentals visningar på hans inlägg.

Intervju med skaparen av AI

För att bättre förstå funktionen hos denna AI i realtidstranskription av dialoger som involverar teckenspråk, intervjuade vi programmeraren och skaparen av projektet, statistikstudenten Gabriel Sales.

Vem är programmeraren och UFF-statistikstudenten bakom projektet? Och hur kom du fram till denna idé?

Gabriel försäljning: Jag heter Gabriel, jag kommer från Rio de Janeiro. Jag är en student som brinner för teknik. Jag hade min första dator när jag var tio år gammal och från och med då kom jag in på det här området av datoranvändning. Jag började plugga programmering sedan jag var tolv år gammal, och gick framåt tills jag hamnade i datavetenskap. När jag upptäckte området tyckte jag att det var riktigt coolt, speciellt den artificiella intelligensdelen, där robotar tänker på ett nästan mänskligt sätt, så det gjorde mig väldigt fascinerad. Och så började jag studera dessa saker. Jag kom in på statistikfakulteten på UFF, då statistik är en viktig grund för datavetenskap. Och jag började min resa inom detta område av artificiell intelligens.

Jag började fördjupa mig i AI, jag började göra flera små projekt. Och så hade jag en Vågklass på min högskola, första terminen förra året, och jag var väldigt fascinerad av lärarens berättelse, eftersom hon var döv och lyckades bli läkare, trots alla svårigheter hon nämnde i sin berättelse.

Så jag började fundera på vad jag kunde göra som var intressant och inkluderande för den här gemenskapen, för att hjälpa dem. Och sedan började jag med en idé om artificiell intelligens som kunde klassificera Libra-alfabeten. Typ: bokstaven a, bokstaven b, bokstaven c osv. Allt detta via video. Det var min första idé, mitt första test för att se hur svårt det här skulle vara, hur komplext det skulle vara, och sedan utvecklades jag, började lägga till robusta signaler och förbättra kunskapen om AI.

Hur definierar du ditt projekt? Vad tänker du förändra i den rådande verkligheten, särskilt för hörselskadade, med det?

Gabriel försäljning: Huvudsyftet är att revolutionera kommunikationen mellan döva och hörande, eftersom det finns en enorm barriär mellan dessa människor. För att du nödvändigtvis behöver känna till Vågar för att kunna kommunicera med döva, så genom att ha detta artificiella intelligenssystem kan du bryta ner denna barriär lite. Det kan vi tillämpa i företag, inom kundservice, inom digital tillgänglighet. Den döva klienten går dit och kan tydligt säga vad han vill. Om han vill köpa något, om han behöver någon speciell hjälp, utan att förlita sig på en Libra-tolk, kan allt göras digitalt med AI.

Även på sjukhus, i akuta situationer, där personen behöver snabb vård och ibland inte har någon som kan tala Vågar, eller hur? Ibland behöver man veta hennes blodgrupp, man behöver veta om hon har någon sjukdom, eller något liknande, och med det här systemet skulle det också vara möjligt.

Även inom utbildning, för att lära ut Vågar, kommer detta system inom utbildning att vara mycket effektivt för att testa elevernas noggrannhet, om de gör tecknen korrekt, om de lär sig bra. Och även för döva lärare, som inte alla har förmågan att tala, eftersom det finns vissa döva som kan utveckla förmågan att tala, men inte alla kan, skulle systemet också vara användbart i det här fallet. Så det finns flera ansökningar som kan göras.

Artificiell intelligens som översätter teckenspråk
AI-projektet syftar till att förändra hur hörselskadade kommunicerar. Foto: Freepik.

Hur beskriver du hur denna AI fungerar?

Gabriel försäljning: Det finns tre AI:er. En för att fånga kroppens nyckelpunkter, så den kommer att kartlägga personens hela kropp, ansiktet, axeln, armbågen, händerna, fingrarna, och detta under loppet av ramarna, eftersom vi måste göra detta på video. Så denna mappning kommer att göras under ramarnas gång. Och efter det kommer det att skickas till en klassificerare. Det kommer att klassificera dessa data, från huvudpunkterna i kroppen, och kommer att berätta vilket alternativ det är.

Och den sista AI:n är att skapa kontexten för signalerna. Så efter att hon har kartlagt kroppen, efter att hon har klassificerat vilket tecken det är, kommer hon att sätta ihop listan med förutsagda tecken och kommer att omvandla detta till ett meddelande, ett naturligt meddelande som är läsbart och begripligt. Sedan kommer denna AI att sammanställa sammanhanget för signalerna som redan har förutspåtts av den andra AI:n.

Som helhet, är ditt projekt unikt eller har du liknande projekt som involverar AI för att hjälpa döva på detta sätt?

Gabriel försäljning: Det måste säkert finnas liknande projekt. Men ingen av dem gick vidare, kanske på grund av bristande investeringar i Brasilien. Det slutar med att människor åker utanför landet, särskilt på grund av den lätta tillgången till teknik. Men jag vet inte om de är utvecklade (andra projekt), det kan finnas prototyper.

I november 2023 rapporterade Showmetech att Lenovo har för avsikt att lansera, 2024, en AI som kan tolka och översätta teckenspråk.

I det här fallet, för dig, vad är den största skillnaden med ditt projekt?

Gabriel försäljning: Förmågan att skala, den kan skalas mycket enkelt med investeringar och utvecklas snabbare... Den största skillnaden är att vi övervinner kommunikationsbarriären för döva, eftersom detta kommer att hjälpa till inom utbildning, ekonomi, kultur och politik.

Vad skulle du behöva för att få projektet att skala?

Gabriel försäljning: Jag behöver data, eftersom AI:n behöver videor för att tränas... Det är som att lära ett barn, vi måste visa vad signalen är och upprepa det flera gånger tills det förstår. Och även utrustning för att bearbeta dem alla, eftersom vi kommer att skapa en Stora data Således.

Gabriel lanserade, i slutet av 2023, en Vakinha så att andra människor kunde stödja utvecklingen av projektet.

Vilka är dina nästa steg med projektet?

Gabriel försäljning: Jag har letat efter ett partnerföretag ett tag, det finns ett som har hjälpt mig med min hemsida. Och nu letar jag efter ett partnerskap med några inflytelserika personer på den här marknaden, för att kanske öppna en startup, få investerare och sedan lättare kunna skala. Tanken är att sälja till företag som vill ha digital tillgänglighet för att erbjuda detta till sina kunder.

Hur skyddar du din AI från att bli "plagierad"?

Gabriel försäljning: När det kommer till artificiell intelligens är det svårt att plagiera. Du kan göra något liknande, men samma sak, det är väldigt svårt. Det är som att Elon Musk gör en AI som liknar ChatGPT, han kan göra det, men båda kommer att ha olika svar. För det som stör detta är tillgängliga data, och i pund är det knappt. Behöver investeringar i datainsamling.

Vilka tester genomgår du för att förstå att AI:n korrekt tolkar signalerna i pund?

Gabriel försäljning: Jag gör tester i realtid, gör olika signaler för att kontrollera noggrannheten. Den lilla kunskapen i pund som jag lärde mig under högskoleämnet tillämpar jag och tittar på videor på internet för att utveckla AI-träning.

Veja também:

källor: Milne, forbes e SmartClick.

Granskats av Glaucon Vital den 18/1/24.

Anmäl dig för att få våra nyheter:

Lämna en kommentar

O seu endereço e não será Publicado. Campos obrigatórios são marcados com *

relaterade inlägg