Student ontwikkelt kunstmatige intelligentie die gebarentaal in realtime vertaalt
In het huidige technologiescenario wordt er over geen enkel onderwerp zoveel gespeculeerd over nieuwe innovaties als over kunstmatige intelligentie. Het is midden in dit competitieve scenario dat Gabriel Sales, een student statistiek aan de UFF in Rio de Janeiro, naar voren komt als een visionair door leiding te geven aan een project voor kunstmatige intelligentie dat gebarentaal vertaalt. Zijn project probeert communicatiebarrières tussen dove en horende mensen te overwinnen en biedt een effectieve manier om gebarentaal in realtime naar het Portugees te transcriberen.
Volgens Gabriel is het belangrijkste doel van deze AI een revolutie teweeg te brengen in de manier waarop dove mensen communiceren, door toegankelijkheid, onafhankelijkheid en kansen voor de gemeenschap te bieden. Het project, dat nog in ontwikkeling is, laat zien dat het in staat is de signalen van dove mensen in video's te interpreteren en deze onmiddellijk in het Portugees te vertalen.
Hoe werkt AI voor dove mensen?
Het project maakt gebruik van drie verschillende kunstmatige intelligenties om zijn doel te bereiken. De eerste AI is verantwoordelijk voor het vastleggen van belangrijke punten op het lichaam en deze in kaart te brengen over de frames van een video. Deze gegevens worden vervolgens naar de tweede AI gestuurd, een classificator die het specifieke signaal identificeert dat wordt gemaakt. De nieuwste AI komt in actie om de geïdentificeerde signalen te contextualiseren, waardoor de lijst met voorspelde signalen wordt omgezet in een leesbare en begrijpelijke boodschap in het Portugees.
Het potentieel van dit project is enorm. Over het algemeen zou alle communicatie tussen dove mensen en mensen met problemen bij het interpreteren van Weegschalen worden vereenvoudigd tot een simultaanvertaling die het lawaai in de dialoog zou oplossen. Indien effectief zou de technologie verschillende communicatieproblemen kunnen oplossen die volgens het BIM ongeveer 10 miljoen dove burgers in Brazilië treffen, ongeveer 5% van de Braziliaanse bevolking.
Gabriel Sales wordt echter geconfronteerd met uitdagingen in zijn project, zoals hardware- en resourcebeperkingen voor het verzamelen van essentiële gegevens. Hij zoekt naar bijdragen om een krachtigere computer, camera's van hoge kwaliteit en middelen te verwerven om het onderzoek en de ontwikkeling van het project te bevorderen, door middel van een vakinha online.
Het project dat uitsluitend door Gabriel Sales wordt geleid, weerspiegelt niet alleen zijn passie voor technologie, maar benadrukt ook de kracht van kunstmatige intelligentie om innovatieve oplossingen met aanzienlijke sociale impact te creëren. Video's over uw AI-updates op Instagram plaatsen, @projecto_ia_libras, heeft Gabriel al meer dan 86,1 duizend volgers gekregen, naast duizenden views op zijn berichten.
Interview met de maker van AI
Om de functionaliteit van deze AI bij real-time transcriptie van dialogen met gebarentaal beter te begrijpen, interviewden we de programmeur en bedenker van het project, statistiekstudent Gabriel Sales.
Wie is de programmeur en UFF-statistiekstudent achter het project? En hoe kwam je op dit idee?
Gabriël Verkoop: Mijn naam is Gabriel, ik kom uit Rio de Janeiro. Ik ben een student met een passie voor techniek. Ik had mijn eerste computer toen ik tien jaar oud was en vanaf dat moment kwam ik in dit computergebied terecht. Ik begon programmeren te studeren vanaf mijn twaalfde en maakte vorderingen totdat ik in de data science terechtkwam. Toen ik het gebied ontdekte, vond ik het echt gaaf, vooral het kunstmatige-intelligentiegedeelte, waar robots op een bijna menselijke manier denken, dus dat maakte me erg gefascineerd. En dus begon ik deze dingen te bestuderen. Ik ben naar de statistiekfaculteit van UFF gegaan, omdat statistiek een belangrijke basis is voor data science. En ik begon mijn reis op dit gebied van kunstmatige intelligentie.
Ik begon me dieper te verdiepen in AI, ik begon verschillende kleine projecten te doen. En toen had ik een Libras-klas op mijn universiteit, in het eerste semester van vorig jaar, en ik was erg gefascineerd door het verhaal van de lerares, omdat ze doof was en erin slaagde dokter te worden, ondanks alle moeilijkheden die ze in haar verhaal noemde.
Dus begon ik na te denken over wat ik kon doen dat interessant en inclusief was voor deze gemeenschap, om hen te helpen. En toen begon ik met een idee van kunstmatige intelligentie die de Weegschaal-alfabetten kon classificeren. Type: letter a, letter b, letter c, enz. Dit alles via video. Dat was mijn eerste idee, mijn eerste test om te zien hoe moeilijk dit zou zijn, hoe complex het zou zijn, en toen evolueerde ik, begon robuuste signalen toe te voegen en de kennis van AI te verbeteren.
Hoe definieert u uw project? Wat wilt u er mee veranderen in de huidige realiteit, vooral voor slechthorenden?
Gabriël Verkoop: Het belangrijkste doel is om de communicatie tussen dove en horende mensen radicaal te veranderen, omdat er een enorme barrière bestaat tussen deze mensen. Omdat je noodzakelijkerwijs Weegschalen moet kennen om met dove mensen te kunnen communiceren, dus door dit kunstmatige intelligentiesysteem te hebben, kun je deze barrière een beetje slechten. We kunnen dit toepassen in bedrijven, in de klantenservice, in de digitale toegankelijkheid. De dove cliënt gaat daarheen en kan duidelijk zeggen wat hij wil. Als hij iets wil kopen, als hij speciale hulp nodig heeft, zonder afhankelijk te zijn van een Libra-tolk, kan alles digitaal met AI.
Ook in ziekenhuizen, in noodsituaties, waar de persoon snelle zorg nodig heeft en soms heb je niet iemand die Weegschalen spreekt, toch? Soms moet je haar bloedgroep weten, of ze een ziekte heeft, of iets dergelijks, en met dit systeem zou dat ook mogelijk zijn.
Ook in het onderwijs, om Weegschalen te onderwijzen, zal dit systeem in het onderwijs zeer efficiënt zijn in het testen van de nauwkeurigheid van leerlingen, of ze de gebaren correct maken, of ze goed leren. En zelfs voor dove leraren, die niet allemaal het vermogen hebben om te spreken, omdat er enkele dove mensen zijn die het vermogen om te spreken kunnen ontwikkelen, maar niet allemaal, zou het systeem in dit geval ook nuttig kunnen zijn. Er zijn dus meerdere toepassingen mogelijk.
Hoe omschrijf je hoe deze AI werkt?
Gabriël Verkoop: Er zijn drie AI's. Eén om de belangrijkste punten van het lichaam vast te leggen, zodat het hele lichaam van de persoon in kaart wordt gebracht, het gezicht, de schouder, de elleboog, de handen, de vingers, en dit in de loop van de frames, omdat we dit moeten doen op filmpje. Deze mapping zal dus in de loop van de frames worden uitgevoerd. En daarna wordt het doorgegeven aan een classificator. Het zal deze gegevens classificeren, vanaf de belangrijkste punten van het lichaam, en u vertellen welke optie het is.
En de laatste AI is om de context van de signalen te creëren. Dus nadat ze het lichaam in kaart heeft gebracht, nadat ze heeft geclassificeerd welk teken het is, zal ze de lijst met voorspelde tekens samenstellen en deze omzetten in een boodschap, een natuurlijke boodschap die leesbaar en begrijpelijk is. Vervolgens zal deze AI de context samenstellen van de signalen die al door de tweede AI zijn voorspeld.
Is uw project in zijn geheel uniek of heeft u soortgelijke projecten waarbij AI betrokken is om doven op deze manier te helpen?
Gabriël Verkoop: Er moeten zeker soortgelijke projecten zijn. Maar geen van hen ging door, misschien vanwege een gebrek aan investeringen in Brazilië. Mensen gaan uiteindelijk het land uit, vooral vanwege de gemakkelijke toegang tot technologie. Maar ik weet niet of ze ontwikkeld zijn (andere projecten), er kunnen prototypes zijn.
Wat is in dit geval voor u het grootste verschil van uw project?
Gabriël Verkoop: Het vermogen om op te schalen, het kan heel gemakkelijk worden opgeschaald met investeringen en kan sneller worden ontwikkeld... Het belangrijkste verschil is dat we de communicatiebarrière voor dove mensen overwinnen, omdat dit zal helpen in het onderwijs, de economie, de cultuur en de politiek.
Wat heb je nodig om het project op schaal te maken?
Gabriël Verkoop: Ik heb gegevens nodig, omdat de AI video's nodig heeft om te worden getraind... Het is net als het lesgeven aan een kind: we moeten laten zien wat het signaal is en dit meerdere keren herhalen totdat het het begrijpt. En ook apparatuur om ze allemaal te verwerken, aangezien we een Big data dus.
Wat zijn uw volgende stappen met het project?
Gabriël Verkoop: Ik ben al een tijdje op zoek naar een partnerbedrijf, er is er een die mij helpt met mijn website. En nu ben ik op zoek naar een partnerschap met een aantal invloedrijke mensen in deze markt, om misschien een startup te openen, investeerders te vinden en dan gemakkelijker te kunnen opschalen. Het idee is om te verkopen aan bedrijven die digitale toegankelijkheid willen hebben om dit aan hun klanten aan te bieden.
Hoe beschermt u uw AI tegen ‘plagiaat’?
Gabriël Verkoop: Als het om kunstmatige intelligentie gaat, is plagiaat lastig. Je kunt iets soortgelijks doen, maar hetzelfde is erg moeilijk. Het is alsof Elon Musk een AI maakt die lijkt op ChatGPT. Hij kan het, maar beide zullen verschillende antwoorden hebben. Want wat dit verstoort zijn de beschikbare gegevens, en in ponden zijn die schaars. Er zijn investeringen nodig in het verzamelen van gegevens.
Welke tests onderga je om te begrijpen dat de AI de signalen in ponden correct interpreteert?
Gabriël Verkoop: Ik doe tests in realtime en maak verschillende signalen om de nauwkeurigheid te controleren. De weinige kennis in ponden die ik tijdens het vak op de universiteit heb geleerd, pas ik toe en bekijk video's op internet om AI-training te ontwikkelen.
Zie ook:
Fontes: Milne, Forbes e Slimme Klik.
Beoordeeld door Glaucon Vital op 18-1-24.
Ontdek meer over Showmetech
Meld u aan om ons laatste nieuws per e-mail te ontvangen.
