Het afgelopen semester hebben we samen met de partners veel werk verricht binnen het project ‘Woordenschat met VR en AI’.
Vanuit het NOLAI werd onlangs dit artikel geschreven over het project, in deze blogpost delen we wat meer over het ontwikkelwerk en de technische uitdagingen.

Scripts, werelden en gameplay
We hebben vooral veel vooruitgang geboekt in het ontwikkelen van de gameplay: wat moeten de leerlingen doen als ze de bril op krijgen?

Welke woorden moeten de kinderen leren? Hoe vaak moeten de woorden worden aangeboden? De woordenlijsten hebben we gecombineerd met een verhaallijn en prikkelende taken tot scenario’s voor de verschillende activiteiten. Voor die activeiten hebben we passende werelden ontworpen en interacties ontwikkeld.










Dashboard voor onderzoek & monitoring
Onderzoek is een essentieel onderdeel van dit project. Het doel is om aan te tonen of deze methode daadwerkelijk leerwinst oplevert. “En heeft het voldoende meerwaarde boven de huidige interventies om het ook echt door te ontwikkelen?” (Antoon Sturkenboom, link)
Hiervoor hebben de onderzoekers data nodig. Ze willen de sessies van de leerlingen kunnen terugkijken en alle conversatie kunnen terug luisteren. Op basis daarvan kunnen ze beoordelen of leerlingen de woorden begrijpen en daarmee analyseren of ze voortgang zien in de woordenschat van de leerlingen.
Tegelijk dient het dashboard ervoor om live te kunnen meekijken met de kinderen, om te zien wat zij zien. De onderzoeker -en in de toekomst de begeleider- selecteert scenario’s en stuurt bij in de levels waar nodig.
Stagiair Enrique Alonso Barreiro is het afgelopen semester afgestudeerd (met een 8.7!) op het ontwikkelen van dit dashboard. Het tegelijk live meekijken en het bewaren van de stream en de audio output, maakte dit veel uitdagender dan we van tevoren hadden verwacht. Zeker omdat een deel van deze bewerkingen op de Meta Quest moet draaien, waarvan de performance al zeer onder druk staat. Dit alles maakte dat we niet de reguliere casting services konden gebruiken, het vroeg om low-level oplossingen, waarbij video en geluidsbestanden van de grond af worden opgebouwd.

Voortgang in AI interactie
In een eerdere fase hebben we experimenten gedaan met spraakherkenning en een LLM om volledig open conversatie mogelijk te maken. In die opzet kon de leerling vrijuit praten met het personage in VR, dat daarop met eigen gegenereerde tekst reageerde. Hoewel dit technisch goed werkte, bleek uit overleg met de stuurgroep dat we voor deze jonge doelgroep meer grip willen houden op de inhoud van de AI-reacties.
Het besluit was om wel spraakherkenning en een LLM te gebruiken, maar het model kiest nu uit een reeks vooraf gedefinieerde reacties.
Hoewel het afgelopen half jaar onze focus niet lag op AI, hebben we de spraakherkenning, het LLM en de text-to-speech geïntegreerd met het dashboard en de VR applicatie. Alle AI modellen draaien lokaal op de laptop waar ook het dashboard op draait, wat belangrijk is voor het bewaken van de privacy van de leerlingen. De basis staat, maar dit vraagt nog zeker optimalisatie en experimentatie met verschillende AI modellen.
Een belangrijke volgende stap wordt om de AI in het dashboard te integreren en een UI voor gedeelde controle te maken. Het systeem moet in principe automatisch reageren op het kind, maar we willen de begeleider de mogelijkheid geven ook zelf de reactie bij te sturen. Op die manier kunnen we in de toekomst de AI mogelijk meer vrijheid geven en kan de begeleider ingrijpen als het nodig is.
Sommige kinderen praten bijna niet, anderen blijven lang doorpraten. Sommige kinderen articuleren duidelijk, anderen mompelen. En we hebben ook te maken met verschillende uitspraak, mede door andere taalachtergronden. Een flinke uitdaging, we denken dat een hybride methode daarom de beste koers is.
Waar gaan we aan werken de komende tijd?
In december leveren we een versie op van de software waarmee de pilot kan worden uitgevoerd.
Daarvoor gaan we de komende maanden aan de slag met:
- een volledig extra activiteit ontwerpen en programmeren
- AI modellen implementeren, optimaliseren en testen op resultaten
- verwerken van alle feedback die we uit de onderzoekssessies hebben verzameld
- spraak van Lana mooier maken met een beter text-to-speech model
Voorbij de pilot
Daarnaast kijken we ook al verder dan de pilot. Rachel start in september haar stage en gaat onderzoeken hoe we de ontwikkelcyclus voor deze applicatie kunnen verkorten. Ook gaat ze in gesprek met verschillende organisaties om te onderzoeken met wie we zouden kunnen samenwerken voor doorontwikkeling.
We zijn enthousiast over dit project en willen ons inzetten om hier leerlingen op grotere schaal mee te kunnen helpen. Neem vooral contact op als je interesse hebt in dit project!
Meer over ons ontwikkelwerk
Wil je meer weten over het ontwikkelwerk dat we doen in opdracht? Vul dit formulier in en ontvang onze brochure.