Dato che l'India è caratterizzata da una grande diversità linguistica, le aziende di contenuti digitali già affrontano la sfida di mostrare e tradurre contenuti con precisione. Anche Google si trova di fronte a un problema simile con le panoramice di intelligenza artificiale recentemente lanciate nel paese.
La società ha introdotto il supporto in hindi per le panoramiche di intelligenza artificiale nel paese all'inizio di agosto. Gli utenti in India possono anche passare dall'hindi all'inglese senza lasciare la pagina di ricerca. Ma la funzionalità è deludentemente inconsistente.
Un semplice esempio è stato un risultato che abbiamo preso dal blog di Google. Il GIF mostrava una risposta per "Cheeni ki jagah chai mai kya daal sakte hai?" che si traduce in "Cosa possiamo mettere al posto dello zucchero nel tè?" Durante i test, abbiamo cambiato l'ordine delle parole in "Chai mai cheeni ke jagah kya daal sakte hai?" e Google semplicemente non ha mostrato una risposta.
Un altro problema che abbiamo riscontrato è la traduzione letterale delle parole inglesi. Quando abbiamo chiesto in hindi "Che tipo di cibo possiamo mangiare durante l'estate?" una delle risposte era "Chiknai wali cheezien," che si traduce in "Cose appiccicose" - e questo è confuso. Quando sono passato all'inglese, Google mi ha mostrato "Oily" come opzione, che è una cosa molto diversa da "appiccicoso" quando si tratta di cibo. Comunque, è una suggestione strana.
In un'altra occasione, quando abbiamo chiesto della proprietà di YouTube, le Panoramiche AI hanno detto "Fino al 16 febbraio 2023, Neal Mohan era CEO di Google" in hindi, il che è errato. Il testo in inglese aveva la versione corretta, dicendo "A partire dal 16 febbraio 2023, Neal Mohan è CEO di Google."
Ci sono anche problemi qualitativi. Quando abbiamo chiesto "Quando è Diwali quest'anno?" anziché ricevere una risposta semplice, abbiamo ottenuto un paragrafo sul Diwali dell'anno scorso, poi una carrellata di link e infine la risposta effettiva che cercavamo.
Quando abbiamo chiesto se si possa mangiare cibo speziato sia in hindi che in inglese più volte, abbiamo ricevuto risposte inconsistenti tramite le Panoramiche AI.
Tuttavia, ci sono risultati più preoccupanti legati ad altri argomenti come la mestruazione e la gravidanza. Per una delle nostre domande, su quando qualcuno dovrebbe pensare di avere figli dopo il matrimonio, il primo paragrafo della risposta dell'elenco diceva che le coppie dovrebbero aspettare almeno due anni, in un hindi confusionario.
Viene anche menzionato che se una persona si sposa intorno ai 25 anni, ha "tre anni" - senza specificare per cosa. Questo paragrafo è stato evidentemente tratto da un articolo a diapositive in hindi su un sito di notizie indiano, che aveva scritto le informazioni basandosi su varie opinioni su Quora e altri blog.
Quando abbiamo chiesto che cibo mangiare durante le mestruazioni, alcune risposte suggerivano "Bere latte con molte cose" e limone per sbalzi d'umore.
Le Panoramiche AI di Google mancano anche di contesto. Quando abbiamo chiesto luoghi dove mangiare a Delhi, è stato suggerito che il Gurudwara di Bangla Sahib, un luogo di culto per i Sikh, è aperto 24 ore su 24 e si possono ottenere tè e snack indiani come Samosa e Kachori. Tuttavia, questo non menziona qualcosa di importante che l'articolo di origine ha fatto: che è possibile ottenere questi articoli fuori dal Gurudwara, una parola operativa che lo strumento AI ha perso durante la riassunzione. Gli snack non sono nel luogo di culto.
Alcuni dei risultati per domande simili in inglese sono molto migliori rispetto a quelli in hindi. Questo potrebbe essere parzialmente dovuto a più e migliori fonti disponibili in quella lingua. Ma alcuni dei problemi che abbiamo evidenziato sono stati causati da errori nei sistemi di Google, come riassunti fuori contesto e traduzioni inaccurate. Google ha lavorato sui problemi di ricerca e lingua in India, e l'aspettativa è che avrebbe dovuto ottenere un risultato migliore sin dal principio.
Google ha detto a TechCrunch che le sue Panoramiche AI appaiono solo per le query in cui ha grande fiducia nella qualità dell'output, affermando che la funzionalità è "radicata nei nostri sistemi di qualità di ricerca principali" e mostrerà "solo informazioni supportate dai migliori risultati sul web."
"I nostri test mostrano che il tasso di accuratezza delle Panoramiche AI è all'altezza di altre funzionalità come i Riepiloghi in primo piano. Quando si presentano problemi, potrebbero essere il risultato dei nostri sistemi che interpretano erroneamente i contenuti web o riflettono inesattezze sul web - e usiamo questi esempi per migliorare, come facciamo con tutte le funzionalità di ricerca", ha detto un portavoce di Google a TechCrunch.
Google può biasimare la qualità delle fonti che cita. Tuttavia, è l'algoritmo di Google che ha deciso che la domanda e le fonti meritano di essere riassunte dall'IA. Non tutti gli utenti guarderanno il materiale sui siti di origine e si limiteranno a puntare il dito contro Google per aver visualizzato risposte inaccurate o incomprensibili.
Le Panoramiche AI sono state un'impresa deludente per Google. All'inizio di quest'anno, l'azienda è stata duramente criticata per aver mostrato risposte da Reddit che dicevano a un utente di aggiungere colla alla pizza. Le Panoramiche AI hanno detto a un altro utente di mangiare "una piccola roccia al giorno", una risposta che proveniva da The Onion. Molti degli esempi che abbiamo testato in hindi semplicemente non fornivano informazioni corrette sull'argomento.
L'India ha più di 830 milioni di utenti di Internet, e una buona parte di loro utilizza Google per la ricerca. Se l'azienda vuole che più persone utilizzino le Panoramiche AI nelle lingue locali, dovrà migliorare il suo gioco in termini di precisione linguistica e di contenuto.
