Google mejora la precisión de las respuestas con AI Overviews… tras aconsejarnos que echemos pegamento a la pizza

La Head of Search en Google, Liz Reid, ha publicado una carta abierta que trata de responder a la polémica generada hace unos días en torno a las AI Overviews (los textos generados por la IA de Google para responder a consultas en el buscador) y su facilidad para difundir bulos, invenciones o, directamente, ideas sacadas de webs de contenidos satíricos, como vimos en el caso de la pizza y el pegamento o sus consejos sobre correr con tijeras en las manos como forma de ejercicio cardiovascular.

En el texto, Reid explica que el feedback de los usuarios muestra que con AI Overviews, las personas están más satisfechas con sus resultados de búsqueda. “La gente está formulando preguntas más largas y complejas que sabe que Google ahora puede ayudar a responder”. Para ella, esta funcionalidad no solo mejora la precisión de las respuestas, sino que también dirige a los usuarios a contenidos web más relevantes y de mayor calidad, lo que incrementa el tiempo de permanencia en dichas páginas.

Cómo funcionan las AI Overviews

Reid explicó que AI Overviews son distintas a otros productos de LLM (modelos de lenguaje de gran tamaño) y chatbots. “No están simplemente generando una salida basada en datos de entrenamiento”, afirmó. Estas vistas previas están impulsadas por un modelo de lenguaje personalizado integrado con los sistemas de clasificación web de Google. Esto permite que las AI Overviews proporcionen no solo un texto explicativo, sino también enlaces relevantes para que los usuarios puedan explorar más a fondo.

La precisión es crucial, por lo que las AI Overviews muestran solo información respaldada por los mejores resultados web.

En cualquier caso, Reid reconoció que ha habido ejemplos de vistas previas erróneas o inexactas, a veces debido a interpretaciones incorrectas de las consultas o de matices del lenguaje en la web. “Estos desafíos ocurren también con otras funciones de búsqueda”, agregó. Sin embargo, Google ha implementado mejoras técnicas para abordar estas cuestiones.

Entre las acciones tomadas, Reid destacó la creación de mecanismos para detectar consultas sin sentido que no deben mostrar una AI Overview, la limitación del contenido satírico y humorístico, y la restricción de contenido generado por usuarios que pueda ofrecer consejos engañosos.

Casos específicos y ejemplos

Un ejemplo claro de los problemas encontrados fue con la pregunta: “¿Cuántas piedras debería comer?”. Reid comenta que “un área que identificamos fue nuestra capacidad para interpretar consultas sin sentido y contenido satírico. Veamos un ejemplo: “¿Cuántas piedras debo comer?” Antes de que estas capturas de pantalla se volvieran virales, prácticamente nadie le hacía esa pregunta a Google”.

Reid explicó que este tipo de consultas caen en lo que se conoce como “vacío de datos” o “brecha de información”. En este caso, un sitio web de software geológico republicó contenido satírico, lo que llevó a una AI Overview que enlazaba a uno de los pocos sitios que abordaban la pregunta.

Reid explica que en otros casos, las vistas previas incluyeron contenido sarcástico de foros de discusión. Aunque los foros suelen ser una fuente excelente de información de primera mano, a veces pueden llevar a consejos menos útiles, como usar pegamento para que el queso se adhiera a la pizza. La directiva de Google afirma que la compañía ha trabajado rápidamente para abordar estos problemas, ya sea a través de mejoras en los algoritmos o mediante procesos establecidos para eliminar respuestas que no cumplen con sus políticas.

https://t.co/W09ssjvOkJ pic.twitter.com/6ALCbz6EjK

— SG-r01 (@heavenrend) May 22, 2024

Mejoras implementadas

Google no solo ha abordado estos problemas individualmente, sino que ha realizado más de una docena de mejoras técnicas a sus sistemas para resolver problemas de un conjunto amplio de consultas. “Hemos construido mejores mecanismos de detección para consultas sin sentido, limitado la inclusión de contenido satírico y humorístico, y añadido restricciones para consultas donde las AI Overviews no resultaban útiles”, afirmó Reid. Además, han reforzado las protecciones para temas como noticias y salud, asegurando que las vistas previas no se muestren para temas de noticias de última hora y mejorando las protecciones de calidad para temas de salud.

Reid concluyó señalando que, a escala web, con miles de millones de consultas diarias, siempre habrá rarezas y errores. Sin embargo, cree que Google ha aprendido mucho en los últimos 25 años sobre cómo construir y mantener una experiencia de búsqueda de alta calidad y seguirá mejorando las AI Overviews y fortaleciendo sus protecciones, agradeciendo siempre el feedback continuo de los usuarios.

Imagen: GPT Plus