Con tanta emoción en torno a la generación de código con LLM para Python, JavaScript y otros lenguajes de propósito general, SQL puede parecer olvidado.
Beekeeper Studio es un cliente de bases de datos gratuito y de código abierto
La mejor herramienta de consultas y edición de SQL que he usado. Tiene todo lo que necesito para administrar mi base de datos. - ⭐⭐⭐⭐⭐ Mit
Beekeeper Studio es rápido, intuitivo y fácil de usar. Es compatible con muchísimas bases de datos y funciona de maravilla en Windows, Mac y Linux.
Y, sin embargo, se puede decir que SQL sostiene la economía global. Así que vale la pena preguntarse: ¿qué tan buenos son los LLM escribiendo SQL?
No somos los primeros en hacernos esa pregunta. Tanto académicos como empresas ya han publicado benchmarks que miden el desempeño de los LLM al generar SQL.
En este post revisaremos algunos de esos benchmarks, veremos lo que revelan y analizaremos qué hace que un benchmark de generación de código SQL sea realmente útil.
¿Qué hace bueno a un benchmark de generación de SQL con LLM?
Casi todos hemos sentido esa mezcla de sorpresa (y quizá un poco de asombro) cuando un LLM produce un bloque de código que funciona al primer intento. Pero con la misma frecuencia se equivoca: llama a una biblioteca que no existe, olvida una variable o pasa por alto un caso límite descrito en el prompt.
Con SQL, la naturaleza ágil e iterativa del desarrollo hace aún más difícil que los LLM acierten. Normalmente escribes una consulta, la ejecutas, revisas el resultado y luego la ajustas según lo que ves. Y es que los datos forman parte del proceso tanto como el propio SQL.
Eso impone exigencias específicas a cualquier benchmark que quiera evaluar la capacidad de un LLM para generar SQL. Creemos que un buen benchmark de SQL debe:
- Cubrir varias bases de datos: Postgres, MySQL, SQL Server, ClickHouse y otras tienen sus particularidades, así que un benchmark justo debe abarcar más de un motor.
- Incluir tareas variadas: Las consultas van desde simples cláusulas SELECT … WHERE hasta joins complejos, funciones de ventana y retos que requieren conocer el esquema. Un benchmark debe reflejar ese espectro.
- Verificar resultados, no solo sintaxis: La verdadera pregunta no es si el SQL se ejecuta, sino si devuelve los datos correctos.
- Considerar la iteración: Un benchmark útil debe capturar el ir y venir de refinar consultas, no solo el primer intento.
- Ser transparente: Sin esquemas, datasets y código de evaluación abiertos, es más difícil confiar en los resultados.
Entonces, ¿existe algún benchmark de generación de código SQL con IA que cumpla estos criterios?
Benchmarks de SQL
Claro, los benchmarks de SQL son anteriores a los LLM. Quizá el más conocido sea Spider, lanzado en 2018 como dataset para la comunidad de investigación de text-to-SQL. Aunque se diseñó para análisis semántico y no para LLM, desde entonces se ha convertido en una especie de referencia para evaluarlos. Sin embargo, investigadores y empresas han presentado otros benchmarks desde entonces.
Spider
Qué es: Lanzado en 2018, Spider es un dataset a gran escala con más de 200 bases de datos y miles de tareas de lenguaje natural a SQL, creado originalmente para la comunidad de investigación de text-to-SQL.
Fortalezas: Amplia cobertura de esquemas; consultas razonablemente complejas y de distintos dominios; referencia de largo plazo para evaluaciones académicas y de LLM (incluidos Codex, GPT-3.5 y GPT-4).
Limitaciones: Se basa en esquemas SQLite limpios, muy distintos de las caóticas bases de datos de producción; se enfoca en evaluación de un solo intento; no refleja el refinamiento iterativo de consultas.
Veredicto: Una referencia útil y todavía el benchmark más citado, pero puede ser demasiado académico para reflejar los flujos de trabajo reales con SQL.
BIRD-SQL
Qué es: Presentado en 2023 como sucesor de Spider, BIRD-SQL se diseñó específicamente para poner a prueba a los modelos grandes con cargas de trabajo más realistas, al estilo BI.
Fortalezas: Esquemas más grandes y desordenados; consultas que requieren razonar sobre el esquema y, en algunos casos, conocimiento externo; más exigente que Spider.
Limitaciones: Sigue siendo académico en su diseño; se enfoca en evaluación de un solo turno; es menos accesible para profesionales fuera de la investigación.
Veredicto: Un paso más cerca de reflejar los retos reales con datos, pero todavía no es iterativo ni multimotor.
Tinybird SQL Benchmark
Qué es: Un benchmark impulsado por la industria, creado por Tinybird, que evalúa 19 LLM en tareas de SQL analítico usando su propia plataforma (basada en ClickHouse), con comparaciones frente a referencias humanas.
Fortalezas: Presentación clara; dataset grande (cientos de millones de filas); resultados lado a lado de varios modelos.
Limitaciones: Atado a la infraestructura de Tinybird; limitado a generación de consultas de un solo intento; los resultados podrían no generalizarse fuera de su entorno.
Veredicto: Pulido y práctico, pero de alcance limitado y no representa cómo se desempeñan los LLM en distintas bases de datos ni en flujos de trabajo iterativos.
SQL-EVAL
Qué es: SQL-EVAL es un framework de evaluación de código abierto para medir qué tan correcto es el SQL generado por LLM. Cada tarea incluye una consulta SQL de referencia revisada por personas. SQL-Eval ejecuta tanto la consulta del modelo como la de referencia y luego compara los resultados.
Fortalezas: Totalmente de código abierto y reproducible; maneja la complejidad de SQL (consultas anidadas, múltiples joins), la variedad semántica y los casos en que existe más de una consulta correcta.
Limitaciones: Se enfoca en si la consulta devuelve los mismos resultados que la referencia, no en su calidad ni eficiencia; solo admite generación de un solo intento y no simula el refinamiento iterativo.
Veredicto: Un recurso valioso para evaluar qué tan bien los modelos devuelven los resultados correctos, y excelente en transparencia, pero todavía no refleja los flujos de trabajo iterativos del uso real de SQL.
Otros benchmarks que vale la pena revisar
Proyectos más recientes buscan cubrir algunos de los huecos que dejaron Spider y BIRD-SQL.
- BIRD-CRITIC: Un benchmark más reciente construido sobre BIRD-SQL. En lugar de solo pedirle al modelo que escriba una consulta una vez, verifica si puede corregir sus propios errores. Por ejemplo: si el primer intento devuelve un error o un resultado incorrecto, el benchmark le pide al modelo que lo corrija y lo intente de nuevo. Además, lo hace en distintos sistemas de bases de datos (Postgres, MySQL, SQL Server, Oracle).
- BEAVER: Un benchmark creado a partir de consultas reales tomadas de data warehouses empresariales, no de datasets académicos hechos a la medida. Incluye los esquemas grandes y desordenados que esperarías en finanzas, retail u operaciones.
Juntando todo
Cada benchmark resalta una parte distinta del reto de SQL. Spider y BIRD-SQL estandarizaron la evaluación de text-to-SQL a gran escala, pero con datasets mucho más limpios que los sistemas de producción reales. Tinybird muestra otro enfoque que puede hacer los benchmarks más accesibles y comparables, mientras que SQL-Eval aporta la importante dimensión de la cobertura multimotor.
En conjunto, apuntan a la siguiente oportunidad: benchmarks que vayan más allá de las consultas estáticas de un solo intento para capturar el caótico ir y venir del desarrollo con SQL.
Consultas SQL con IA en Beekeeper Studio
Los benchmarks son útiles para comparar modelos en entornos controlados, pero la verdadera prueba es qué tan bien se integra la IA en tu flujo de trabajo diario.
Ahí es donde entra Beekeeper Studio: es la GUI de SQL que se conecta a tu LLM favorito para ayudarte a explorar y consultar tus datos mediante una interfaz conversacional y con consultas SQL manuales. Es rápido, de código abierto y multiplataforma, con soporte para Postgres, MySQL, SQLite, MongoDB y más.
