Benchmarks für LLM-Codegenerierung in SQL

Bei all der Begeisterung über LLM-Codegenerierung für Python, JavaScript und andere Allzwecksprachen gerät SQL leicht aus dem Blick.

Dabei ist SQL wohl das Fundament der Weltwirtschaft. Die Frage lohnt sich also: Wie gut schreiben LLMs SQL?

Wir sind nicht die Ersten, die das fragen. Sowohl Forschende als auch Anbieter haben bereits Benchmarks veröffentlicht, die die Leistung von LLMs bei der SQL-Generierung messen.

In diesem Beitrag schauen wir uns einige dieser Benchmarks an, sehen, was sie zeigen, und überlegen, was einen aussagekräftigen Benchmark für SQL-Codegenerierung ausmacht.

Was macht einen guten Benchmark für LLM-SQL-Codegenerierung aus?

Die meisten von uns kennen diese Mischung aus Überraschung – und vielleicht ein wenig Ehrfurcht –, wenn ein LLM beim ersten Versuch funktionierenden Code liefert. Genauso oft stolpert es aber: Es ruft eine Bibliothek auf, die es nicht gibt, vergisst eine Variable oder übersieht einen Sonderfall, der im Prompt ausdrücklich genannt wurde.

Bei SQL macht es die enge, iterative Arbeitsweise für LLMs noch schwerer, alles richtig zu machen. Normalerweise schreibst du eine Abfrage, führst sie aus, prüfst das Ergebnis und verfeinerst sie dann anhand dessen, was du siehst. Denn die Daten selbst sind genauso Teil des Prozesses wie das SQL.

Das stellt besondere Anforderungen an jeden Benchmark, der beurteilen will, wie gut ein LLM SQL generiert. Wir meinen, ein guter SQL-Benchmark sollte:

• Mehrere Datenbanken abdecken: Postgres, MySQL, SQL Server, ClickHouse und andere haben alle ihre Eigenheiten, ein fairer Benchmark muss also mehr als eine Engine umfassen.
• Vielfältige Aufgaben enthalten: Abfragen reichen von einfachen SELECT … WHERE-Klauseln bis zu komplexen Joins, Fensterfunktionen und schemaabhängigen Aufgaben. Ein Benchmark sollte dieses Spektrum abbilden.
• Ergebnisse prüfen, nicht nur die Syntax: Entscheidend ist nicht, ob das SQL ausgeführt wird, sondern ob es die richtigen Daten liefert.
• Iteration berücksichtigen: Ein brauchbarer Benchmark muss das Hin und Her beim Verfeinern von Abfragen erfassen, nicht nur den ersten Versuch.
• Transparent sein: Ohne offene Schemas, Datensätze und Auswertungscode sind die Ergebnisse weniger verlässlich.

Gibt es also KI-Benchmarks für SQL-Codegenerierung, die diese Kriterien erfüllen?

SQL-Benchmarks

SQL-Benchmarks gab es natürlich schon vor LLMs. Der bekannteste ist wohl Spider, 2018 als Datensatz für die Text-to-SQL-Forschung veröffentlicht. Obwohl er für semantisches Parsing und nicht für LLMs entwickelt wurde, gilt er inzwischen als eine Art Referenz bei der Bewertung von LLMs. Seitdem haben Forschende und Anbieter aber weitere Benchmarks vorgestellt.

Spider

Was es ist: Spider wurde 2018 veröffentlicht und ist ein umfangreicher Datensatz mit über 200 Datenbanken und Tausenden Aufgaben, die natürliche Sprache in SQL übersetzen – ursprünglich für die Text-to-SQL-Forschung entwickelt.

Stärken: Breite Abdeckung von Schemas; recht komplexe, domänenübergreifende Abfragen; langjährige Referenz für akademische und LLM-Evaluierungen (u. a. Codex, GPT-3.5, GPT-4).

Schwächen: Basiert auf sauberen SQLite-Schemas, weit entfernt von chaotischen Produktionsdatenbanken; konzentriert sich auf One-Shot-Evaluierung; bildet iteratives Verfeinern von Abfragen nicht ab.

Fazit: Eine nützliche Referenz und nach wie vor der meistzitierte Benchmark, aber womöglich zu akademisch, um echte SQL-Workflows abzubilden.

BIRD-SQL

Was es ist: BIRD-SQL wurde 2023 als Nachfolger von Spider vorgestellt und gezielt entwickelt, um große Modelle mit realistischeren BI-Workloads herauszufordern.

Stärken: Größere, unordentlichere Schemas; Abfragen, die Schemaverständnis und teils externes Wissen erfordern; anspruchsvoller als Spider.

Schwächen: Weiterhin akademisch konzipiert; konzentriert sich auf Single-Turn-Evaluierung; für Praktiker außerhalb der Forschung weniger zugänglich.

Fazit: Ein Schritt näher an realen Datenherausforderungen, aber weder iterativ noch Engine-übergreifend.

Tinybird SQL Benchmark

Was es ist: Ein Benchmark aus der Industrie von Tinybird, der 19 LLMs bei analytischen SQL-Aufgaben auf der eigenen Plattform (basierend auf ClickHouse) bewertet und mit menschlichen Referenzwerten vergleicht.

Stärken: Übersichtliche Darstellung; großer Datensatz (Hunderte Millionen Zeilen); direkter Vergleich der Ergebnisse mehrerer Modelle.

Schwächen: An Tinybirds eigene Infrastruktur gebunden; auf One-Shot-Abfragegenerierung beschränkt; Ergebnisse lassen sich womöglich nicht über deren Umgebung hinaus verallgemeinern.

Fazit: Ausgereift und praxisnah, aber eng gefasst und nicht repräsentativ dafür, wie LLMs auf verschiedenen Datenbanken oder in iterativen Workflows abschneiden.

SQL-EVAL

Was es ist: SQL-EVAL ist ein Open-Source-Framework, das die Korrektheit von LLM-generiertem SQL bewertet. Zu jeder Aufgabe gibt es eine von Menschen geprüfte Referenzabfrage. SQL-Eval führt sowohl die Abfrage des Modells als auch die Referenzabfrage aus und vergleicht anschließend die Ergebnisse.

Stärken: Vollständig Open Source und reproduzierbar; berücksichtigt SQL-Komplexität (verschachtelte Abfragen, mehrere Joins), semantische Vielfalt und Fälle mit mehr als einer korrekten Abfrage.

Schwächen: Prüft nur, ob die Abfrage dieselben Ergebnisse wie die Referenz liefert, nicht ihre Qualität oder Effizienz; unterstützt nur One-Shot-Generierung und simuliert kein iteratives Verfeinern.

Fazit: Eine wertvolle Ressource, um zu beurteilen, wie gut Modelle die richtigen Ergebnisse liefern, und vorbildlich transparent – bildet die iterativen Workflows im echten SQL-Alltag aber trotzdem nicht ab.

Weitere sehenswerte Benchmarks

Neuere Projekte versuchen, einige der Lücken von Spider und BIRD-SQL zu schließen.

• BIRD-CRITIC: Ein neuerer Benchmark, der auf BIRD-SQL aufbaut. Statt ein Modell nur einmal eine Abfrage schreiben zu lassen, prüft er, ob das Modell seine eigenen Fehler beheben kann. Liefert der erste Versuch zum Beispiel einen Fehler oder ein falsches Ergebnis, fordert der Benchmark das Modell auf, zu korrigieren und es erneut zu versuchen. Das geschieht zudem über verschiedene Datenbanksysteme hinweg (Postgres, MySQL, SQL Server, Oracle).
• BEAVER: Ein Benchmark aus echten Abfragen von Enterprise-Data-Warehouses statt aus eigens erstellten akademischen Datensätzen. Er enthält die großen, chaotischen Schemas, die man aus Finanzwesen, Handel oder Betrieb kennt.

Fazit

Jeder Benchmark beleuchtet einen anderen Aspekt der SQL-Herausforderung. Spider und BIRD-SQL haben die groß angelegte Text-to-SQL-Evaluierung standardisiert, allerdings mit Datensätzen, die viel sauberer sind als echte Produktionssysteme. Tinybird zeigt einen weiteren Ansatz, der Benchmarks zugänglicher und vergleichbarer machen kann, während SQL-Eval die wichtige Dimension der Abdeckung mehrerer Engines einbringt.

Zusammen deuten sie auf die nächste Chance hin: Benchmarks, die über statische One-Shot-Abfragen hinausgehen und das chaotische Hin und Her der SQL-Entwicklung erfassen.

KI-gestützte SQL-Abfragen mit Beekeeper Studio

Benchmarks eignen sich gut, um Modelle unter kontrollierten Bedingungen zu vergleichen, aber der echte Test ist, wie gut sich KI in deinen Arbeitsalltag einfügt.

Genau da kommt Beekeeper Studio ins Spiel: die SQL-GUI, die sich mit deinem Lieblings-LLM verbindet, damit du deine Daten über eine Chat-Oberfläche und mit manuellen SQL-Abfragen erkunden und abfragen kannst. Sie ist schnell, Open Source und plattformübergreifend, mit Unterstützung für Postgres, MySQL, SQLite, MongoDB und mehr.

Probier es selbst aus.

Beekeeper Studio herunterladen

---