Simon Willison podjął eksperyment mający na celu zastosowanie DSPy do oceny i ulepszenia system promptów używanych przez Datasette Agent do obsługi zapytań SQL. Wykorzystał do tego Claude Code z modelem Claude Fable 5, instalując najnowszą wersję Datasette alpha, datasette-agent oraz DSPy.
Badanie skupiało się na funkcji Datasette Agent, która wykonuje zapytania SQL tylko do odczytu w celu udzielenia odpowiedzi na pytania użytkowników dotyczące danych. Claude Fable przetestował rozwiązania używając modeli GPT-4.1 mini i nano, identyfikując kilka obiecujących kierunków dla ulepszeń. Jednym z kluczowych znalezionych problemów było to, że schema listing wyświetlał tylko nazwy tabel bez nazw kolumn. Ta ograniczona informacja powodowała, że model musiał zgadywać nazwy kolumn (takie jak page_count czy order_id), co prowadziło do błędów i pętli powtórzeń zapytań.
Wyniki pokazują praktyczną wartość DSPy w optymalizacji promptów dla systemów pracujących z bazami danych. Zaproponowane rozwiązania - takie jak włączenie nazw kolumn bezpośrednio do listowania schematu lub zmiękkanie instrukcji o niebędących koniecznym opisywaniu tabel - mogą znacznie poprawić niezawodność i efektywność agentów SQL.