用 DSPy 自動評估並改善 Datasette Agent 的 SQL 系統提示

Simon Willison 分享了一則實作筆記：用 DSPy 這個框架，來評估並自動改善他的 Datasette Agent 產生 SQL 時所用的系統提示。他說是被 AI 工程大會上一場關於 DSPy 的 keynote 提醒，才想起自己一直想試試看能不能用它，把手動調提示這件苦差事自動化。

DSPy 的核心概念，是把提示工程從人肉試錯變成一套可以用資料驅動、自動優化的流程。你先定義好任務目標與評估標準，DSPy 會系統性地嘗試不同的提示寫法，用實際跑出來的結果打分、再挑出表現最好的版本。對 Datasette Agent 這種要把自然語言轉成正確 SQL 的場景，提示的措辭差一點，產出的查詢對錯就差很多，很適合拿這套方法來磨。

這篇筆記的意義，在於示範了一種更工程化的提示開發方式。過去大家調提示多半靠感覺，改一句、跑一次、覺得順就留著，很難說清楚到底哪裡變好、能不能複製。用 DSPy 這類工具，可以把提示好不好量化、可重現，讓優化有依據而不是玄學。對認真要把 LLM 應用做穩的團隊，值得把這種資料驅動的提示流程納入工具箱。