Laddar dokument …
Tre offentliga svenska styrdokument (budget, verksamhetsplan) omvandlade till ett navigerbart mål- och KPI-träd med sidhänvisningar, flaggning av mål utan mätbart mått, och färdiga kopplingar till öppna Kolada-nyckeltal.
Laddar dokument …
Klistra in en målformulering eller en kort textsnutt ur ett styrdokument (svenska). Modellen (Llama 3.3 70B via Cloudflare Workers AI) avgör om ett mätbart mått redan finns och föreslår matchande Kolada-KPI:er i realtid, med aktuella värden för Göteborgs kommun som referens. Begränsat till 600 tecken, 10 anrop/timme per IP, och ett dagligt tak totalt — därefter visas ett fel.
Kärnfrågan pipelinen ska svara rätt på är: anger den här måltexten redan ett konkret mätbart mått, eller inte? Det avgör om ett mål flaggas för KPI-förslag. Jag facit-märkte 30 fall för hand — 25 mål ur de tre riktiga dokumenten ovan (samtliga narrativa måltexter utan siffra i den text som skickades till modellen) plus 5 verkliga textstycken med en uttalad procentsats, plockade ur samma tre PDF:er men utanför huvudträdet (t.ex. "90 procent av Prio 1a-larm ska nås inom 20 minuter").
Vad som gick fel, och varför: ett av fem verkliga mått missades (recall 0.8, inga falska larm — precision 1.0). Målet "Sjukvårdens köer ska kortas" i VGR:s budget nämner "högst 90 procent beläggningsgrad" på sidan direkt efter den sida jag satte som slutgräns för det utdraget — en gränsdragning per sida missade alltså målet med en sidas marginal. Jag utökade fönstret och körde om: samma miss kvarstod, men av en annan orsak — det utökade textutdraget blev längre än teckengränsen jag satte för modellanropet, så meningen med måttet klipptes bort innan modellen såg den. Två separata brister i samma flagga, hittade genom att faktiskt läsa källtexten och jämföra. Fixen är att chunka per stycke istället för per sida-fönster — inte gjort här av tidsskäl, men noterat i README.