Token-Budget pro Ticket: Kostengrenze und Daily-Spend-Limit #26

Closed
opened 2026-03-30 19:47:11 +00:00 by David · 1 comment
Collaborator

Beschreibung

Ein konfigurierbares Token-Budget pro Ticket und ein tägliches Gesamtlimit einführen, um unkontrollierte Kosten durch entgleiste Agent-Loops zu verhindern ("Denial of Wallet"-Schutz).

Hintergrund

Ein einzelner unkontrollierter Coding-Agent-Task kann $5-8 an API-Kosten verursachen. Bei 50 Max-Turns und mehreren LLM-Calls pro Stage (Scoring + Preparation + Execution + Review) gibt es aktuell keine Obergrenze für den Token-Verbrauch pro Ticket. Ohne Budget-Kontrolle skalieren Kosten linear und unkontrolliert mit dem Ticket-Volumen.

Akzeptanzkriterien

  • Token-Verbrauch wird pro Ticket und pro Pipeline-Stage getrackt und in DB gespeichert
  • Konfigurierbares Token-Budget pro Ticket (z.B. 500K Tokens). Pipeline bricht ab bei Überschreitung
  • Konfigurierbares Daily-Spend-Limit. Pipeline pausiert bei Überschreitung
  • Bei Budget-Überschreitung: Ticket → failed mit klarer Meldung, kein stiller Abbruch
  • Dashboard zeigt: Token-Verbrauch pro Ticket, Kosten pro erfolgreichem MR, Tages-/Wochen-/Monats-Aggregat
  • Warnung bei 80% Budget-Auslastung (konfigurierbarer Schwellwert)

Technische Hinweise

  • Erweitern: backend/models/ticket.pytokens_used (JSON: {scoring: N, preparation: N, execution: N, review: N}), estimated_cost_usd (Float)
  • Neuer Utility: backend/services/token_tracker.py — Token-Tracking + Budget-Prüfung
  • Erweitern: backend/services/scoring_engine.py, preparation_engine.py, review_agent.py — Token-Counts nach jedem API-Call erfassen
  • Erweitern: backend/config.pyTOKEN_BUDGET_PER_TICKET, DAILY_TOKEN_LIMIT, BUDGET_WARNING_THRESHOLD
  • Erweitern: backend/api/pipeline.py — Kosten-Endpoint /api/costs
  • Migration nötig: ja (neue Felder in tickets)

Aufwand: M

## Beschreibung Ein konfigurierbares Token-Budget pro Ticket und ein tägliches Gesamtlimit einführen, um unkontrollierte Kosten durch entgleiste Agent-Loops zu verhindern ("Denial of Wallet"-Schutz). ## Hintergrund Ein einzelner unkontrollierter Coding-Agent-Task kann $5-8 an API-Kosten verursachen. Bei 50 Max-Turns und mehreren LLM-Calls pro Stage (Scoring + Preparation + Execution + Review) gibt es aktuell keine Obergrenze für den Token-Verbrauch pro Ticket. Ohne Budget-Kontrolle skalieren Kosten linear und unkontrolliert mit dem Ticket-Volumen. ## Akzeptanzkriterien - [ ] Token-Verbrauch wird pro Ticket und pro Pipeline-Stage getrackt und in DB gespeichert - [ ] Konfigurierbares Token-Budget pro Ticket (z.B. 500K Tokens). Pipeline bricht ab bei Überschreitung - [ ] Konfigurierbares Daily-Spend-Limit. Pipeline pausiert bei Überschreitung - [ ] Bei Budget-Überschreitung: Ticket → `failed` mit klarer Meldung, kein stiller Abbruch - [ ] Dashboard zeigt: Token-Verbrauch pro Ticket, Kosten pro erfolgreichem MR, Tages-/Wochen-/Monats-Aggregat - [ ] Warnung bei 80% Budget-Auslastung (konfigurierbarer Schwellwert) ## Technische Hinweise - Erweitern: `backend/models/ticket.py` — `tokens_used` (JSON: {scoring: N, preparation: N, execution: N, review: N}), `estimated_cost_usd` (Float) - Neuer Utility: `backend/services/token_tracker.py` — Token-Tracking + Budget-Prüfung - Erweitern: `backend/services/scoring_engine.py`, `preparation_engine.py`, `review_agent.py` — Token-Counts nach jedem API-Call erfassen - Erweitern: `backend/config.py` — `TOKEN_BUDGET_PER_TICKET`, `DAILY_TOKEN_LIMIT`, `BUDGET_WARNING_THRESHOLD` - Erweitern: `backend/api/pipeline.py` — Kosten-Endpoint `/api/costs` - Migration nötig: ja (neue Felder in tickets) ## Aufwand: M
Author
Collaborator

Superseded by #89 (Knowledge Base, Similarity, Feedback, Anomaly Detection & Cost Tracking). Token-Budget und Cost Tracking sind dort vollständig abgedeckt.

Superseded by #89 (Knowledge Base, Similarity, Feedback, Anomaly Detection & Cost Tracking). Token-Budget und Cost Tracking sind dort vollständig abgedeckt.
David closed this issue 2026-03-30 20:39:16 +00:00
Sign in to join this conversation.
No description provided.