Structured Observability: Metriken-Dashboard mit Zeitreihen und Kosten #28

New issue

Open

opened 2026-03-30 19:47:38 +00:00 by David · 0 comments

David commented

2026-03-30 19:47:38 +00:00

Collaborator

Beschreibung

Ein strukturiertes Observability-System einführen, das an jeder Pipeline-Stage Metriken (Token-Verbrauch, Dauer, Erfolg/Fehler) erfasst und im Dashboard als Zeitreihen, Funnel und Kosten-Übersicht visualisiert.

Hintergrund

Aktuell gibt es nur Basic-Stats über /api/stats (Aggregatzahlen). Es fehlen: Zeitreihen-Analyse (Trends), Kosten-Metriken, Pipeline-Funnel (wo fallen Tickets raus?), Scoring-Kalibrierungs-Metriken. Enterprises mit AI-Observability berichten 40% weniger Token-Waste. Ohne Observability ist keine systematische Optimierung möglich.

Akzeptanzkriterien

MetricsCollector erfasst an jeder Pipeline-Stage: Dauer, Token-Verbrauch, Ergebnis, Modell
API-Endpoint /api/analytics/metrics mit Zeitraum-Filter (Tag/Woche/Monat)
Dashboard-Seite "Analytics" mit:
- Pipeline-Funnel (Tickets pro Stage, Drop-off-Rate)
- Erfolgsrate-Trend über Zeit (Linienchart)
- Token-Verbrauch und geschätzte Kosten pro Tag/Woche (Balkenchart)
- Durchschnittliche Processing-Time pro Stage
- Scoring-Verteilung vs. MR-Outcome (Scatter-Plot)
Konfigurierbare Alerts: Erfolgsrate < 70%, Kosten > Budget, Processing-Time > 15min
Export der Metriken als CSV/JSON

Technische Hinweise

Neues Model: backend/models/metric.py — PipelineMetric (ticket_id, stage, duration_ms, tokens_in, tokens_out, model, result, timestamp)
Neuer Service: backend/services/metrics_collector.py — Record + Query
Neue API: backend/api/analytics.py — Metriken-Endpoints
Neue Frontend-Seite: frontend/src/pages/Analytics.tsx
Neue Komponenten: FunnelChart.tsx, CostChart.tsx, TrendLine.tsx
Chart-Library: recharts oder chart.js (leichtgewichtig)
Migration nötig: ja (neue Tabelle pipeline_metrics)

Aufwand: L

## Beschreibung Ein strukturiertes Observability-System einführen, das an jeder Pipeline-Stage Metriken (Token-Verbrauch, Dauer, Erfolg/Fehler) erfasst und im Dashboard als Zeitreihen, Funnel und Kosten-Übersicht visualisiert. ## Hintergrund Aktuell gibt es nur Basic-Stats über `/api/stats` (Aggregatzahlen). Es fehlen: Zeitreihen-Analyse (Trends), Kosten-Metriken, Pipeline-Funnel (wo fallen Tickets raus?), Scoring-Kalibrierungs-Metriken. Enterprises mit AI-Observability berichten 40% weniger Token-Waste. Ohne Observability ist keine systematische Optimierung möglich. ## Akzeptanzkriterien - [ ] MetricsCollector erfasst an jeder Pipeline-Stage: Dauer, Token-Verbrauch, Ergebnis, Modell - [ ] API-Endpoint `/api/analytics/metrics` mit Zeitraum-Filter (Tag/Woche/Monat) - [ ] Dashboard-Seite "Analytics" mit: - Pipeline-Funnel (Tickets pro Stage, Drop-off-Rate) - Erfolgsrate-Trend über Zeit (Linienchart) - Token-Verbrauch und geschätzte Kosten pro Tag/Woche (Balkenchart) - Durchschnittliche Processing-Time pro Stage - Scoring-Verteilung vs. MR-Outcome (Scatter-Plot) - [ ] Konfigurierbare Alerts: Erfolgsrate < 70%, Kosten > Budget, Processing-Time > 15min - [ ] Export der Metriken als CSV/JSON ## Technische Hinweise - Neues Model: `backend/models/metric.py` — PipelineMetric (ticket_id, stage, duration_ms, tokens_in, tokens_out, model, result, timestamp) - Neuer Service: `backend/services/metrics_collector.py` — Record + Query - Neue API: `backend/api/analytics.py` — Metriken-Endpoints - Neue Frontend-Seite: `frontend/src/pages/Analytics.tsx` - Neue Komponenten: `FunnelChart.tsx`, `CostChart.tsx`, `TrendLine.tsx` - Chart-Library: recharts oder chart.js (leichtgewichtig) - Migration nötig: ja (neue Tabelle `pipeline_metrics`) ## Aufwand: L