> ## Content Index
> Fetch the complete content index at: https://kisium.de/llms.txt
> Use this file to discover other available public pages before exploring further.

# Grün heißt nicht heil: drei stille Ausfälle an einem Tag
- URL: https://kisium.de/grun-heisst-nicht-heil-drei-stille-ausfalle-an-einem-tag/
- Published: 2026-11-16T19:40:27.000Z
- Updated: 2026-11-16T20:04:15.000Z
- Author: Tobias Peine

Um 19:42 habe ich an diesem Abend zum dritten Mal einen Testalarm ausgelöst. Die ersten beiden kamen nie auf dem Handy an – und niemand hatte es gemerkt. Das Unangenehme daran war nicht der ausgefallene Alarm, sondern dass **alles grün aussah**: kein Fehler im Log, keine roten Checks, HTTP 200.

Der Tag hatte harmlos angefangen – mit einer Durchsicht. Was ich dabei gefunden habe, waren 43 GB Docker-Build-Cache, ein fast voller Swap und ein Home-Assistant-Backup, das seit acht Tagen alt war. Das ist die Sorte Fund, für die man einen Server aufmacht. Der eigentliche Fund kam später, und er war unsichtbar.

## Drei Dinge, die grün aussahen und kaputt waren

Ich habe an diesem Tag die Überwachung von einem Host auf zwei verteilt: Anwendungen bleiben auf dem einen, Prometheus, Grafana und Alertmanager ziehen auf einen zweiten. Der Grund ist einfach – vorher standen Überwachung und überwachte Anwendung auf derselben Maschine. Fällt die aus, schweigt beides gleichzeitig.

Der Umzug hat drei Fehler eingebaut, die alle dieselbe Eigenschaft hatten: Sie hinterließen keinen Fehler.

\### 1\. Regeln, die auf Serien zeigen, die es nicht mehr gibt

Beim Umzug habe ich die Scrape-Jobs umbenannt: aus `node` wurden `node-app` und `node-monitor`, damit die Werte beider Maschinen unterscheidbar bleiben. Die Alarmregeln habe ich nicht mitgezogen. Dort stand weiterhin:

```
up{job="node"} == 0
```

Diese Serie existierte nicht mehr. Prometheus meldet dafür keinen Fehler – eine Regel ohne Daten ist einfach nie wahr. Zwei Alarme, deren einzige Aufgabe es ist, den Ausfall eines Hosts zu melden, hätten den Ausfall nicht gemeldet. Sie standen die ganze Zeit als `inactive` in der Übersicht, und `inactive` sieht aus wie `alles in Ordnung`.

```
up{job=~"node-.*"} == 0
```

So ist es jetzt. Der Unterschied ist eine Zeile. Der Unterschied im Betrieb ist der zwischen „ich merke es" und „ich merke es nicht".

\### 2\. HTTP 200 und trotzdem abgelehnt

Der zweite Fehler war der, den ich am längsten nicht gesehen habe. Home Assistant nimmt Webhooks standardmäßig nur von `127.0.0.1` an. Solange Alertmanager auf demselben Host lief, war das erfüllt. Nach dem Umzug kam der Aufruf von der Tailscale-Adresse – und Home Assistant verwarf ihn:

```
WARNING (MainThread) [homeassistant.components.webhook]
Received remote request for local webhook metrics-alerts
```

Der Absender sieht davon nichts. Alertmanager protokolliert nur \*fehlgeschlagene\* Zustellungen, und HTTP 200 ist keine fehlgeschlagene Zustellung. Die Automation wurde nie ausgelöst, der Alarm verschwand, und die einzige Spur war eine Warnung in einem Log, das ich nicht gelesen habe, weil es nichts zu lesen gab.

Meine erste Reaktion war, im Alarmmanager zu suchen. Dort war alles korrekt. Der Fehler saß am anderen Ende der Leitung, bei dem Dienst, der „ja" sagte und „nein" meinte.

\### 3\. Das, was ein Fremder gefunden hat

Am Abend habe ich einen unabhängigen Agenten auf das Repository angesetzt: nicht um etwas zu ändern, sondern um zu prüfen, ob das Repo den Server beschreibt, den es beschreiben soll. Read-only, mit der Auflage, nur zu berichten.

Das Ergebnis war unangenehmer als jede eigene Durchsicht. 18 von 20 gerenderten Dateien waren byte-identisch – aber drei Dinge fehlten komplett:

\- Zwei Backup-Jobs (Paperless um 03:30, Restore-Test um 04:00) standen nur in der root-crontab. Im Repo existierten sie nicht. Ein Neuaufbau hätte sie stillschweigend verloren. - `rest-server`, das Ziel des Offsite-Backups, lief als `docker run` und tauchte in keinem Compose-Projekt auf. Beim Neuaufbau wäre das Backup-Ziel weg gewesen. - Eine Rolle widersprach ihrer eigenen Dokumentation: Das Template setzte Härtung, der Kommentar sagte „keine Härtung".

Das sind keine kosmetischen Abweichungen. Es sind genau die Lücken, die man bei einer Wiederherstellung merkt – also dann, wenn es zu spät ist.

## Zwei Grenzen, die zu eng waren

Beim Aufbau des neuen Überwachungs-Hosts sind mir zwei Container begegnet, die „liefen" und trotzdem nichts taten. Beide Male war ein Speicherdeckel die Ursache.

**cAdvisor** meldete sich gesund und verbrannte dabei 80 bis 135 Prozent CPU. Im Log stand der Grund:

```
fs: disk usage and inodes count on following dirs took 15.225041763s
```

Der Dateisystem-Handler lief bei jedem Zyklus die Overlay-Verzeichnisse aller laufenden Container durch – fünf bis fünfzehn Sekunden pro Container, reine I/O-Last. Der Deckel von 256 MB war gleichzeitig zu knapp: Der Prozess stand bei 255 MB.

Zwei Flags lösten das: `--docker_only=true` (keine systemd-Cgroups mehr) und `--disable_metrics=disk,diskIO` (keine Container-Disk-Walks, die Host-Disk liefert ohnehin node-exporter). Ergebnis: 0 Prozent CPU im Leerlauf, 57 MB.

**Grafana** war der zweite Fall, und er war lehrreicher. Der Container lief, der Healthcheck stand auf `starting`, und er kam nie weiter. Der Grund war derselbe: 256 MB Deckel, 253 MB Verbrauch – der Prozess hing vor dem Start des HTTP-Servers fest. Mit 512 MB war er in Sekunden gesund.

Ein zu knapper Deckel ist schlimmer als keiner. Ohne Limit läuft der Dienst und verbraucht zu viel; mit einem zu knappen Limit läuft er nicht, sieht aber von außen aus wie „startet noch".

## Was ich daraus gebaut habe

Die Antwort auf alle diese Fälle ist dieselbe: Ein Zustand, den niemand prüft, ist eine Behauptung.

Deshalb läuft seit heute sonntags um 09:00 ein Selbsttest. Er feuert einen Alarm über die Alertmanager-API, wartet drei Minuten und löst ihn wieder auf. Damit laufen alle Empfänger einmal pro Woche real durch – nicht als Ping, sondern als echter Alarm mit echtem Text.

Aufgedeckt hat den Webhook-Fehler ein manueller Test am Abend; der Selbsttest ist die Antwort darauf, damit es beim nächsten Mal nicht wieder ein Zufall ist.

Dazu kommt ein dritter Alarmweg. Vorher hing die Zustellung an Home Assistant – also an derselben Maschine, deren Ausfall gemeldet werden soll. Jetzt gibt es drei voneinander unabhängige Wege: den HA-Webhook, eine ntfy-Nachricht über einen kleinen Übersetzungsdienst und eine E-Mail direkt per SMTP. Fällt einer aus, bleiben zwei.

Und für den Fall, dass die Überwachung selbst stirbt: ein Dead-Man-Ping an einen externen Dienst. Bleibt er aus, meldet sich jemand, der nicht auf meinem Server läuft.

## Was ich mitnehme

**Grün ist eine Behauptung.** Ein grüner Haken sagt nur, dass die Prüfung, die ihn gesetzt hat, nichts gefunden hat. Ob die Prüfung das Richtige prüft, steht nicht darin.

**Der Fehler sitzt selten da, wo man sucht.** Die beiden stillen Ausfälle waren auf der Gegenseite: eine Regel, die auf einen alten Namen zeigt; ein Dienst, der Anfragen von außen ablehnt. Der Alarmmanager war in beiden Fällen korrekt konfiguriert.

**Ein Fremder sieht mehr.** Ich habe an diesem Tag stundenlang an derselben Infrastruktur gearbeitet und drei Dinge übersehen, die ein Agent in einer halben Stunde gefunden hat – nicht weil er klüger ist, sondern weil er meine Annahmen nicht hatte.

Am Ende des Tages war der Server nicht grundlegend anders als am Morgen. Er hat ein paar Limits mehr, zwei Backup-Jobs, die jetzt im Repository stehen, und einen Alarmweg, der nicht mehr an einer einzigen Maschine hängt. Aber die wichtigste Änderung ist unsichtbar: Ich weiß jetzt, dass „sieht gut aus" und „funktioniert" zwei verschiedene Aussagen sind – und dass nur die zweite zählt.