size vs. min_size: Verfügbarkeit gegen Sicherheit

Zwei unterschiedliche Fragen

size und min_size beantworten zwei getrennte Fragen zu einem replizierten Pool, und wer beide verwechselt, erlebt bei der ersten echten Störung des Clusters die häufigste Überraschung überhaupt. size legt fest, wie viele Kopien jedes Objekts Ceph anstrebt, verteilt über getrennte Failure Domains. min_size legt fest, wie viele dieser Kopien erreichbar sein müssen, damit Ceph überhaupt noch Schreibzugriffe annimmt. Daten gehen erst verloren, wenn keine einzige Kopie mehr existiert — Schreibzugriffe stoppen aber schon, sobald weniger als min_size Kopien erreichbar sind. Dieser Stopp ist ein bewusster Sicherheitsmechanismus und kein Fehler: Er verhindert gezielt, dass neue Daten auf einen Zustand geschrieben werden, dessen Konsistenz Ceph nicht mehr garantieren kann.

Proxmox setzt standardmäßig size 3 / min_size 2, und das ist ein guter Standard: Drei Kopien überstehen den Ausfall eines Hosts, ohne dass die Daten unerreichbar werden, und selbst danach müssen sich zwei Kopien einig sein, bevor Ceph einen Schreibzugriff annimmt — ein zweiter, gleichzeitiger Ausfall kann Daten also nicht stillschweigend beschädigen. Jede andere Kombination in diesem Artikel gibt einen Teil dieser Garantie auf, meist zugunsten von Kapazität.

Die vier gängigen Kombinationen

In der Praxis häufigste size-/min_size-Kombinationen und was ein einzelner Host-Ausfall für jede bedeutet.
size / min_sizegehaltene KopienSchreibstopp beiwas ein einzelner Host-Ausfall bedeutet
3 / 23weniger als 2 erreichbaren Kopienweiterhin verfügbar (2 von 3); kein Self-Healing nur wenn hosts = 3
3 / 13weniger als 1 erreichbaren Kopieweiterhin verfügbar, aber ein weiterer Ausfall kann bereits mit nur einer Kopie Schreibzugriffe annehmen — der Planer markiert dies als danger
2 / 22weniger als 2 erreichbaren KopienIO auf betroffenen PGs blockiert sofort, bis der Host zurückkehrt oder die Recovery abgeschlossen ist
2 / 12weniger als 1 erreichbaren Kopieweiterhin verfügbar auf der einen verbleibenden Kopie, aber jeder weitere Ausfall verliert Daten endgültig

3 / 2 ist die Kombination, bei der es sich lohnt zu bleiben, sofern kein konkreter, verstandener Grund für eine Abweichung besteht. Sie übersteht den vollständigen Ausfall eines Hosts, ohne Schreibzugriffe zu unterbrechen, und nimmt niemals Schreibzugriffe auf weniger als zwei Kopien an — ein zweiter Ausfall während der Recovery kann bereits geschriebene Daten also nicht beschädigen, sondern höchstens IO auf den betroffenen Placement Groups pausieren, bis wieder genug Kopien existieren.

Warum min_size 1 gefährlich ist

Der Reiz von min_size 1 liegt darin, dass der Cluster fast jeden Ausfall übersteht, ohne schreibunfähig zu werden — und genau das ist das Problem: Er nimmt weiterhin neue Schreibzugriffe auf eine einzige, nicht gespiegelte Kopie an, sodass alles, was in diesem Fenster geschrieben wird, nur an einem einzigen Ort existiert. Ein verschlissenes Kabel, ein zweiter Festplattenausfall, ein Node, der nicht zurückkehrt — jedes dieser Ereignisse verliert dauerhaft, was in der Zwischenzeit geschrieben wurde, sofern es eintritt, bevor die fehlenden Kopien wiederhergestellt sind. Eine kurze, bewusste IO-Pause in Kauf zu nehmen (das Verhalten von min_size 2) ist für alles, was echte Daten enthält, fast immer der bessere Kompromiss gegenüber einem stillen, endgültigen Verlust neuer Daten.

size 2: kein Schutz vor einem Doppelfehler

size 2 halbiert die für dieselbe nutzbare Kapazität benötigte Roh-Kapazität gegenüber size 3, was size 2 bei einem kleinen oder budgetknappen Cluster attraktiv macht. Der Preis ist, dass size 2 keinerlei Doppelfehler übersteht: Mit dem empfohlenen min_size 2 blockiert bereits jeder einzelne OSD-Ausfall die IO auf den betroffenen Placement Groups, weil nur noch eine Kopie übrig bleibt — eine weniger, als für Schreibzugriffe nötig ist. Der Planer markiert size 2 aus diesem Grund als warning, unabhängig davon, welches min_size dazu gewählt wird.

hosts = size: kein Self-Healing

Ein replizierter Pool benötigt bei Failure Domain host mindestens so viele Hosts wie size, weil CRUSH niemals zwei Kopien desselben Objekts auf einem Host platziert. Genau size Hosts reichen aus, um den Pool überhaupt zu platzieren, aber nicht, damit Ceph sich selbst heilen kann: Nach dem Ausfall eines Hosts bleiben die Daten verfügbar (die verbleibenden Kopien erfüllen weiterhin min_size), aber Ceph hat nirgends mehr Platz, die fehlende Kopie neu anzulegen — jeder verbleibende Host trägt bereits eine. Der Cluster bleibt degraded, mit reduzierter Redundanz, bis der ausgefallene Host repariert oder ersetzt wird — nicht, bis Ceph von sich aus handelt.

Die Schwellen nearfull, backfillfull und full

Ceph beobachtet den Rohfüllstand der OSDs gegen drei feste Schwellen, die nicht vom Planer erfunden wurden, sondern Ceph-Standardwerte sind: mon_osd_nearfull_ratio bei 0,85, mon_osd_backfillfull_ratio bei 0,90 und mon_osd_full_ratio bei 0,95 — die maßgeblichen Werte stehen in der Ceph-Konfigurationsreferenz.

SchwelleWertCeph-Konfigurationsschlüsselwas passiert
nearfull0,85mon_osd_nearfull_ratioCeph gibt eine Health-Warnung aus
backfillfull0,90mon_osd_backfillfull_ratioCeph verweigert weiteres Backfill auf die OSD
full0,95mon_osd_full_ratioCeph blockiert Schreibzugriffe vollständig

Deshalb ist die vom Planer angezeigte „geplante“ Kapazität die nutzbare Kapazität multipliziert mit 0,85 und nicht die rohe nutzbare Zahl selbst: Einen Cluster auf 100 % dessen zu füllen, was er technisch fassen kann, hieße, bereits über dem Punkt zu liegen, an dem Ceph zu warnen beginnt — ohne jeden Spielraum, um auch nur einen einzelnen Ausfall zu überstehen, ohne backfillfull auszulösen. Mit der 85-%-Grenze statt der rohen nutzbaren Zahl zu planen ist genau das, was Spielraum für die Art von Ausfall und Recovery lässt, um die es in diesem Artikel geht.

Durchgerechnete Beispiele

3 Nodes, size 3 / min_size 2 — 3 Nodes × 4 OSDs × 1,92 TB, size 3 / min_size 2: hosts = size, ein Host-Ausfall lässt die Daten verfügbar, aber Ceph kann sich nicht selbst heilen — planen Sie einen vierten Node ein.

3 Nodes, size 2 / min_size 1 — 3 Nodes × 1 OSD × 4 TB, size 2 / min_size 1: der Planer meldet für denselben Pool gleichzeitig danger (min_size 1) und warning (size 2).

Eine Kombination wählen

  • Bleiben Sie bei size 3 / min_size 2, sofern kein konkreter, verstandener Grund dagegenspricht.
  • Betreiben Sie min_size 1 nie mit Daten, auf die es ankommt — höchstens als vorübergehenden, beaufsichtigten Zustand.
  • Wenn Kapazitätsdruck size 2 verlockend macht, wägen Sie ab, dass danach schon jeder einzelne OSD-Ausfall IO blockiert, nicht erst ein Doppelfehler.
  • Planen Sie mindestens einen Host mehr, als size verlangt, damit Ceph ohne Eingreifen selbst heilen kann.
size
Anzahl der Kopien jedes Objekts, die ein replizierter Pool hält.
min_size
Mindestanzahl erreichbarer Kopien, damit Ceph Schreibzugriffe annimmt.

Im Planer öffnen