Erasure Coding auf Proxmox VE
k und m
Ein Erasure-Coding-Pool teilt jedes Objekt in k Daten-Chunks und berechnet daraus zusätzlich m Coding-Chunks, sodass beliebige k der insgesamt k + m Chunks ausreichen, um das ursprüngliche Objekt wiederherzustellen. m entspricht damit im Kern der Anzahl gleichzeitiger Chunk-Verluste, die der Pool verkraftet, bevor Daten tatsächlich verloren sind — konzeptionell ähnlich dem, was size - 1 bei einem replizierten Pool bedeutet, aber anders berechnet und vor allem zu einem deutlich besseren Verhältnis von Roh- zu Nutzkapazität.
Effizienz = k / (k + m)
Ein 4+2-Pool (k = 4, m = 2) hat eine Effizienz von 4 / 6 ≈ 0,667 — zwei Drittel der Roh-Kapazität sind nutzbar —, während er zwei gleichzeitige Chunk-Verluste verkraftet. Ein replizierter Pool bräuchte bereits size 3, um auch nur den vollständigen Ausfall eines Hosts bei weiterhin verfügbaren Daten zu überstehen, bei einer Effizienz von nur 1 / 3 ≈ 0,333. Genau dieser Effizienzunterschied bei vergleichbarem oder besserem Schutzniveau ist der gesamte Grund, warum es Erasure Coding gibt.
min_size bei einem Erasure-Coding-Pool
Proxmox leitet min_size bei einem Erasure-Coding-Pool ab, statt es direkt abzufragen: k + 1, wenn m > 1, oder genau k, wenn m = 1.
Failure Domain host: wie viele Hosts wirklich nötig sind
Bei Failure Domain host platziert CRUSH höchstens einen Chunk eines gegebenen Objekts pro Host — genau wie bei den Kopien eines replizierten Pools. Ein Erasure-Coding-Pool mit Breite k + m benötigt deshalb mindestens k + m Hosts, um überhaupt platzierbar zu sein — weniger, und Ceph kann die Chunks nicht verteilen, was der Planer als error meldet, nicht als warning, weil sich das Layout tatsächlich nicht anlegen lässt.
| Hosts | platzierbar? | Self-Healing nach Ausfall eines Hosts? |
|---|---|---|
| weniger als k + m | nein — error | n. v. |
| genau k + m | ja | keine Reserve-Failure-Domain zum Wiederaufbau |
| k + m + 1 | ja | ja — genau eine Reserve-Failure-Domain |
| mehr als k + m + 1 | ja | ja, mit mehr als einer Reserve |
Genau k + m Hosts reichen aus, um den Pool zu platzieren, und die Daten bleiben nach dem Ausfall eines Hosts verfügbar, solange die verbleibende Chunk-Zahl weiterhin min_size erfüllt. Was k + m Hosts allein nicht bieten, ist Self-Healing: Da bereits jeder Host einen Chunk trägt, hat Ceph nirgends Platz, den fehlenden neu anzulegen, sodass der Cluster degraded bleibt, bis der ausgefallene Host zurückkehrt. Die Empfehlung, die genau der Logik im Artikel size vs. min_size für replizierte Pools entspricht, lautet hosts ≥ k + m + 1: Der eine zusätzliche Host ist genau das, was aus „noch lesbar“ ein „Ceph repariert es von selbst“ macht.
Der Metadaten-Pool, den Proxmox zusätzlich anlegt
RBD-Images können ihre Metadaten (die Blockzuordnungstabelle und ähnliche Buchhaltung, technisch omap-Daten) grundsätzlich nicht auf einem Erasure-Coding-Pool halten — Object Maps benötigen die teilweisen Überschreibungen, die Replikation unterstützt und EC nicht. Deshalb legt pveceph pool create NAME --erasure-coding k=K,m=M in einem Schritt zwei Pools an: den Erasure-Coding-Datenpool selbst und einen kleinen, separat benannten, replizierten Metadaten-Pool mit dem üblichen Proxmox-Standard size 3 / min_size 2 daneben. Der Planer zeigt beide Pools im Ergebnis — der Metadaten-Pool ist in echten Clustern tatsächlich winzig, weshalb der Planer seinen Anteil als bewusst großzügigen Platzhalter modelliert, statt den realen Wert exakt zu berechnen.
Wofür sich Erasure Coding eignet
Das Folgende ist gängige Praxis im Ceph-Betrieb, keine irgendwo erzwungene feste Regel: Erasure Coding funktioniert auf Proxmox technisch auch für VM-Disks (rbd) genauso wie für alles andere, kostet aber spürbar mehr Schreibverstärkung und CPU pro Schreibzugriff als Replikation, weil jeder Schreibzugriff die Coding-Chunks neu berechnen muss, statt einfach Bytes zu duplizieren. Die übliche Empfehlung lautet, Erasure Coding für vergleichsweise schreibarme, leselastige oder überwiegend anfügende Workloads zu reservieren — Backup-Ziele, Archive und CephFS-Datenpools sind der klassische Anwendungsfall — und latenzempfindlichen, schreibintensiven VM-Speicher stattdessen auf einem replizierten Pool zu belassen. Der Planer zeigt diesen Hinweis informativ an, sobald ein Erasure-Coding-Pool auf Anwendung rbd gesetzt ist, eben weil es sich um eine Abwägung handelt, die eine bewusste Entscheidung verdient, keinen Standard, in den man einfach hineinrutscht.
Durchgerechnete Beispiele
7 Nodes, EC 4+2 — 7 × 6 × 8 TB HDD-Nodes, ein CephFS-Pool mit EC 4+2: 7 Hosts entsprechen genau k + m + 1, der Planer meldet also eine Reserve-Failure-Domain für Self-Healing; min_size ist 5 (k + 1, da m = 2 > 1).
Dasselbe Layout mit nur 5 statt 7 Hosts — alles andere unverändert — ist das kanonische Beispiel des Planers für „nicht platzierbar“: Bei k + m = 6 und nur 5 Hosts hat CRUSH keinen Platz für den sechsten Chunk, sodass der Planer einen error meldet und keine Befehle generiert, obwohl Roh- und Nutzkapazität weiterhin berechnet und angezeigt werden.
k, m und Failure Domain wählen
- Die Effizienz steigt, je größer
kim Verhältnis zumist — ebenso aber die CPU-Kosten jeder Recovery und jedes degraded Lesezugriffs. - Bevorzugen Sie
m ≥ 2, außer der Pool kann ein beaufsichtigtes Fenster ohne Reserve während der Recovery verkraften. - Dimensionieren Sie den Cluster auf
hosts ≥ k + m + 1, nicht nurk + m, wenn Self-Healing ohne Eingreifen wichtig ist. - Reservieren Sie EC für Backup-, Archiv- und CephFS-Daten; belassen Sie VM-Disks auf Replikation, sofern kein konkreter, gemessener Grund dagegenspricht.
- k und m für den zu verkraftenden gleichzeitigen Verlust und die gewünschte Effizienz wählen.
- Hosts gegen k + m (platzierbar) und k + m + 1 (Self-Healing) prüfen.
- Automatisch einen kleinen replizierten Metadaten-Pool neben dem EC-Pool einplanen.
- k
- Anzahl der Daten-Chunks, in die ein Erasure-Coding-Objekt aufgeteilt wird.
- m
- Anzahl der zusätzlich zu den Daten-Chunks berechneten Coding-Chunks.