Placement Groups: Wie Ceph pg_num bestimmt

Was eine Placement Group ist

Eine Placement Group, PG, ist die Einheit, die Ceph tatsächlich über die OSDs verteilt. Jedes Objekt, das in einen Pool geschrieben wird, landet per Hash in genau einer PG, und jede PG wird anschließend von CRUSH auf eine Menge von OSDs abgebildet: size Kopien bei einem replizierten Pool, k + m Chunks bei einem Erasure-Coding-Pool. Objekte werden nie direkt auf OSDs abgebildet, und das ist Absicht: Die Platzierung von Millionen einzelner Objekte zu verfolgen wäre für CRUSH bei jeder Änderung und für jede OSD in ihrem Speicherbedarf deutlich zu teuer. Ein paar Hundert PGs pro Pool lassen sich dagegen günstig verfolgen, günstig neu ausbalancieren und bei korrekter Wahl gleichmäßig über den Cluster verteilen.

Die Wahl von pg_num — der Anzahl der PGs, mit der ein Pool angelegt wird — ist deshalb eine Abwägung und kein Regler, bei dem „mehr“ automatisch „besser“ bedeutet. Zu wenige PGs, und Daten verteilen sich nicht gleichmäßig über OSDs und Hosts: einzelne Laufwerke füllen sich spürbar schneller als andere, und eine Recovery nach einem Ausfall hat weniger unabhängige Arbeitseinheiten, über die sie sich auf die verbleibenden Laufwerke verteilen kann. Zu viele PGs, und jede OSD trägt mehr Speicher- und CPU-Overhead pro PG, das Peering nach einem Neustart dauert länger, und oberhalb einer festen Grenze verweigert Ceph das Anlegen weiterer Pools ganz. Der Planer existiert, um für den konkret eingegebenen Cluster genau die Mitte dieses Bereichs zu treffen, statt es dem Zufall zu überlassen.

Die pgcalc-Formel

ideal = targetPgsPerOsd × osdCount × (percent / 100) / width
width = size bei einem replizierten Pool, k + m bei einem Erasure-Coding-Pool.

targetPgsPerOsd ist entweder 100 oder 200, nach der Konvention von pgcalc: 100, solange der Cluster noch wachsen soll, 200, wenn er seine endgültige Größe bereits erreicht hat. Es handelt sich um eine Planungsgröße, die die planende Person wählt, nicht um einen von Ceph erzwungenen Wert. osdCount ist die Gesamtzahl aller OSDs im Cluster — der Planer geht von einem einzigen CRUSH-Root aus; separate Roots je Device-Class sind eine spätere Erweiterung und heute nicht Teil dieser Formel. percent ist der Anteil der Roh-Kapazität des Clusters, der für genau diesen Pool vorgesehen ist. Die Division durch width berücksichtigt, dass jede „logische“ PG eines Pools tatsächlich size (bzw. k + m) einzelne PG-Repliken oder -Chunks erzeugt, die alle platziert werden müssen.

Rundung auf eine Zweierpotenz und die 25-%-Regel

pg_num muss immer eine Zweierpotenz sein. Die Regel von pgcalc nimmt die Zweierpotenz, die dem rohen Wert rawPgs am nächsten liegt; liegt dieser nächstgelegene Wert mehr als 25 % unter rawPgs, wird stattdessen die nächsthöhere Zweierpotenz verwendet — so bleibt ein Pool nie spürbar unterversorgt, nur weil er auf der falschen Seite einer Rundungsgrenze gelandet ist.

roundToPgNum(), so wie implementiert — Verdopplung statt log2 verhindert, dass Fließkomma-Rundung eine exakte Zweierpotenz auf die falsche Seite kippt.
lower = größte Zweierpotenz <= rawPgs
upper = 2 * lower
candidate = (rawPgs - lower <= upper - rawPgs) ? lower : upper
if (candidate < rawPgs * 0.75) candidate = upper
pgNum = candidate
Ausgewählte Zeilen der pgcalc-Rundungstabelle; die vollständige Herleitung inklusive Tie-Breaking steht auf der Methodik-Seite.
rawnächste ZweierpotenzAbstand zu raw25-%-Regelpg_num
400512512 liegt näher als 256nicht nötig512
700512700 → 512 liegt 26,9 % darunterausgelöst → 10241024
320256320 → 256 liegt 20,0 % darunternicht ausgelöst (≤ 25 %)256
606464 liegt näher als 32nicht nötig64
201620 → 16 liegt 20,0 % darunternicht ausgelöst (≤ 25 %)16

Dass 700 auf 1024 und 400 auf 512 aufgerundet werden, sind die beiden Beispiele, die der Implementierungsplan ausdrücklich nennt, und beide folgen genau dieser Regel: 700 liegt in absoluten Zahlen näher an 512 als an 1024, aber 512 unterschreitet 700 um mehr als ein Viertel, sodass die Regel den Wert trotzdem auf 1024 anhebt. 400 brauchte gar keine Korrektur — 512 war bereits die näherliegende Zweierpotenz.

PGs pro OSD: die Schwellen 200 und 250

Jede vom Planer empfohlene pg_num fließt auch in eine Cluster-weite Kennzahl ein, PGs pro OSD, berechnet je Pool als pgNum × width / osdCount und aufsummiert über alle Pools — bei einem Erasure-Coding-Pool inklusive des kleinen replizierten Metadaten-Pools, den Proxmox daneben anlegt (siehe Erasure Coding auf Proxmox VE). Oberhalb von 200 PGs pro OSD warnt der Planer, dass Speicher- und CPU-Overhead auf jeder OSD im Cluster spürbar wird. Oberhalb von 250 — Cephs eigenes mon_max_pg_per_osd — verweigert Ceph das Anlegen weiterer Pools ohne explizites Override; der Planer markiert dies mit Schweregrad danger. Unterhalb von 50 PGs pro OSD meldet der Planer das umgekehrte Problem: zu wenig Parallelität und eine ungleichmäßige Verteilung der Daten.

Der Autoscaler und target_size_ratio

Neben der statischen pg_num zeigt der Planer immer auch die Autoscaler-Alternative: pg_autoscale_mode on für den Pool zusammen mit target_size_ratio = percent / 100. Cephs PG-Autoscaler passt pg_num danach selbstständig an, mit dem Ziel von rund 100 PGs pro OSD (mon_target_pg_per_osd), und balanciert automatisch neu, sobald Daten wachsen oder OSDs hinzukommen. Die statische Zahl aus diesem Artikel ist am besten als bewusster, sinnvoller Startwert zu verstehen — nicht als Zahl, die auf Dauer verteidigt werden muss, sobald der Autoscaler aktiv ist.

Proxmox-Standardwerte

Ein Pool, der direkt über die Proxmox-Weboberfläche oder mit pveceph pool create ohne explizites --pg_num angelegt wird, startet mit 128 PGs und dem Autoscaler im Modus warn — nicht on. Im Modus warn weist Proxmox lediglich darauf hin, dass eine Größenänderung sinnvoll wäre, ändert die Pool-Größe aber nicht automatisch, bis der Modus umgeschaltet wird. Für alles über einen ersten Testpool hinaus lohnt sich die zusätzliche Minute, pg_num anhand der obigen Formel zu bestimmen und bewusst zu entscheiden, ob zusätzlich der Autoscaler aktiviert wird.

Durchgerechnete Beispiele

Homelab: 3 Nodes, ein Pool — 3 Nodes × 4 OSDs × 1,92 TB, Ziel 100 PGs/OSD, ein Pool mit 100 %: der rohe pgcalc-Wert 400 wird auf 512 gerundet, was 128 PGs pro OSD ergibt.

KMU: 3 Nodes, zwei Pools — 3 Nodes × 4 OSDs × 3,84 TB SSD, Ziel 100 PGs/OSD, vmstore mit 80 % und cephfs-data mit 20 %: pgcalc rundet die beiden rohen Werte, 320 und 80, auf 256 bzw. 64 PGs — ein Hinweis darauf, dass PGs pro OSD über alle Pools summiert wird, nicht je Pool betrachtet.

Archiv: 7 Nodes, Erasure Coding 4+2 — 7 Nodes × 6 OSDs × 8 TB, ein Erasure-Coding-Pool mit 100 %: der rohe pgcalc-Wert 700 wird auf 1024 gerundet (die 25-%-Regel greift), zusammen mit dem Metadaten-Pool ergeben sich rund 146 PGs pro OSD.

Häufig verwechselte Punkte

  • Ein Pool erhält nie weniger als eine PG-Beteiligung pro OSD, selbst bei sehr kleinem percent — das regelt die Minimum-Regel oben, nicht die Rundungsregel.
  • pg_num wird beim Anlegen des Pools einmalig gesetzt (oder explizit geändert); der Autoscaler ändert die Zahl später, aber nur wenn er auf on steht.
  • PGs pro OSD ist eine Cluster-weite, über alle Pools aufsummierte Kennzahl, keine Pool-Kennzahl — ein Cluster mit mehreren Pools kann 200 überschreiten, obwohl jeder einzelne Pool für sich moderat wirkt.
PG
Eine Gruppe von Objekten, die Ceph als Einheit platziert und verschiebt; die Eingabe für die CRUSH-Platzierung.
pg_num
Die Anzahl der PGs, mit der ein Pool angelegt wird; in diesem Planer immer eine Zweierpotenz.
  1. Den rohen pgcalc-Wert für jeden Pool abschätzen.
  2. Jeden Wert mit der 25-%-Regel auf eine Zweierpotenz runden.
  3. Den Beitrag jedes Pools zu PGs pro OSD summieren und gegen 50/200/250 prüfen.

Im Planer öffnen