Im Rahmen meiner Trainer-Tätigkeit kommen in den Kursen immer wieder Fragestellungen zu Themen die im Kurs nur am Rande oder gar nicht abgehandelt werden. Diese Artikelserie gibt angehenden IT-Experten Hilfsmittel für den täglichen Gebrauch an die Hand.
Intro – Was sind Diskgruppen?
VMware vSAN OSA (original storage architecture) organisiert den vSAN-Datenspeicher in Diskgruppen (DG). Jeder vSAN-Knoten kann bis zu 5 Diskgruppen enthalten. Jede dieser Diskgruppen besteht aus genau einem Cache-Device (SSD) und mindestens einem bis maximal 7 Capacity-Devices pro Gruppe. Diese dürfen entweder magnetische Disks oder SSD sein, jedoch keine Mischung aus beiden. Wir unterscheiden in Cache-Tier und Capacity-Tier.
Die Verwaltung der Diskgruppen kann anschaulich über das graphische Userinterface GUI erfolgen. Es gibt jedoch Situationen in den das Diskgruppen Managemenent auf der CLI notwendig oder zweckmäßiger ist.
UUID
Jedes Disk Device eines vSAN Clusters (OSA) hat eine eindeutige und einzigartige Kennung (universal unique identifier, UUID).
Wir können alle Devices eines vSAN Knotens auf der CLI auflisten mit dem Kommando:
esxcli vsan storage list
Die Menge an Information ist möglicherweise etwas zu viel des Guten und wir möchten nur die Zeilen mit UUID anzeigen lassen.
esxcli vsan storage list | grep UUID
Wir erhalten eine Liste aller Disk-Devices im vSAN-Knoten. Zusätzlich erhalten wir auch die UUID der Diskgruppe, welcher das Device zugeordnet ist.
Schaut man sich die Ausgabe etwas genauer an, so fällt auf dass es einige Devices gibt, deren UUID identisch mit der UUID der Diskgroup ist. Ist dies ein Widerspruch zur Aussage, die UUID sei einzigartig? Nein. Es handelt sich hier um Cache-Devices. Jede Diskgruppe in vSAN OSA besteht aus genau einem Cache Device. Die Diskgruppe übernimmt hierbei die UUID ihres Cache-Devices. Wir können also auf diese Art schnell ein Cache Device von einem Capacity Device unterscheiden.
Diskgruppe entfernen
Eine Diskgruppe kann den Verlust eines Capacity Devices verkraften. Fehlende Informationen werden dann von Diskgruppen anderer Hosts rekonstruiert. Der Verlust eines Cache Devices hingegen ist gleichbedeutend mit dem Verlust der gesamten Diskgruppe. Das bedeutet: entfernen wir das Cache-Device einer Diskgruppe, so zerstören wir die Diskgruppe.
Achtung! Vor Ausführung des nächsten Befehls solltet Ihr Euch daher absolut sicher sein, dass diese Diskgruppe entfernt werden kann oder soll.
esxcli vsan storage remove -u VSAN-Disk-Group-UUID
VSAN-Disk-Group-UUID ist hier mit der entsprechenden UUID zu ersetzen.
Diskgruppe neu aufbauen
Wir können eine Diskgruppe auf der esxcli neu aufbauen. Voraussetzung ist, dass die gewählten Devices (1 Cache und 1-7 Capacity) keiner anderen DG zugeteilt sind. Sie müssen im Zustand ‘unclaimed‘ sein.
esxcli vsan storage add -s naa.xxxx -d naa.xxxx -d naa.xxxx -d naa.xxxx
Hier offenbart sich die Geschichte aus der vSAN einst entsprang. Man verwendete SSD als Cache-Device und magnetische Disks als Capacity-Tier. Heute werden fast ausschließlich sogenannte All-Flash Konfigurationen verwendet. Es wird aber immer noch der Parameter -s bzw. –ssd (SSD) für das Cache Device und -d bzw. –disk (Disk) für das Capacity Device verwendet. Auch wenn es sich durchgehend um Flash Devices handeln sollte. Es empfiehlt sich, diesen Befehl in einem Texteditor zu entwickeln, da die Namen der einzelnen Devices sehr lang und kryptisch sein können. Im Falle von NVMe-Devices beginnt der Name nicht mit ‘naa.’, sondern mit dem Prefix ‘t10.’ Beispielsweise:
t10.NVMe____INTEL_SSDPE2KX080T8_____________________ABCD1234EFGHIJKLM56789__00000001
Vor allem die Underscores sind bei manueller Eingabe ein Minenfeld!
Mit wenigen Zeilen CLI Code läßt sich die gesamte Diskgruppen Konfiguration eines Hosts in wenigen Sekunden bewerkstelligen.
Troubleshooting
Tag as Flash
Gelegentlich scheitert der Befehl zum Neubau der Diskgruppe.
t10.NVMe____INTEL_SSDPE2KX080T8_____________________PHLJ015501AW8P0HGN__00000001 is an SSD and can not be used as a vSAN HDD
Wer sich nun über diese Meldung wundert, da ja schließlich in einem All-Flash-Cluster alle Devices SSD sind, der muss wieder einen Blick zurück in die Urzeit von vSAN werfen. SSD wurden damals nur für caching eingesetzt. Wir müssen daher unsere Devices mit einem Tag beschriften, der sie als Cache- bzw. Capacity-Device auszeichnet.
Mark as Capacity
esxcli vsan storage tag add -d [Device-Identifier] -t capacityFlash
Das Kommando am Beispiel einer realen NVMe Disk (Capacity):
esxcli vsan storage tag add -disk t10.NVMe____INTEL_SSDPE2KX080T8_____________________BTLJ90810H918P0HGN__00000001 -t capacityFlash
Mark as Cache
esxcli vsan storage tag add -s [Device-Identifier]
Mit korrektem Tag auf allen Devices lässt sich die Diskgruppe neu erstellen.