ESXi iSCSI Troubleshooting

Für jemanden, der hauptsächlich im FibreChannel Protokoll zu Hause ist, dem bereitet iSCSI immer wieder Spaß und Kurzweil. So geschehen in der vergangenen Woche, als wir ein verzwicktes Phänomen bei der Einbindung eines iSCSI Targets hatten. Auch wenn es eine gute Fingerübung für Troubleshooting war, so brachte es einige graue Zellen zum Rauchen.

Das Szenario

  • Zwei ESXi 5.5 Server mit je 2x1Gbit LAN Adapter für iSCSI
  • je 2 Kernelports in unterschiedlichen Subnetzen (10.0.0.x und 10.0.1.x) unabhängig von Management Network und VM-Network (192.168.1.x)
  • keine Jumboframes (MTU 1500)
  • zwei LAN Switches für Redundanz
  • 2 Datacore Server mit SANsymphony-V 10 und je 2 x 1Gbit für iSCSI Frontend Ports [FE]
Host iSCSI1 iSCSI2
ESX4 10.0.0.14 (vmk4) 10.0.1.14 (vmk5)
ESX5 10.0.0.15 (vmk4) 10.0.1.15 (vmk5)
SDS1 10.0.0.31 10.0.1.31
SDS2 10.0.0.32 10.0.1.32

 

DatacoreiSCSI2

Das Phänomen

Bei der Konfiguration des Software iSCSI Adapters kam jeweils nur für einen Kernelport eine iSCSI Verbindung zustande. Das Verhalten war auf beiden ESXi Servern gleich. Weiterlesen

Windows Updates automatisch deinstallieren

Erst kürzlich hatte Microsoft große Probleme mit einigen Patches des August Patch-Days. Es kam dabei zu Problemen mit den folgenden Sicherheitsupdates:

  • KB2982791
  • KB2970228
  • KB2975719
  • KB2975331

Insbesondere ersteres sogte auf einigen Systemen für den gefürchteten Bluescreen of death (BSOD). Die Patches wurden von Microsoft kurz danach zurückgerufen. Glück für jene, die mit Sicherheitspatches immer ein wenig warten. Andererseits sollten kritische Sicherheitslücken immer sehr zeitnah gestopft werden. Und genau dies tun zum Beispiel WSUS Server. Hier kann man einstellen, daß kritische Sicherheitspatches automatisch für die Installation genehmigt werden, was dazu führt dass eine große Anzahl Systeme mit den problematischen Updates versorgt wurde. Weiterlesen

Reset root password CentOS Appliance

Dies ist wieder einmal ein sehr gutes Beispiel, warum man den Zugang zu Server Konsolen unbedingt schützen muss. Das betrifft natürlich nicht nur Virtuelle Server, jedoch ist hier der Missbrauch besonders einfach, da die Konsolen über LAN erreichbar und nicht mit einer Tür verschlossen sind.

Kennt hier jemand root?

Eine etwas ältere PanoLogic Appliance (Zero-Client Manager) eines Kunden sollte aktualisiert werden. Die Firma gibt es inzwischen nicht mehr und das Produkt wird weder vertrieben noch unterstützt. Dennoch wird es noch oft produktiv eingesetzt. Für die Arbeiten an der Appliance benötige ich den root Login. Leider konnte sich niemand an den root Login erinnern, oder wer diesen gesetzt haben könnte. Der Default Login “password” wurde verändert. Eine Kollektion weiterer möglicher Passworte wurde durchprobiert – jedoch ohne Erfolg. Folglich musste ein Weg gefunden werden, das Kennwort neu zu vergeben. Die Panomanager Appliance basiert auf einem CentOS 2.6.18. Das Verfahren ist geradzu erschreckend simpel.

Einfach zu einfach

Wer erstmal Zugang zur Konsole hat, dem stehen alle Türen offen. Weiterlesen

DataCore SANsymphony-V 10 – possible data corruption

DataCore meldet ein mögliches Treiber-Problem mit dem erst kürzlich veröffentlichten SANsymphony-V 10. Ein entsprechender Customer Alert würde heute versendet:

Potential for Data Corruption – Hotfix Available
In SANsymphony-V 10.0.0.0 we changed the way we work in order to support VMware Thin Provisioning Thresholds. In doing so, we have seen that there is now the potential for a timing issue to take place that can cause data corruption. In order to protect against the possibility of corrupting data, we have redesigned and tested a new driver. The revised driver will be included in SANsymphony-V 10.0 Update1, which we are hopeful will be released in early September, and we suggest holding back any upgrades to SSV10 until that update is available. If you already have customers running SSV 10.0 there is a Hotfix we can provide to protect against this until Update1 is released. Please open an incident and contact support requesting this hotfix for those customers, and when Update1 is released please upgrade as soon as possible after its release.

Es wird nicht genau erklärt, welcher Treiber problematisch ist und unter welchen Umständen. Die Haupaussage ist jedoch, man solle mit der Migration auf SSY10 abwarten bis das Update 1 veröffentlicht wurde. Interne Quellen hatten dies für Oktober 2014 angekündigt, möglicherweise wurde es jetzt aufgrund der Wichtigkeit auf September vorgezogen.

Ich konnte bis jetzt in der Testumgebung mit VMware und SSY10 keine negativen Auswirkungen sehen, obwohl diese unter Last arbeitet. Dennoch hat sich die Zurückhaltung bei der Migration von produktiven DataCore Umgebungen auf neue Hauptversionen wieder einmal bestätigt. Im Labor immer die neuste Version – beim Kunden das erste Update abwarten. ;-)

Datacore SANsymphony-V 10: Purge Disk und gezielte Wiederherstellung

Eine der neuen Funktionen von SANsymphony-V 10 ist die gezielte Wiederherstellung (targeted recovery) von Storage-Allocation-Units (SAU) einer defekten Disk. Mit Hilfe des neuen Purge-Wizards können gezielt die fehlenden SAUs vom Spiegelserver kopiert werden, ohne ein Full Recovery des gesamten Storage Pools zu fahren.

Ich werde hier kurz demonstrieren wie dies in der Praxis abläuft.

Das Szenario

  • 2 Datacore Server mit lokalen Disks
  • 1 SSD mit 256 GB (Tier 1)
  • 2 SAS mit je 146 GB (Tier 2)
  • 2 SATA mit je 1 TB (Tier 3)
  • Auto Tiering mit 10 % reserved space pro Tier
  • 1 vDisk (mirrored), präsentiert an 2 ESX Server

vorher

Die Top Tiers sind zu 90% gefüllt (10% reserviert).

SSY10_smartRec01Action !

Die Platte SAS_2 wird per Hot-Unplug ;-) hart entfernt. Augenblicklich geht der Diskpool in den Fehlermodus. Die Physical Disk wird mit einem Fehlersymbol markiert.

SSY10_smartRec02Sobald eine Disk als ausgefallen gemeldet ist, kann der Purge Assistent im Kontextmenü aktiviert werden. Unter normalen Umständen ist dieser nicht wählbar. Es folgt eine Vorprüfung der Voraussetzungen zum Purge. In der Regel kann der Assistent mit ‘Next’ fortgesetzt werden.

Nach Abschluss des Purge Assistenten wird die fehlende (defekte) Disk nicht mehr angezeigt und die verbleibenden Disks im Pool erscheinen wieder. Der Kopiervorgang beginnt.

SSY10_smartRec03 Man erkennt im folgenden Bild deutlich, dass die wiederhergestellten SAUs zunächst auf den reservierten Bereichen der Top Tiers abgelegt werden – beginnend mit Tier 1, dann Tier 2 usw.

Ein Grund mehr für die neue Tier Reservierung. Denn würde man SAUs zunächst auf einem niederen Tier ablegen, könnte dies den Recovery Vorgang unnötig bremsen.

Wieder aktiv

SSY10_smartRec04Der Vorgang ist abgeschlossen. Alle Reservierungen sind ausgeschöpft, so dass die restlichen SAUs nun auf SATA (Tier3) abgelegt wurden.

SSY10_smartRec05In der Folge werden die Reservierungen wieder befreit, so dass noch mehr kalte SAUs auf den SATA Speicher wandern (nicht dargestellt). Der Diskpool ist wieder zu 100% funktionsfähig. Dazu mussten nur 136 GB vom Spieglserver geladen werden. Über die 1 Gbit Mirrorleitung der Demo-Umgebung war dies in weniger als einer halben Stunde erledigt.

Willkommen zurück

Die zuvor entfernte Disk SAS_2 wurde dem System wieder zurückgegeben. Da die darauf ligenden Daten inzwischen wertlos sind, muss das Volume im Datenträger-Manager gelöscht werden. Datacore erhält somit eine “neue” leere Disk. Im Bild unten befindet sie sich im Status Reclaimation. Man erkennt auch, dass inzwischen ein Teil der Reservierung auf der SSD befreit wurde.

SSY10_smartRec06Am Ende der Prozedur sind wieder alle Reservierungen frei und SAUs wurden von Tier 3 (SATA) auf den freien Raum auf Tier 2 (SAS_2) verschoben.

SSY10_smartRec07Die Verteilung ist sehr Ähnlich zur Anfangssituation vor dem provozierten Plattencrash.

 

Probleme mit Authentifizierung in ADS Domänen mit gemischten DC aus Server 2003 und Server 2012 R2

Eine meiner bevorzugten Lektüren an einem Montagmorgen ist der Newsletter von Gostev (Veeam). Darin war heute ein sehr interessanter Link zum Microsoft Active Directory Team mit dem Titel:
It turns out that weird things can happen when you mix Windows Server 2003 and Windows Server 2012 R2 domain controllers
Dabei kann es zu seltsamen Effekten in Bezug auf Kerberos kommen.

Event ID: 4
Source: Kerberos
Type: Error
“The Kerberos client received a KRB_AP_ERR_MODIFIED error from the server host/myserver.domain.com.  This indicates that the password used to encrypt the Kerberos service ticket is different than that on the target server. Commonly, this is due to identically named machine accounts in the target realm (domain.com), and the client realm.   Please contact your system administrator.”

Das Problem sind unterschiedliche Salt Verfahren zwischen Server 2012 R2 (AES) und Server 2003 (DES).

An einem Hotfix wird gearbeitet, jedoch ist dieser Stand heute noch nicht verfügbar. Der Artikel beschreibt jedoch ein Verfahren zur Umgehung des Probleme.

VMs mit spezifischem NIC suchen

In größeren VMware Umgebungen kann die Suche nach bestimmten VM-Eigenschaften sehr mühsam werden. Natürlich kann man in die Einstellungen jeder VM gehen und nachsehen, aber das ist zeitaufwendig und stupide. Hier ist – wie so oft – PowerCLI der Freund und Helfer.

Zunächst stellt man eine Verbindung mit vCenter oder einem bestimmten ESX Host her.

Connect-VIserver <Servername>

Welche VMs haben einen e1000 Netzwerk Adapter?

Get-vm | ?{Get-networkadapter $_ | where-object {$_.type -like "e1000" }}

 

Welche VMs haben einen VMXNET Netzwerk Adapter ?

Analog funktioniert die Abfrage nach einem VMXNET Adapter. Im Resultat werden VMs mit VMXNET2 und VMXNET3 Adapter gelistet.

Get-vm | ?{Get-networkadapter $_ | where-object {$_.type -like "VMX*" }}

 

 

Datacore SANsymphony-V 10 Neuheiten im Detail

Kurz nach dem Erscheinungdatum berichtete ich im Artikel Datacore SANsymphony-V 10 Release über die neuen Features von Datacore SANsymphony-V Version 10. Dabei handelte es sich jedoch nur um die Wiedergabe der Release-Notes. Ich möchte nun näher auf die neuen Funktionen eingehen und diese etwas näher beleuchten.

  • Virtual SAN
  • Smart Deployment
  • Auto Optimierung
  • Leistungsanalyse
  • High Performance Networking

Weiterlesen

Windows AHCI Treiber nachträglich installieren

Mit einer Solid-State Disk als Startpartition können Windows Bootvorgänge signifikant beschleunigt werden. Erwirbt man die PC Hardware bereits mit SSD, so ist dort das Betriebsystem vorinstalliert. Die Nachrüstung eines bestehenden Systems mit SSD und die Installation als Bootdisk gestaltet sich dabei gelegentlich schwieriger, denn das Installationsmedium für Windows kann zu diesem Zeitpunkt die SSD im SATA AHCI (Advanced Host Controller Interface) Modus nicht ansprechen. Dies gelingt nur im IDE Kompatibilitäts Modus. Dieser verbirgt sich je nach Hersteller unter verschieden Namen im BIOS:

  • Legacy
  • AHCI disabled
  • Compatibility Mode
  • native IDE

Weiterlesen

Veeam Setup mit bestehender Datenbank

Gelegentlich ist es notwendig, die Anwendung Veeam Backup & Replication auf ein anderes System oder eine andere Partition zu migrieren. Die einfachste Methode ist folgende:

  • Veeam Konfiguration sichern (Achtung! Login Konten werden gesichert, jedoch nicht die Passworte)
  • Patchlevel notieren
  • Veeam Dienste anhalten
  • Veeam deinstallieren
  • Veeam Datenbank löschen. Der Name ist bei Standard Installationen VeeamBackup.
  • Veeam Backup & Replication an neuem Ort installieren.
  • Software patchen bis zum Patchlevel der Sicherung
  • Veeam Konfiguration wiederherstellen
  • Kennworte nachpflegen, da diese nicht in der Sicherung enthalten sind

Diese Methode ist einfach und funktioniert sehr zuverlässig. Die Sicherung enthält alle Angaben zu Backupjobs, Historie, Infrastruktur, etc.

Datenbank erhalten

Sollte es aus irgendwelchen Gründen notwendig sein, die bestehende Datenbank zu erhalten, so muss man einige Hürden umgehen. Der Ablauf ist zunächst gleich wie oben geschildert:

  • Veeam Konfiguration sichern. Wichtig auch bei dieser Methode, denn wenn etwas schief geht (remember Murphy) braucht man einen Plan B.
  • Patchlevel notieren
  • Veeam Dienste anhalten
  • Veeam deinstallieren
  • Veeam an neuem Ort installieren

Hier wählt man die bereits existierende Instanz des SQL Servers aus. Im Beispiel unten war der Hostname = Veeam und ebenso der Instanzname.

VeeamDBVers01

Ganz so einfach ist es dann doch nicht. ;-) Die Installation erfolgt mit der ungepatchten Version, während die bestehende Datenbank bereits einige Patchzyklen hinter sich hat.

VeeamDBVers02Hierfür gibt es einen Lösungsvorschlag in der Veeam KB. Mit dem SQL Management Studio verbindet man sich auf die Instanz der bestehenden Veeam Datenbank und ermittelt die aktuelle Version.

Select current_version from [VeeamBackup].[dbo].[Version]

Im Beispiel war das Ergebnis der Abfrage 1205 (Veeam 7.0.0.871 Patch 4). Bevor man mit der Neuistallation beginnen kann, muss zunächst in der Datenbank die Versionsnummer heruntergesetzt werden. Diese Nummer ist Abhängig von der zu installierenden Basisversion. Für Veeam Backup 7.0.0.690 ist dies 1179.

Use VeeamBackup
UPDATE [Version] SET current_version = 1179

Danach lässt sich das Setup durchführen. Anschliessend muss die Applikation wieder auf den ursprünglichen Patchlevel gehoben werden.

Der einfachere Weg

Diese zuvor beschriebene Methode ist nicht so reibungslos, wie sie hier erscheinen mag. Mich kostete dies mehrere Anläufe, wesewegen ich die Methode mit dem Import der Konfiguration bevorzuge. Dabei bleibt die Datenbank Instanz erhalten. Man muss jedoch die bestehende Veeam Datenbank löschen, da es ansonsten zu Störungen beim Import kommen kann. Der Ablaufplan ist am Anfang dieses Artikels geschildert.

 

 

Links

Veeam Support – Installation Fails with Patched Database