VMware vSphere 7.0U2 verliert Zugriff auf SD-Karten

Beim Betrieb von vSphere 7 Update 2 auf einer SD-Karte kann es unter Umständen dazu kommen, dass das Betriebssystem den Zugriff auf selbige verliert und der ESXi-Host einfach einfriert.

Problem

Hierbei stehen durch den Verlust des Zugriffs auf die SD-Karte die Systempartitionen nicht mehr zur Verfügung. Dadurch wird es unmöglich, die VMs zu verwalten. Laufende VMs sind zwar weiterhin funktional, können aber nicht mehr herunter- und hochgefahren oder auf einen anderen Host migriert werden.

Die CPU-Last des ESXi-Hosts steigt kontinuierlich an, so dass schlussendlich die Leistung und nach einiger Zeit auch die Funktionalität der VMs betroffen ist. Eine Evakuierung (z.B. durch den Wartungsmodus) ist nicht möglich, es bleibt lediglich ein harter Reset als letzte Option. Ist in der Umgebung ein vCenter mit aktivem HA vorhanden, werden die VMs anschließend auf einem anderen Host neu gestartet.

Workaround

Aktuell gibt es nur einen temporären Workaround. Dieser setzt Kenntnisse und Zugriff auf die Konsole des ESXi-Hosts voraus:

Das Ausführen von

esxcfg-rescan -d vmhba32

führt dazu, dass tote Pfade zur SD-Karte verworfen werden und das Gerät erneut gescannt wird. Der Befehl muss unter Umständen mehrfach in einem Abstand von mehreren Minuten ausgeführt werden, solange bis keine Fehler mehr auftreten.

Nach einem anschließenden Neustart der Management Agents können die VMs vom Host evakuiert werden. Ein kontrollierter Reboot des Hosts ist nun möglich.

Der Verbindungsverlust zur SD-Karte tritt nach 24 bis 48 Stunden erneut auf und das Prozedere beginnt von vorn.

Lösung

Eine Lösung mittels eines Updates oder Patches ist bisher noch nicht gegeben. VMware hat die Behebung des Problems für einen zukünftigen Patch angekündigt. Ein konkretes Release-Datum gibt es bisher nicht.

„VMware engineering has a fix that will be in the next release of 7.02 P03 which is planned for sometime in July 2021.“

VMware,

Sichere Abhilfe schafft momentan nur ein Downgrade (sofern möglich) oder die Neuinstallation des ESXi-Hosts mit vSphere 7.0U1.

Der Betrieb von vSphere 7.0U2 auf internen SSD- oder HDD-Medien ist problemlos möglich.

Update

Patch 7.02 P03 wurde zwischenzeitlich veröffentlich, konnte das Problem allerdings nicht beheben.
Die Lösung wird mit Version 7.0U3 erwartet. Eine offizielle Bestätigung seitens des Herstellers fehlt hierzu allerdings noch.

Unterstützung gewünscht?

Sie benötigen Unterstützung oder Beratung in diesem oder anderen Themen? Wir unterstützen gerne.

Weiterführende Informationen zum Thema Servervirtualisierung gibt es hier.

Quellen

Problem: https://kb.vmware.com/s/article/83963

Workaround: https://communities.vmware.com/t5/ESXi-Discussions/SD-Boot-issue-Solution-in-7-x/td-p/2852027

VMware vSphere: Kritische Sicherheitslücke im vCenter

Kürzlich gab VMware bekannt, dass es eine Sicherheitslücke in den Plugins des vCenter Servers bekanntgeworden ist (CVE-2021-21985). Betroffen hiervon sind die folgenden vCenter Versionen:

  • VMware vSphere 6.5
  • VMware vSphere 6.7
  • VMware vSphere 7.0
  • VMware Cloud Foundation Versionen 3.x und 4.x

Ohne Gegenmaßnahmen ist es Angreifern möglich, über das vSAN Health Plugin (Siehe Link) des vSphere Clients (HTML5) Schadcode in das System zu übertragen und Root-Rechte zu erlangen. Diese Sicherheitslücke betrifft auch Kunden, die kein vSAN im Einsatz haben, denn das Plugin ist standardmäßig installiert und aktiviert. Um diese Sicherheitslücke zu schließen hat VMware für die betroffenen vCenter-Versionen jeweils ein Update für den vCenter-Server bereitgestellt. In diesem wird gleichzeitig auch eine weitere Sicherheitslücke (CVE-2021-21986) geschlossen. Diese wurde seitens VMware hingegen als moderat gefährlich bezeichnet und ist im verlinkten KB-Artikel ebenfalls aufgeführt.

Response-Matrix der betroffenen Versionen

ProduktVersionCVE IdentifierCVSSv3EinstufungBehoben ab VersionWorkaroundsDokumentation
vCenter Server 7.0CVE-2021-219859.8Kritisch 7.0 U2bKB83829FAQ
vCenter Server6.7CVE-2021-219859.8Kritisch 6.7 U3nKB83829FAQ
vCenter Server6.5CVE-2021-219859.8Kritisch 6.5 U3pKB83829FAQ
VMware vCenter Response-Matrix für CVE-2021-21985
ProduktVersionCVE-IdentifierCVSSv3EinstufungBehoben ab VersionWorkaroundsDokumentation
Cloud Foundation (vCenter Server) 4.xCVE-2021-219859.8Kritisch 4.2.1KB83829FAQ
Cloud Foundation (vCenter Server) 3.xCVE-2021-219859.8Kritisch 3.10.2.1KB83829FAQ
VMware vCenter Cloud Federation Response-Matrix für CVE-2021-21985

Möglicher Workaround (nur ohne aktives vSAN möglich)

Falls es nicht möglich sein sollte, das Update kurzfristig einzuspielen, gibt es einen Workaround, der in dem VMware KB-Artikel 83829 beschrieben wird. Dieser sieht vor in den betroffenen vCenter Versionen das schadhafte Plugin in den Dateien

/etc/vmware/vsphere-ui/compatibility-matrix.xml

bzw.

C:\ProgramData\VMware\vCenterServer\cfg\vsphere-ui\compatibility-matrix.xml

über einen Editor zu deaktivieren. Dies funktioniert allerdings nur, wenn Sie kein VMware vSAN im Einsatz haben.

Sollten Sie noch Fragen zum Schließen der Sicherheitslücke haben oder Unterstützung bei der der Umsetzung benötigen, sind wir gerne behilflich. Kontaktieren Sie gerne kurzfristig unseren Servicedesk oder Ihren Account Manager.

Weiterführende Informationen

https://www.vmware.com/security/advisories/VMSA-2021-0010.html
https://kb.vmware.com/s/article/83829
https://blogs.vmware.com/vsphere/2021/05/vmsa-2021-0010.html

vSphere 7 bringt umfassende Neuerungen

VMware hat am 02.04.2020 vSphere 7 angekündigt und nun veröffentlicht, und bezeichnet es selbst als größte Innovation seit der Einführung des Hypervisors vSphere ESXi (siehe VMware-Blogpost).

vSphere 7 enthält zahlreiche Neuerungen wie den vSphere Lifecycle Manager, vCenter Server Profile, Versionierung von VM-Vorlagen und Verbesserungen von DRS und vMotion.

Kubernetes- und Containersupport

Außerdem wurde mit vSphere 7 die Kubernetes-Infrastruktur direkt in den ESXi-Kernel integriert. Die Ausführung von Containern wird nun nativ unterstützt. vSphere 7 mit Kubernetes ist als Teil der VMware Cloud Foundation erhältlich.

Abschneiden alter Zöpfe

Dem Rotstift zum Opfer gefallen sind dafür beispielsweise der Support eines externen PSC, der auf Flash basierende vSphere Web Client, sowie der Betrieb des vCenters auf einem Windows Server.

Schaffen neuer Möglichkeiten

Neue Features im Überblick

  • vSphere Lifecycle Manager ersetzt den VMware Update Manager für Upgrade und Patch Management
  • vCenter Server Update Planner für Kompatibilitäts- und Interoperabilitäts-Checks bei Upgrades des vCenter Servers
  • vCenter Server Profile um eine Baseline der aktuellen Konfiguration festzulegen oder die Konfiguration mehrerer vCenter zu vereinfachen
  • Content Library als zentrales Management von Vorlagen virtueller Maschinen, virtueller Appliances und ISO Images
  • DRS Überarbeitung hinsichtlich eines Workload-zentrierten Designs, weg vom Host-Balancing Ansatz
  • vMotion Verbesserung der Performance, besonders in Hinsicht auf Datenbanken und unternehmens-kritische Anwendungen
  • vSphere Trust Authority zur Absicherung sensibler Workloads durch Remote-Beglaubigung
  • Föderierte Identitäten mit ADFS für sichere Authentifizierung und vereinfachte Benutzerverwaltung

Editionen und Lizenzierung

vSphere 7 ist wie gewohnt in den Editionen Standard und Enterprise Plus erschienen. Erhältlich sind außerdem die bekannten Acceleration-, ROBO- und Essentials-Kits. Weggefallen sind die Platinum Editionen.
Eine unscheinbare aber wichtige Neuerung gibt es bei der Lizenzierung:

Zwar ist die Lizenz weiterhin sockelbasiert, allerdings zukünftig auf 32 Cores begrenzt. Dies bedeutet wiederum, dass mehr als eine Lizenz pro CPU benötigt wird, wenn diese über mehr als 32 Kerne verfügt. Für Klein- und Kleinstkunden dürfte diese Neuerung in der Lizenzierung wenig Auswirkungen haben, in größeren Rechenzentren verteilt sich die Lizenzierung künftig allerdings anders, sodass u.U. mehr als eine Lizenz je Sockel erworben werden muss.

Sie wünschen weitere Informationen oder Beratung in diesem oder angrenzenden Themen? Sprechen Sie uns gerne an! Wir stehen mit Rat und Tat zur Seite und unterstützen Ihr Business – Ihre Kernkompetenz – mit unserer Kernkompetenz, der IT.

Weiterführende Informationen zum Thema Servervirtualisierung gibt es hier.

VMware VCSA stellt den Dienst ein

In der Vergangenheit kam es bei einzelnen VMware-Implementierungen zu Problemen mit der VCSA. Diese stellte die Dienste ein und war nicht mehr erreichbar. Ist es nicht eine Wohltat, wenn man morgens die URL des vSphere Web Clients aufruft und mit folgender Meldung begrüßt wird?

vcsa_1

Achtung!

Bevor irgendwelche Arbeiten an der VMware vCenter Server Appliance durchgeführt werden, sollte unbedingt ein Snapshot erstellt werden.

Was ist da los?

Ein Blick auf die Shell der vCSA zeigt, dass einige Dienste nicht gestartet sind.

service-control –status

vcsa_2

Ein manuelles Starten schlägt fehl.

service-control –start –all

vcsa_3

Ein kurzer Blick in die Suchmaschine der Wahl zeigt: Die Ursache hierfür kann vielfältig sein, beispielsweise ein abgelaufenes root-Kennwort oder aber abgelaufene Zertifikate.

Die Vorgehensweisen zu diesen beiden Fehlerbehebungen werden nachfolgend skizziert:

Root-Kennwort abgelaufen?

Auch wenn das root-Kennwort abgelaufen ist, ist ein Login auf der Shell per Web Konsole oder VMRC noch möglich.

Mit chage -l root kann die Gültigkeit des Passworts geprüft werden.

vcsa_4

Ist das der Fall, ändert man das Passwort mittels passwd root

vcsa_5

Anschließend kann noch einmal die Passwortgültigkeit geprüft werden.

vcsa_6

Zertifikate abgelaufen?

Um die Gültigkeit der Zertifikate zu prüfen, lässt man sich zuerst mit /usr/lib/vmware-vmafd/bin/vecs-cli store list den Inhalt des Zertifikat Stores anzeigen.

vcsa_7

Der Inhalt eines bestimmten Zertifikates kann per /usr/lib/vmware-vmafd/bin/vecs-cli entry list –store NAME_DES_ZERTIFIKATES –text angezeigt werden.

vcsa_8

Das aktuelle Datum der vCSA kann mittels date geprüft werden.

vcsa_9

Durch zurückstellen des Datums auf einen Wert, an dem die Zertifikate noch gültig waren, lassen sich die Dienste wieder starten. Hier in diesem Fall mit date -s ‚2020-06-01 10:00:00‘

vcsa_10

Achtung!

Um eine Aktualisierung der Zeit zu verhindern, muss in der VMware vCenter Server Appliance Web-Konsole die Zeitsynchronisierung deaktiviert sein.

vcsa_11

Die Web Konsole erreicht man im Browser unter https://IP-oder-Name-der -VCSA:5480/

Anschließend lassen sich die Dienste per service-control –start –all starten. Alternativ kann auch die Appliance neu gestartet werden.

Das eingebaute Zertifikat-Manager Tool, das auf der Shell mittels /usr/lib/vmware-vmca/bin/certificate-manager aufgerufen werden kann lief auf einen Fehler beim Erneuern des MACHINE_SSL_CERT-Zertifikates und führte ein Rollback durch.

Auch im Administrationsberiech des vSphere Web Clients ließ sich in diesem Fall das MACHINE_SSL_CERT-Zertifikat nicht erneuern.

vcsa_12

In der Webkonsole des Platform Service Controllers gibt es ebenfalls einen Bereich für das Zertifikatsmanagement. Darüber ließen sich schlussendlich alle Zertifikate erneuern.

Handelt es sich um eine embedded Installation erreicht man den PSC im Browser unter https://IP-oder-Name-der-VCSA/psc

vcsa_13
vcsa_14

Die zu erneuernden Zertifikate auswählen und Erneuern anklicken.

Ein weiteres Zertifikat gibt es im Bereich der SSO Konfiguration. Das STS Signing Zertifikat lässt sich über keine der Webkonsolen erneuern, da es sich um ein internes VMware Zertifikat handelt und normalerweise nicht ausgetauscht werden soll.

vcsa_15

Da es ebenfalls abgelaufen war, muss dennoch ein neues Zertifikat generiert und dem Java key store hinzugefügt werden.

Eine sehr detaillierte Anleitung gibt es dazu in den VMware Docs:

Generieren des Zertifikats: Generate a New STS Signing Certificate on the Appliance
Einspielen des Zertifikats: Refresh the Security Token Service Certificate

Abschließend sollte die vCSA unbedingt neu gestartet werden.

Sie benötigen Unterstützung oder Beratung in solchen oder anderen Themen? Wir unterstützen Sie gerne.

Erneut möglicher SSD-Ausfall bei HPE-Systemen

Hewlett Packard hat in den letzten Tagen eine Kundenmitteilung (Document id a00097382en_us) herausgegeben, in der vor Ausfall von bestimmten SSD-Typen gewarnt wird, wenn kein Firmwareupdate eingespielt wird. Dies betrifft vier SSD-Modelle, die in Servern verbaut sind. Die betroffenen Speichermedien mit einer Firmware kleiner als HPD7 stellen demnach ihren Dienst nach exakt 40.000 Stunden ein und werden vom System nicht mehr erkannt. Eine Reaktivierung und nachträgliches Einspielen der Firmware ist dann nicht mehr möglich.

HPE weist in dem Dokument ausdrücklich darauf hin, dass das Fehlerbild zwar ähnlich zu dem Vorfall vom November letzten Jahres ist, aber dennoch kein Zusammenhang besteht. Continue reading „Erneut möglicher SSD-Ausfall bei HPE-Systemen“

Möglicher SSD-Ausfall bei HPE Systemen

Hewlett Packard hat in den letzten Tagen eine Kundenmitteilung (Document id a00092491en_us) herausgegeben, in der vor Ausfall von bestimmten SSD Typen gewarnt wird, wenn kein Firmwareupdate eingespielt wird. Dies betrifft SSDs in Server und Speicher Systemen gleichzeitig. Die betroffenen Speichermedien mit einer Firmware kleiner als HPD8 stellen demnach ihren Dienst nach 215 bzw. 32.768 Stunden ein und werden vom System nicht mehr erkannt. Eine Reaktivierung und nachträgliches Einspielen der Firmware ist dann nicht mehr möglich.

Welche SSDs/Systeme sind betroffen?

HPE hat die SSDs in folgenden Produkten verbaut:

  • HPE ProLiant,
  • Synergy,
  • Apollo,
  • JBOD D3xxx, D6xxx, D8xxx,
  • MSA,
  • StoreVirtual 4335 und StoreVirtual 3200.
Continue reading „Möglicher SSD-Ausfall bei HPE Systemen“

Neueröffnung des HPE Pointnext Education Services vLABs-Centers

Unser Fokus-Partner Hewlett Packard Enterprise eröffnete das innovative Training & vLabs Center auf etwa 900 Quadratmeter am deutschen Hauptstandort in Böblingen. Die michael wessel wurde dabei vor Ort aus dem Consulting durch David Yoel Wandschneider sowie unseren Teamleiter des Teams Datacenter Infrastructure, Daniel Lengies, vertreten. Im Dialog konnte die Zusammenarbeit partnerschaftlich gestärkt werden, Gespräche und Präsentationen lieferten einige – teils neue, teils bereits von uns in unseren Services enthaltenen Aspekte in der Weiterentwicklung IT-gestützter Prozesse und der chancenreichen Digitalisierung.

Wir haben im Folgenden unsere Eindrücke aus den Bereichen Technoligieentwicklung, Mobility, IoT und VR-Guidance, sowie Prozessoptimierung und Mitarbeiterawareness zusammengefasst.

Continue reading „Neueröffnung des HPE Pointnext Education Services vLABs-Centers“

Veeam: Update 3a (v. 9.5.0.1922) veröffentlicht

Viele Kunden haben drauf gewartet: Veeam hat das Update 3a für die Version 9.5.0.1922 mit wichtigen Änderungen veröffentlicht, was u.A. auch den Support von VMware vSphere 6.7 beinhaltet. Lesen Sie selbst, welche Änderungen Veeam mit dem Update erzielt und sprechen Sie uns gerne an, wenn Sie Fragen haben oder Unterstützung oder Informationen zu Veeam erhalten möchten.

Continue reading „Veeam: Update 3a (v. 9.5.0.1922) veröffentlicht“