Intel NUC Kit NUC5i3RYH met ESXi 6.0 updaten naar 6.7

In 2015 had ik een Intel NUC Kit NUC5i3RYH aangeschaft om daar VMWare ESXi op te zetten om wat virtuele machines te kunnen draaien. Dat was toen ESXi 6.0, die anno 2020 al niet meer supported is door VMWare. Wel altijd met de ESXi patch tracker bijgehouden, maar die zijn al geruime tijd niet meer beschkbaar.

Dus het is tijd om de ESXi versie te upgraden en meteen ook de BIOS te upgraden van de NUC zelf. Zo heb ik dat gedaan. Dat het upgraden naar ESXi 6.7 heb ik ook de laatste patch toegepast.

Bios updaten

BIOS updaten met dit bestand, te downloaden vanaf de Intel site als je de NUC5i3RYH opzoekt: RY0385.bio (op moment van schrijven is dat de recentste), op usb stick laden en NUC ermee opstarten met F2 in het BIOS opstartscherm. Daarna F7 doen en nee kiezen om op internet te zoeken, dan naar de usb stick gaan en de bios file kiezen.

ESXi updaten

Upgraden van ESXi 6.0 naar 6.7 kan van deze 5th met deze cpu, zie: https://www.virten.net/2018/04/homelab-will-esxi-6-7-run-on-intel-nuc/ met een handleiding.
Uitgebreider is via: https://tinkertry.com/easy-update-to-esxi-67
Andere manieren: https://www.vladan.fr/how-to-upgrade-esxi-6-x-to-6-7-via-iso/https://www.virtualizationhowto.com/2019/12/upgrade-vsphere-6-0-esxi-to-6-7-in-three-ways/

Zie uiteindelijk deze:https://tinkertry.com/easy-update-to-latest-esxi:

This ESXCLI method doesn’t have quite as easy a way to revert (aka roll-back) if things go wrong. If you have access to the latest ESXi ISO, downloading and booting from that and choosing Upgrade is safer.

Dus dat is wat we kiezen, we willen voor safe gaan, want we hebben een paar VM’s hierop draaien.
Maar hoe kom je nu aan de 6.7 ISO?
Zie https://www.virten.net/2018/05/free-esxi-6-7-how-to-download-and-get-license-keys/
Het schijnt dat als je al een 6.x license hebt, dat je voor 6.7 niet nog een extra nodig hebt. Dus skip dat.

Ondanks dat ik alle add en tracker blockers in de browser heb uitgeschakeld, krijg ik de download niet voor elkaar vanuit welke browser dan ook, dus ik heb mijn Pi Hole (advertentieblocker) tijdelijk uitgeschakeld via de webinterface van de Pi Hole om het te kunnen downloaden.

Dus de laatste 6.7 iso downloaden, vanaf Windows 10 met Rufus op usb stick zetten en ermee starten. Anders kan je BalenaEtcher proberen ipv Rufus vanaf Linux, maar ik kreeg problemen toen ik het met BalenaEtcher op Windows 10 probeerde, de USB stick wilde niet starten.

Als je een goede USB stick hebt en opstart dan zie je dit:

• 

Selecteer de disk waar je ESXi 6.0 op staat, bij mij is dat de Samsung (helaas in het geel dus niet heel goed te zien, de SanDisk Cruzer Blade is de USB stick waar 6.7 op staat):

• 

Je wilt upgraden en je datastore behouden:

• 

Vraag of je het zeker weet:

• 

Daar gaat ‘ie!

• 

Gereed!

• 

Haal de USB stick er uit en reboot:

• 

Daarna is de upgrade klaar, controleer na inloggen op de webconsole:

Version: 6.7.0 Update 3 (Build 14320388)
State: Normal (not connected to any vCenter Server)
Uptime: 0 days

Upgraden naar de laatste patch voor ESXi

Normaal hield ik de ESXI patch tracker bij om patches te downloaden voor ESXi 6.0, die je voor 6.7 hier kan vinden: https://esxi-patches.v-front.de/ESXi-6.7.0.html.
Daar zag ik dat dit de laatste was:
2020-08-20 Imageprofile ESXi-6.7.0-20200804001-standard (Build 16713306) includes the following updated VIBs:

Ah we kunnen nog een paar builds hoger lijkt het.

Dus dat gaan we doen:
Zet ESXI via de webconsole in maintenance mode.
Zet SSH aan in de webconsole.
Log in met ssh op de esxi en doen de dingen van de patch.

Krijg echter een foutmelding:

[root@esxi:~] esxcli software profile update -p ESXi-6.7.0-20200804001-standard 
-d https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/vmw-depot-index.xml
[OSError]
[Errno 28] No space left on device
Please refer to the log file for more details.
[root@esxi:~]

Maar er is zat ruimte:

[root@esxi:~] df -h
Filesystem Size Used Available Use% Mounted on
VMFS-5 225.2G 2.0G 223.3G 1% /vmfs/volumes/datastore1
vfat 249.7M 174.3M 75.5M 70% /vmfs/volumes/776fdb7f-77af4631-d95d-523c51b277f4
vfat 249.7M 148.4M 101.3M 59% /vmfs/volumes/710d5f7e-7eac1b29-e8d4-963efa21405e
vfat 4.0G 26.4M 4.0G 1% /vmfs/volumes/5517bb3b-39a7f6ac-8d65-b8aeed71bc52
vfat 285.8M 173.8M 112.0M 61% /vmfs/volumes/5517bb2f-9f5cb6a0-cb86-b8aeed71bc52

Ik heb dit al eens eerder gehad onder ESXi 6.0, en toen moest ik in de webconsole de swap aanzetten. Iemand die dit eerder heeft meegemaakt maar waarbij het niet werkte:

Zie https://www.aligrant.com/web/blog/2018-12-23_esxi_67_profile_update_no_space_left_on_device
…maar ook part 2:https://www.aligrant.com/web/blog/2019-06-25_vsphere_67_errno_28_no_space_left_on_device__part_2

Er wordt dan gesuggereerd om eerst de tools te downloaden en dan verder te kijken: https://communities.vmware.com/thread/609205 (van Centosuser en anderen)

Die tools kan je in de tracker vinden: https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/esx/vmw/vib20/tools-light/VMware_locker_tools-light_11.1.1.16303738-16701467.vib

Dit is wat gezegd wordt in dat draadje, als voorbeeld:
cd /tmp wget http://hostupdate.vmware.com/software/VUM/PRODUCTION/main/esx/vmw/vib20/tools-light/VMware_locker_tools-light_6.5.0-0.23.5969300.vib
esxcli software vib install -f -v /tmp/VMware_locker_tools-light_6.5.0-0.23.5969300.vib

Dus even omzetten naar de juiste versie:
wget https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/esx/vmw/vib20/tools-light/VMware_locker_tools-light_11.1.1.16303738-16701467.vib
esxcli software vib install -f -v /tmp/VMware_locker_tools-light_11.1.1.16303738-16701467.vib

Uitvoering:

[root@esxi:/tmp] wget https://hostupdate.vmware.com/software/VUM/PRODUCTION/main/esx/vmw/vib20/tools-light/VMware_locker_tools-light_11.1.1.16303738-16701467.vib
Connecting to hostupdate.vmware.com (23.62.137.96:443)
VMware_locker_tools- 100% |*************************************| 177M 0:00:00 ETA
[root@esxi:/tmp] ls -al
total 181900
drwxrwxrwt 1 root root 512 Sep 16 09:12 
.drwxr-xr-x 1 root root 512 Sep 16 08:36 ..
lrwxrwxrwx 1 root root 34 Sep 16 08:38 .simsOpLock.lock.LOCK -> /tmp/.simsOpLock.lock.LOCK.2098269
-rw-r--r-- 1 root root 62 Sep 16 08:38 .simsOpLock.lock.LOCK.2098269
-rw-r--r-- 1 root root 186234442 Sep 16 09:13 VMware_locker_tools-light_11.1.1.16303738-16701467.vib
-rw------- 1 root root 40 Sep 16 09:10 probe.sessiondrw
x------ 1 root root 512 Sep 16 08:33 vmware-root
-rw-r--r-- 1 root root 99 Sep 16 08:33 wbem-vm-report.xml
[root@esxi:/tmp] esxcli software vib install -f -v /tmp/VMware_locker_tools-light_11.1.1.16303738-16701467.vib
Installation Result Message: Operation finished successfully. |
Reboot Required: false 
VIBs Installed: VMware_locker_tools-light_11.1.1.16303738-16701467 
VIBs Removed: VMware_locker_tools-light_10.3.10.12406962-14141615 
VIBs Skipped: 
[root@esxi:/tmp]

Maar we willen ook het depot installeren, alsnog proberen via de url van de patchtracker geeft nog steeds de melding “no space left on device”.

Dus dat moeten we op een andere manier doen:

Dus handmatig downloaden, ga naar:
https://my.vmware.com/group/vmware/patch#search
Kies ESXi en de juiste versie. Doe Search zodat je de hele lijst krijgt.
De recentste komt bovenaan, check die met het buildnummer van de patch tracker. Dat is in dit geval:

ESXi670-202008001

Product: ESXi (Embedded and Installable) 6.7.0
Download Size:475.3 MB
08/20/2020
Build number: 16713306

Download deze. Dan zorgen dat je het op de ESXi krijgt met scp of WinSCP/Filezilla en zorg dat je het hier krijgt (jouw pad kan anders zijn):
/vmfs/volumes/datastore1

Dit is de naam van de image profile uit de patch tracker:
ESXi-6.7.0-20200804001-standard
Nu installeren:
esxcli software profile update -p ESXi-6.7.0-20200804001-standard -d /vmfs/volumes/datastore1/ESXi670-202008001.zip

Uitvoering:

[root@esxi:/vmfs/volumes/5517bb3a-260465d0-8d37-b8aeed71bc52] esxcli software profile
update -p ESXi-6.7.0-20200804001-standard -d /vmfs/volumes/datastore1/ESXi670-202008
001.zip
Update Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
VIBs Installed: <snip>

Doe een reboot van je ESXi

En we zijn weer helemaal bij:

Version: 6.7.0 Update 3 (Build 16713306)
State: Maintenance Mode (not connected to any vCenter Server)
Uptime: 0 days

Zip weer opruimen.
Maintenance mode beëindigen en je VM’s weer opstarten.

Heb nog geen nieuwere patches gedaan, ben benieuwd of dat nu elke keer zo moet.

Update 4-11-2020

Ik heb zojuist op zowel een ESXi 6.7 en 7.0 updates uitgevoerd. Hierbij mijn bevindingen:

ESXi 6.7 updaten met:
ESXi670-202010001 -> build 16773714
ESXi670-202011001 (nieuwer) -> build17098360

Ik kon deze niet online doen, ik bleef de gevreesde:

[Errno 28] No space left on device

… krijgen. Dus deze heb ik ook handmatig gedownload via de search van VM, met WinSCP overgezet naar de datastore directory en daar dit uitgevoerd en daarna een reboot gedaan:

[root@esxi:/vmfs/volumes/5517bb3a-260465d0-8d37-b8aeed71bc52] esxcli software profile update -p ESXi-6.7.0-20201004001-standard -d /vmfs/volumes/datastore1/ESXi670-202010 001.zip

En daarna reboot gedaan, daarna:

[root@esxi:/vmfs/volumes/5517bb3a-260465d0-8d37-b8aeed71bc52] esxcli software profile update -p ESXi-6.7.0-20201103001-standard -d /vmfs/volumes/datastore1/ESXi670-202011 001.zip

En weer reboot gedaan.

Echter voor ESXi 7.0 moest ik ook een update doen, en die ging ook niet door met de gevreesde “no space left on device” melding.

Maar daar heb ik een workaround gevonden waardoor ik niet de patch hoef te uploaden en toe te passen. Op de ESX 7.0 heb ik twee datastores: datastore1 en datastore2. Als ik nu vooraf aan de update wissel van datastore (bijvoorbeeld van 1 naar 2) in de swap instellingen:
Host -> Manage -> System -> Swap -> Edit Settings -> kies de andere datastore en dan OK. Dan kan ik wel met de patchtracker url de patch online toepassen zonder de foutmelding.

Omdat ik op de ESXi 6.7 maar 1 datastore heb kan ik daar dit truukje niet toepassen.