Rassurez vous, il y a des gros bouts de Windows dedans quand même. Peut être même un peu trop, et c’est ce qui nous a amené à rédiger ce post. Il ne sera pas question d’analyses de performance ni de comparaison de fonctionnalités, juste d’un aperçu du pèlerinage qu’à été l’installation de 3 serveurs motivé à la base par la curiosité de testé Live Migration et Cluster Shared Volumes (CSV). Malgré tout, il y a eu quelques bonnes surprises…

Chauffe Marcel !

Tout d’abord voici le détail de la configuration de test :

• Châssis IBM BladeCenter-E  86773RG
• 3x lames IBM HS21 8853L2G avec 8Go de RAM
• 3x cartes SAN Q-Logic 4GB SFF (option IBM)
• 2x switch FC Brocade 4GB (option IBM)
• Fabric SAN (EMC Symmetrix DMX 3 + Switch Brocade)

L’installation de l’hyperviseur Microsoft fut un peu plus longue que celui de Citrix ou encore de VMware mais ce n’est qu’un détail. Une fois l’installation terminé, en guise de console d’administration locale, on a le droit à ça :

C’est pas glorieux mais ça fera l’affaire pour mettre la couche IP et faire le reste en RDP.

Ayant eu droit à quelques déboires avec ce script lors de la configuration réseau, voici une petit liste de commandes qui nous a permis de contourner le problème :

netsh winhttp set proxy <server:port>
netsh interface ip show config
netsh interface ip set address “<Local Area Connection>” static <ip> <netmask> <gateway>
netsh advfirewall firewall set rule group=”Remote Volume Management” new enable=yes
netsh interface ip add dns “<Local Area Connection>” <ip>
Start /w ocsetup FailoverCluster-Core

Après renommage et débridage du firewall pour l’accès via MMC (+2 reboot), il ne faut pas oublier d’inscrire le Windows 2008 core (qui se cache derrière) dans un domaine Active Directory (+1 reboot). Car pour accéder à la fonction Live Migration, il faut un cluster MSCS et que pour avoir un cluster MSCS, il faut un domaine AD :

All servers in the cluster must be in the same Active Directory domain

Sachant qu’il est impossible d’utiliser XP ou 2003 pour administrer Hyper-V (RSAT oblige…) , nous décidons d’utiliser une VM Windows 2008 (non R2) fraichement installée. Premier message d’erreur :

Google+Kb MS+reboot, on commence la config réseau. Séquence humour, chaque modification de network se traduit par une coupure de quelques secondes :

On passe à la console Failover Cluster Management, nouvelle erreur :

Explication sur un forum MS :

You cannot use a non-R2 Windows Server 2008 computer to control the Failover Cluster console in a R2 Windows Server 2008 computer.

C’est bon à savoir. Nous voila donc parti pour installer une RC de Windows 7 (32 bit) car nous venions d’apprendre la dispo du RSAT pour 7.

Nouvelle erreur dans la Failover Cluster console :

Explications d’MS :

If you will be using a computer with a 32-bit operating system to remotely manage a computer running Hyper-V Server that has failover clustering enabled, you must enable 32-bit support for failover clustering on the computer running Hyper-V Server. You can do this with the following command:  dism /online /enable-feature /featurename: FailoverCluster-Core-WOW64

Faisons ça sur nos 3 serveurs (pour R2, la bonne commande est “dism /online /enable-feature /featurename:FailoverCluster-Core-WOW64″)…

Nous pouvons maintenant configurer le stockage. Ayant l’habitude des cluster MSCS 2003, nous configurons les LUN de la même façon coté SAN.

Malheureusement, pour un cluster 2008 R2 il est nécessaire que les LUN supportent le SCSI-3 Persistent Reservation. Donc pas de validation du cluster pour le moment.

Google à nouveau, nous ne tardons pas à tomber sur la réponse : il faut envoyer une commande à la baie car ce flag ne fait pas parti de ceux par défaut :

set device 122E attribute=SCSI3_persist_reserv ;
set device 1873 attribute=SCSI3_persist_reserv ;
symconfigure -sid 432 -v -f SCSI3_persist_reserv  commit

Toujours la même erreur car par défaut une baie DMX présente une LUN (ID 0) supplémentaire (vcmdb) permettant de communiquer directement avec elle. Le test de SCSI-3 PR se faisant sur la première LUN visible pas l’OS, la validation du cluster échoue systématiquement. Il est impossible de modifier cette LUN car elle n’est que virtuelle. Plan A :

The vcmdb must be made invisible to disk management [...] this can be accomplished by right-clicking the disk in Device Manager and selecting disable.

Hyper-V Server 2008 R2 étant une version core, nous tentons de le faire en remote. Erreur :

Réponse sur Google : Il faut activer une policy (gpedit en remote + gpupdate /force) :

+ désactivation du firewall :

netsh firewall set opmode disable

Et ça n’a servi à rien car le Device Manager est en Read Only, même sur une version core (à moins que nous n’ayons pas googlé assez…) :

Plan B : on masque la vcmdb du FA, ce qui impactera tous les hosts connectés dessus. On est plus à ça près !

unmap dev 0040 from dir 3B:0;
unmap dev 0040 from dir 14B:0;
symconfigure -sid 432 -v -f UNmap_VCMDB commit

Cette fois, c’est bon (merci Manu) !

Une fois le cluster OK, on passe à la création du CSV (qui n’est pas au gout de tout le monde), suivi par la création de la VM. Il faut savoir que les volumes CSV sont accessibles via des pointeurs dans C:\ClusterStorage\ :

On démarre la VM :

Traduction d’MS sur un post regroupant le top des messages-d’erreur-qui-ne-veulent-rien-dire : Il fallait bien sûr activer le “NX bit” dans le BIOS des serveurs (Hyper-V, tout comme XenServer, ne font que du Hardware Assit).

Au passage, Hyper-V R2 ne gère toujours pas le failover SAN ni Ethernet  nativement, il faut donc s’assurer que le constructeur fournisse bien les drivers et applicatifs compatiblent 2008 core (CLI uniquement). Dans notre cas, il a fallu utiliser cette commande pour l’installation des pilotes Q-Logic :

pnputil -i -a “driver.inf”

Et utiliser une licence “PowerPath” d’EMC pour la gestion du failover FC. Et ça, ce n’est pas gratuit.

On peux maintenant tester Live Migration :

Et ça marche ! Par contre, pas plus d’un par host simultanément  :

Et la console de la VM ne suit pas le mouvement :

Globalement, le mécanisme de migration à chaud semble bien maitrisé. Nous avons fait quelques migrations sur une VM stressée sans problème.

A titre de comparaison, il nous a fallu moins de 2 heures (sans google, ni admin guide) pour monter 2 XenServer et XenCenter, pour faire un XenMotion d’une VM sur un datastore NFS…

Au menu des petits plus, il y a la possibilité de choisir l’emplacement des snapshots et l’ordre de boot en GUI :

Passons maintenant à LA bonne surprise d’Hyper-V R2 : la fonction “Connectivity Fault Tolerance” de CSV

CSV est un genre d’add-on à NTFS qui permet à plusieurs serveurs d’écrire sur la même partition et donc d’avoir plusieurs VM, managées par plusieurs Hyper-V, sur le même volume (grosse lacune d’Hyper-V “R1″ qui obligeait à avoir autant de LUN que de VM). CSV ne transformant pas NTFS, un des serveurs à le rôle de “coordinator node” qui gère les requêtes d’écriture des metadata :

Lorsque la connectivité SAN est perdue sur un des noeuds, le flux de data est encapsulé dans du SMB v2 et transporté par le réseau au “coordinator node”. Nous l’avons testé en coupant les ports fibres d’un des serveurs hébergeant une VM, la bascule se fait en quelques secondes sans downtime :

Le failback est automatique (et peut être forcé) quelques secondes après le retour du SAN, toujours sans downtime. Cette fonction semble très mure mais nous restons septique quant à son application sur des serveurs hébergeant plusieurs dizaines de VM.

Conclusion : Hyper-V Server 2008 R2 manque encore cruellement d’ergonomie, du support NFS et surtout d’un client d’administration unique compatible avec 2008 (non R2) et XP/2003. Et je ne parle pas d’une MMC pleine à craquée de composants avec lesquels il faut jongler pour chaque opération.

Malgré tout, nous laissons encore une chance à l’usine à gaz au produit et ne manquerons pas de vous donner nos impressions sur SCVMM R2 et sa fonction “Quick Storage Migration“.

Nous en profitions pour vous présenter nos excuses pour la coupure dominicale occasionnée  par un incident de NAS. Partition VMFS à moitié corrompue, il nous a fallu restaurer une dizaine de VM. Grâce à des backup rigoureux, nous n’avons perdu que quelques heures d’activités.

La morale du jour : BACKUP (ou achetez vous une DeLorean préparée par Doc Brown) !

MAJ 26/09/2009 : Thanks to Vladan, english readers can get the interview without google translate 

Au fil d’un post sur VCritical détaillant la procédure pour limiter à son strict minimum la taille de l’install d’ESXi (64Mo), nous apprenons qu’Olivier Crémel est à l’origine du projet VMvisor aka ESXi !

Probablement séduit par la french touch d’Hypervisor.fr, il a très aimablement répondu à quelques-unes de nos questions brulantes :

• Comment êtes vous devenu le “papa” d’ESXi ?

J’ai commencé à travailler sur ESX en 2001, plus particulièrement sur les couches basses. La présence de COS était un irritant permanent car le code nécessaire à partager le matériel entre COS et vmkernel était assez épineux. J’avais donc toujours à l’esprit l’idée de supprimer COS. Vers fin 2003, je suis devenu très intéressé par VDI. Un jour alors que j’étais dans une salle des machines à attendre le démarrage d’un gros serveur particulièrement lent, j’ai commencé à imaginer ce qu’un déploiement VDI à grande ampleur impliquerait et j’en ai conclu que les serveurs devraient disparaître en tant que tels et n’être en fait que des resources de traitement dont ESX serait le driver, une sorte de super firmware. Cela me semblait antinomique avec la présence d’un COS. J’ai donc décidé à cet instant de démarrer un projet donc l’objectif était d’intégrer ESX en ROM avec le BIOS.

J’y ai travaillé en marge de mes activités normales durant 2004, bientôt rejoint par deux autres ingénieurs. En septembre 2004, nous avons démontré en interne la première version complètement fonctionelle. Je l’ai alors baptisée VMvisor (VMware Hypervisor). Il en reste des traces encore aujourd’hui. Par exemple, regardez le type retourné par “stat -f /”.

[NDLR] autre ex : le nom des iso d’ESXi commence par “VMware-VMvisor-Installer”

• Comment/pourquoi est néé ESXi ?

Il est assez vite devenu évident que nous n’aurions pas assez de place en ROM (nous ne pouvions disposer que de 3 ou 4 MB et le système faisait 12MB à l’époque). Comme pour le développement nous n’utilisions que PXE, nous nous sommes concentrés sur ça avec un mécanisme de configuration externe, c’est-à-dire que rien n’était jamais installé ou persistant sur les serveurs eux-mêmes. Cela permettait une gestion transparente des serveurs (ils pouvaient être ajoutés, retirés, remplacés sans intervention d’installation ou de configuration). Durant 2005 et 2006 nous nous sommes heurtés à deux problèmes: une forte appréhension à l’idée de perdre COS et une forte méfiance à l’égard de PXE.

Finalement nous avons dû trouver une autre méthode. Repensant à l’idée de ROM, l’idée d’utiliser une petite cartouche de mémoire USB directement inclue dans le serveur est née. Et l’objectif a alors complètement basculé, au lieu de large déploiement, nous avons commencé à présenter ça comme une solution simple pour un serveur clef en main à destination des petites entreprises. Début 2007, Dell s’est retrouvé convaincu et nous avons entrepris un projet en commun. VMware livrerait ce qui allait devenir ESXi pour une machine spécifique que Dell construirait. Et cela aboutit à une présentation commune durant VMworld 2007.

• Combien de personnes bossent sur ESXi (juste l’hyperviseur) ?

Il n’y a plus d’équipe ESXi spécifique. L’immense majorité du code est identique entre ESXi et ESX.

• Envisagez vous un jour de vendre des “machines ESXi” (physique) ?

C’est ce que sont les machines vendues avec ESXi sur USB. Nous n’avons pas vocation à en vendre directement, ce sont nos partenaires constructeurs qui le font.

• ESXi sera t’il dispo pour d’autres platefomes qu’x86/x64 (hormis ARM) ?

Il y a eu un prototype Itanium sans lendemain.

• ESX signifie bien “Elastic Sky X” ?

C’est exact.

• Que signifie le “i” ?

“integrated”, c’est-à-dire inclus avec la machine. Cela reflète la première itération faite en commun avec Dell.

• Y a t’il des easter eggs dans ESXi ?

S’il y en a, ils ont été introduits à mon insu

• Si oui, peut on en connaitre un ?

Est-ce que “Alt-F1, unsupported”  compte ?

[NDLR] Non mais le coup du F4 pour passer en N&B oui 

• Un petit mot pour les lecteurs d’Hypervizor.fr ?

L’idée d’ESXi est assez radicale. Il s’agit de tuer le serveur en tant que tel. Cela explique certains choix qui sont parfois difficiles à accepter. Nous continuons à essayer de trouver le juste équilibre. Mais ESXi est aussi un système très facile à modeler et rien n’est plus satisfaisant que de lire des messages d’utilisateurs qui ont téléchargé la version gratuite et l’ont adaptée d’une manière ou d’une autre. J’encourage tous vos lecteurs à faire de même. Téléchargez et explorez.

Merci Olivier de nous avoir accordé cet échange, et keep up the good work

Nous avons voulu aller plus loin pour notre hyperviseur préféré et c’est gràce à la DeLorean du net (web.archive.org) que nous avons pu obtenir ces informations ainsi qu’une vraie pépite : le pdf manual d’ESX 1.0 !

janv-98	depot de vmware.com
mai-99	VMware 1.0 for Linux
sept-99	VMware 1.0 for Windows
mars-00	VMware 2.0 for Linux/Windows
dec-00	VMware Express / VMware Workstation
janv-01	VMware GSX Server 1.0 (for Linux)
mars-01	VMware ESX Server / VMFS
juil-01	VMware GSX Server 1.0 (for Windows)
nov-01	VMware Workstation 3.0
mai-02	VMware ESX Server 1.5
juil-02	VMware GSX Server 2.0
janv-03	VMware GSX Server 2.5
avr-03	VMware Workstation 4.0
juil-03	VMware ESX Server 2.0 / vSMP, VMFS-2 & NUMA / Connectix Virtual PC 5.2
oct-03	VMware P2V Assistant 1.0.1 / Virtual PC 2004 / first stable Xen release
nov-03	VMware VirtualCenter 1.0 (aka Control Center) / Vmotion
janv-04	EMC Completes Acquisition of VMware
mars-04	VMware GSX Server 3.0
avr-04	VMware Workstation 4.5 / VMware Announces Support for 64-Bit
juin-04	VMware P2V Assistant 2.0
sept-04	VMware Community (VMUG, forum, kb) / Virtual Server 2005
oct-04	VMware User Conference (aka VMworld) / Virtual PC 2004 SP1

]]> http://www.hypervisor.fr/?feed=rss2&p=867 2