In this scenario, VMware vSphere favors fairness over throughput and sometimes pauses one vCPU to dedicate a whole core to another vCPU, eliminating gains provided by Hyper-Threading

Après avoir fourni un patch ainsi que 2 paramètres d’optimisation, l’équipe de Project VRC à publié cette fameuse mise à jour qui “restaure l’équilibre” :

The vSphere 4.0 Update 1 P05 patch clearly has positive impact on TS 2008×64 workload with 4vCPU’s. The performance differences are now very small [...] In practice, performance will be equal for all hypervisors when 4vCPU’s are used with Hyper-threading.

Dans le même temps, Citrix publie un bench VDI maison (avec un schéma où l’on peut voir Hyper-V en NFS et du VHD avec ESX…) où Hyper-V fait le meilleur score pour Win7 (admirez l’échelle) mais le moins bon pour WinXP et pourtant Citrix conclu :

First, it is clear that the industry’s two leading hypervisors for these benchmarks for both TS and VDI, are Hyper-V R2 and XenServer 5.5.

Et concernant Virtual Reality Check – Phase II version 2.0, une petite touche d’humour :

The results clearly stung the VMware folk who rushed out a patch that they claim fixes their TS performance issues, but they have yet to disclose whether this affects their VDI performance, and we have yet to test it.

On peut constater clairement que la suite d’événements autour de ce fameux patch #5 légitiment les résultats des benchmark de Project VRC. Quant à VMware, tout laisse à penser que l’éditeur tient autant à son image qu’aux résultats de son hyperviseur. Et concernant le patch en lui même (dispo public depuis le 01/04/2010) nous partageons l’avis de Scott :

Of course production environments rarely (never?) have a one-to-one ratio of vCPUs to logical processors.

Bien que les auteurs rappellent que ces résultats ne peuvent être sortis du contexte TS/ICA, ils n’en restent pas moins surprenants :

En 32bit, vSphere domine.

En 64bit, le baremetal domine et vSphere se fait devancer de ~20% !

Le Gain nextgen hyperviseur/hardware est spectaculaire

Une lecture incontournable…

Login Consultants (les auteurs du benchmark) viennent de révéler que les résultats sur XenServer étaient faussés par un “time drift” trop important dans les VM :

On XenServer the AutoIT “timediff” function reported about 10% average quicker per timed event. Example: 100ms reported by AutoIT is in reality 110ms, and 500ms reported is in reality 550ms. When XenServer becomes satured, these differences increase considerably. Extreme drifts were visible beyond VSImax when the system is heavily saturated.

Nous vous recommandons fortement de consulter le pdf pour comprendre l’ensemble des modifications et corrections apportées à la méthodologie du benchmark pour le rendre valable.

La nouvelle version du benchmark (XenServer 5.5 vs Hyper-V R2 vs ESX 4.0) n’est pas encore disponible mais nous avons droit à un avant gout du résultat. En faveur de VMware cette fois :

VMware jubile, la suite dans le prochain épisode de la saga…

4VM – 2CPU – 4GB – 2003X86 – NO SP1- VMMU FORCED

Project VRC est un benchmark très pointu et très complet des 3 Hyperviseur les plus connus (XEN, ESX et Hyper-V) en environnement Citrix XenApp (Metaframe pour les vétérans) et Terminal Server. Les résultats des ces tests ne permettent pas de comparer globalement les 3 Hyperviseur mais offrent des informations très intéressantes pour le domaine RDP/ICA :

Les documents sont téléchargeables après register uniquement, mais ils en valent largement la peine. Nous vous recommandons vivement de prendre connaissance de la méthodologie en début de document afin de pouvoir interpréter au mieux les résultats. On y apprend, par exemple, que les profils des utilisateurs sont pré-chargés avant les tests ou que la majorité des produits utilisé est issue de la suite MS Office 2007 (avec et sans SP1).

Les résultats des tests sont exprimés sous forme d’un graphique illustrant les temps de réponse applicatif en fonction du nombre d’utilisateur et sont accompagnés d’une note globale.

Pour ceux qui auraient la flemme d’avaler les 300 pages de bench, voici quelques échantillons :

Le même test que celui affiché plus haut (ESX 3.5), sans vMMU :

4VM – 2CPU – 4GB – 2003X86 – NO SP1

Avec le Page Sharing (sans vMMU) :

4VM – 2CPU – 4GB – 2003X86 – NO SP1 – PAGE SHARE ON

On remarque dans un premier temps que le Page Sharing ne provoque presque pas d’overhead mais surtout que le vMMU offre un gain de performance non négligeable.

Passons à XEN Server 5.0 :

4VM – 2VCPU – 4GB – 2003X86 – NO SP1 – XA OPT ON

Même chose sans la fonction “Optimize for XenApp” :

4VM – 2VCPU – 4GB – 2003X86 – NO SP1 – XA OPT OFF

L’option “Optimize for XenApp” offre un gain de performance mais même désactivé les résultats sont supérieurs à ceux obtenu sous ESX.

Même test sous Hyper-V 1.0 :

4VM – 2VCPU – 4GB – 2003X86 – NO SP1

Ce graphique ne laisse aucun répit à Hyper-V : les temps de réponse moyen et maxi se dégradent très tôt.

Voici le résultat du test comparable sur une machine physique :

8CPU – 16GB-16GB – 2008X86 – NOSP1

Globalement, on observe un net intérêt à virtualiser de tels environnements (ICA/TS) car il possible non seulement d’héberger plus de sessions mais dans des conditions d’administration bien plus confortables. XenServer semble bien mieux se comporter dans ce domaine bien que “sur le terrain” le Page Sharing donne un net avantage à ESX, pour le VDI par exemple. Hyper-V (1.0) est quant à lui trop en retrait pour être digne d’intérêt face à un XenServer au même niveau de gratuité.

Au moment de la publication de ces résultats, VMware n’a pas apprécié que XenServer soit mieux classé qu’ESX et a immédiatement publié sa vision (très différente) des choses :

Comme d’hab, Citrix critique la mauvaise foie…

Espérons que les résultats du Project VRC sous ESX 4, XenServer 5.5 et Hyper-V 2.0 ne tarderont pas à arriver !

vConsolidate, à la manière de VMmark, “empile” des blocs identiques constitué de 5 VM typiques (web, bdd, mail, java et idle) jusqu’à ce que le serveur ateigne 100% de charge.

On regrettera malgré tout que ce bench n’ait pas été fait avec la meme version (même si Intel assure que les 2 sont comparables) et surtout pas avec la même config de RAM (32 x 2GB contre 16 x 4GB).

Cela fait tout de même très plaisir à Kenon : “This comparison proves that VMware ESX server is NOT a commodity!”