Comments on: Infiniband@home : votre homelab à 20Gbps

By: Fabrice

Fabrice — Sun, 18 Mar 2018 14:12:00 +0000

Je me casse la tête la dessus depuis un bon bout de temps, même architecture deux esxi en 6.5 et un freenas. J avais aussi pensé à un virtual distributed switch dans esxi mais sans avoir encore essayé. Merci pour ces informations et les Vib !

By: Mega

Mega — Thu, 11 Feb 2016 11:22:52 +0000

Hi Jan,

Thanks for your quick answer

By: Jan

Jan — Thu, 11 Feb 2016 10:33:53 +0000

Hi – Mega:

Yes. I have it running on ESXi 6 – see screenshot:

http://ge4.dk/public/infiniband.png

/ Jan

By: Mega

Mega — Thu, 11 Feb 2016 09:48:16 +0000

Salut,

L’un d’entre vous aurait-il testé la compatibilité sur ESXi 6.0 ?

Merci

By: NiTRo

NiTRo — Tue, 14 Jul 2015 13:04:41 +0000

Hi, yes it should. Let me know if something’s wrong with the vib!

By: Jan

Jan — Tue, 14 Jul 2015 10:54:32 +0000

Great article.

I’ve ordered two QLOGIC 7240 infiniband cards – will they works the same way as with the cards you have used?

Thank you!

By: NiTRo

NiTRo — Thu, 17 Jul 2014 15:54:43 +0000

Hi Rain, with the latest 1.8.2.4 mellanox driver you don’t need to downgrade anymore. You will find it at http://vm.lc/ib

By: Rain

Rain — Thu, 17 Jul 2014 00:55:52 +0000

Can anyone confirm that the original ConnectX (ie: Not CX-2 and/or CX-3 cards… simply “ConnectX”) cards will still function in ESXi 5.5 with the downgraded drivers and Nitro’s OpenSM vib?

By: NiTRo

NiTRo — Wed, 02 Jul 2014 17:15:29 +0000

Hi Dan, nope exept the noise (noisy fan) and the price
Happy IB!

By: Dan

Dan — Wed, 02 Jul 2014 17:10:52 +0000

I am looking at setting up a home lab with three ESXi 5.5 hosts, using vSAN for storage. I was planning on using Infiniband QDR cards with a QDR switch having a built-in subnet manager. Are there any challenges I might face using a switch having a built-in subnet manager?

I have found this article detailing some of the config:
http://www.bussink.ch/?p=1306

I am considering a hardware config similar to this (without the external storage box):
http://www.bussink.ch/?p=1123

Dan

By: NiTRo

NiTRo — Mon, 16 Jun 2014 09:01:55 +0000

@Alex, weird… did you tried with the latest driver? http://www.mellanox.com/downloads/Drivers/MLNX-OFED-ESX-1.8.2.4-10EM-500.0.0.472560.zip

By: AlexMercer

AlexMercer — Mon, 16 Jun 2014 05:55:49 +0000

I should have mentioned that I am running vmware 5.1 ESXi HP Custom image on HP C7000 with Proliants BL685 Gen1 Blades. It’s pretty much driving me crazy, because it was really hard to set up the mtu=4k and now it wont work the way it was meant to.

By: NiTRo

NiTRo — Fri, 13 Jun 2014 16:23:09 +0000

Hi Alex.
It seems ESXi 5.5 doesn’t support 4k IPoIB so you should try 2044

By: AlexMercer

AlexMercer — Fri, 13 Jun 2014 12:18:00 +0000

Hey, thanks for the great vibs ( the opensm for vmware and the iperf !!! ).

Keep up the awesome work!

I have a question tho. In my setup I am using your opensm, configured with partitions.conf : Default=0×7fff,ipoib,mtu=5:ALL=full;

My vmware switch is set up with mtu=4 and the portgroup as well. The HCAs I am using are MT25418 and a HP 4x DDR IB switch ( all capable of transmiting mtu=4k). So the problem is that when I set up my mtu to 4k the speed between 2 esxi hosts gets really poor.
Example :
mtu=1500
[ 4] local 192.168.13.39 port 5001 connected with 192.168.13.36 port 61140
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 3.98 GBytes 3.42 Gbits/sec
mtu=2000
[ 4] local 192.168.13.39 port 5001 connected with 192.168.13.36 port 61140
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 3.98 GBytes 3.42 Gbits/sec
mtu=4092
[ 3] local 192.168.13.36 port 50673 connected with 192.168.13.39 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-79.5 sec 8.00 GBytes 864 Mbits/sec

Any ideas what might be causing this type of weird behaviour?
Thanks in advance

By: NiTRo

NiTRo — Thu, 29 May 2014 13:01:16 +0000

La tagret SRP était un HP N40L et le zpool était composé de 6 vdev composé d’un SSD intel chacun pour obtenir les meilleurs performances possible. Idem que pour ce post: http://www.hypervisor.fr/?p=4093

By: ERIC G

ERIC G — Thu, 29 May 2014 11:12:19 +0000

Dernière question, serait’il possible d’avoir une idée de la configuration hardware (modèle et type d’agrégat de SSD, type de carte RAID) ainsi que le type de conf. (ZFS, ZIL, …) utilisé derrière ce test ?

Merci d’avance

By: NiTRo

NiTRo — Wed, 28 May 2014 23:10:25 +0000

Bonsoir Eric, pour obtenir les plus gros chiffres j’ai utilisé les profiles max iops et max throughput.
Merci pour votre soutien !

By: ERIC G

ERIC G — Wed, 28 May 2014 22:00:34 +0000

Bonsoir, quel benchmark sous IOMETER Appliance, avez vous utilisé pour obtenir ces diagrammes ?

Votre test est de très bonne qualité !

By: NiTRo

NiTRo — Wed, 12 Mar 2014 10:50:20 +0000

Entre 2 windows je n’ai jamais fait mais il faut déjà vérifier dans les logs d’opensm que le subnet est bien UP car sans ça, point de IPoIB.

By: Boris

Boris — Mon, 10 Mar 2014 13:28:08 +0000

Bonjour à vous,

Merci pour ce how to !

j’ai une petite question:

j’essaye de faire de l’IPoIB entre deux 2008R2.
les cartes sont reconnues, opensm est installé sur une des deux machines pas de soucis. sauf que je ne peux pas pinguer entre les deux, les paquets partent mais ne reviennent pas.

je pense que c’est lié au opensm.conf que je dois mal renseigné.

Comment avez-vous procédé?

je tatonne depuis quasi une semaine la dessus et je commence à être frustré ^^

merci