«
»

FC to iSCSI failover (revival)

Posted by NiTRo | Filed under HowTo, Tips & Tricks, VMware, ZFS

Nous sommes tombé par hasard sur un vieux (2008) post de Scott Lowe au sujet de la possibilité d’utiliser l’initiateur logiciel iSCSI d’ESX comme failover au Fibre Channel, un peu comme “Connectivity Fault Tolerance” de CSV mais en mieux car contrairement à SMB, iSCSI est fait pour ça. Ce post n’a semble t’il pas abouti pour des raisons de fonctionnement à l’époque mais nous comptons bien le dépoussiérer un peu…

Et justement, en ce moment nous sommes en pleine découverte de la configuration FC sur Nexenta (plus particulièrement sur la configuration du mode target) qui est un Unified Storage System  tout à fait capable de présenter la même LUN (un zvol pour être précis) via FC et iSCSI. Voici donc une petite démo en 4 étapes :

  1. Coupure de vmhba1 (prefered path) > Bascule sur vmhba2
  2. Coupure de vmhba2 > Bascule sur vmhba32 (iSCSI)
  3. Restauration de vmhba2 > Aucun effet
  4. Restauration de vmhba1 > bascule sur vmhba1

Tout d’abord, vous remarquerez que ça bombarde à 10k+ IOPS (alors que le serveur Nexenta est une petite VM), remettez vous, c’est l’effet ZFS ;)

Plus sérieusement, on remarque que le failover se fait dans le sens croissant des vmhba, ce qui règle le problème du choix d’iSCSI qu’en dernier recours étant donné que l’initiateur est toujours à 32 ou plus. De plus le failover se fait dans un délais raisonnable de 10 secondes (contre 30sec pour MPIO de Windows 2008 R2 et donc d’Hyper-V) mais cette solution pose un réel problème si le chemin préféré venait a être le seul à ne PAS être restauré car le chemin iSCSI est considéré comme les autres donc restera “valable” (cf FC to iSCSI failover : MRU ranking). Mais nous pensons que cela reste néanmoins une solution à connaitre et peut être à envisager pour les plus parano du HA.

Et le plus drôle dans l’histoire c’est que vous n’avez rien à configurer !

PS: Ça doit être possible à faire avec les autres hyperviseurs évidement…

Tags: , , ,

Comments (12) | July 18th, 2011

12 Responses to “FC to iSCSI failover (revival)”

  1. PiroNet Says:
    July 18th, 2011 at 9:17

    Terrible!!!

    Je suppose que dans ton config le FC est en 4Gb et le iSCSI en 1Gb!?

    Ce qui expliquerqit que le failover en iSCSI resulte a 4x moins d’IOPS qu’en FC…

    Question, peux-tu faire du RR natif (VMW) ou EMC PP/VE sur le FC avec Nexenta? Et encore plus fou, en incluant le stack iSCSI :) )

  2. NiTRo Says:
    July 18th, 2011 at 11:49

    En RR ça fonctionne bien : http://hypervisor.free.fr/img/ZFS_RR.png
    Par contre avec PowerPath, impossible c’est réservé aux LUN EMC…

  3. PiroNet Says:
    July 18th, 2011 at 12:31

    PP/VE est storage agnostic… Mais fonctionne mieux sur un EMC :)
    Une version trial est dispo ici: https://community.emc.com/message/11590

    Sinon trop bon le RR sur FC/iSCSI, j’adore :)

  4. NiTRo Says:
    July 18th, 2011 at 13:10

    Pour PP/VE ça doit être récent car j’avais testé ya un moment et c’était locké à EMC. je vais refaire un test avec le nouveau vib, merci ;)

  5. Don Says:
    March 22nd, 2012 at 6:26

    What ESX version did you use for this test?

    I tried ESXi 4.1u1 and 5.0 and vSphere will not recognise FC and iSCSI as the same LUN.

  6. NiTRo Says:
    March 22nd, 2012 at 7:55

    it was 4.1 U1, how did you test it ?

  7. Don Says:
    March 23rd, 2012 at 4:23

    Thanks for your reply Nitro. I tried both ESX 4.1 and ESX 5.0.

    How did you add FC and iSCSI to the same LUN?

    Steps I took:

    1. Add storage -> finds both FC and iSCSI available with different IDs -> Choose to add FC LUN.
    2. Add storage -> finds iSCSI available –> Choose iSCSI -> adds another LUN.

    Now I have to different datastores to the same LUN with one path each.

  8. NiTRo Says:
    March 24th, 2012 at 0:16

    i meant on the storage server side, and by the way what did you used as storage server ?

  9. Don Says:
    March 28th, 2012 at 9:13

    I created my own storage server using Debian 6.0.4 Linux using:

    - SCST for FC target service
    - iscsitarget package for iscsi

    and writing to a software RAID5 device /dev/md0

  10. NiTRo Says:
    March 28th, 2012 at 9:16

    I’m afraid only ZFS or WAFL are able to do that. You should try with nexenta CE

  11. Don Says:
    March 28th, 2012 at 12:12

    Thanks Nitro.

    I am still a bit confused. Are ZFS/WAFL file systems or storage processors?

    Why does using ZFS/WAFL enable to support multiple transport protocols? I thought it would be the service/storage processor that took care of paths?

    I thought a raw LUN presented to esx was formatted as a VMFS filesystem?

  12. NiTRo Says:
    March 29th, 2012 at 1:28

    ZFS/WAFL are file systems AND volume managers, that makes multi protocol support easyier. I don’t know for sure if they’re the only one to support FC/iSCSI for the same LUN but i know they’re built to support this.

Leave a Reply