On Tue, Mar 15, 2005 at 03:51:04PM -0800, Dmitry Yusupov wrote: > On Tue, 2005-03-15 at 23:48 +0100, christophe varoqui wrote: > > On sam, 2005-03-12 at 12:03 -0800, Dmitry Yusupov wrote: > > > Hi Guys! > > > > > > had anyone tried to setup open-iscsi with dm-multipath yet? > > > I think it should work out of the box, but would be cool if someone will > > > double check on that. > > > > > > PS: www.open-iscsi.org is a new cool project which features some > > > noticeable performance improvements for soft-based iSCSI Initiator plus > > > other number of exciting abilities such as independent transport and > > > better user-space vs. kernel split. Read more on project's web page. > > > > > I tried on Monday, but I'm stuck before dm-multipath kicks into play. > > Build runs ok, modules load into the kernel, daemon starts up, but the > > admin tool remain desparetely silent to all commands I stuffed at it. > > > > What is even more weird is that the daemon (in debug mode) remains > > silent too. > > it easily could be a bug in open-iscsi. We just released new bits, some > of the issues got fixed since than. Would be cool, if you could give it > one more try. Kernel requirement changed since than as well. Now you > will need kernel >= 2.6.11 because of a bug in netlink interface. > Tested, it works perfectly : 2 streaming reads, 1 on each of these iSCSI LU (36GB 10Krpm JBODs): 2b1c15ceb02796769 [size=33 GB][features="0"][hwhandler="0"] \_ round-robin 0 [active][first] \_ 1:0:0:0 sdb 8:16 [ready ][active] \_ 2:0:0:0 sde 8:64 [ready ][active] \_ 3:0:0:0 sdh 8:112 [ready ][active] \_ 4:0:0:0 sdk 8:160 [ready ][active] \_ 5:0:0:1 sdp 8:240 [ready ][active] \_ 6:0:0:0 sdq 65:0 [ready ][active] \_ 7:0:0:0 sdt 65:48 [ready ][active] \_ 8:0:0:0 sdw 65:96 [ready ][active] \_ 9:0:0:0 sdz 65:144 [ready ][active] 26353900f02796769 [size=100 MB][features="0"][hwhandler="0"] \_ round-robin 0 [active][first] \_ 9:0:0:2 sdaa 65:160 [ready ][active] \_ 1:0:0:2 sdc 8:32 [ready ][active] \_ 2:0:0:2 sdf 8:80 [ready ][active] \_ 3:0:0:2 sdi 8:128 [ready ][active] \_ 4:0:0:2 sdl 8:176 [ready ][active] \_ 5:0:0:2 sdo 8:224 [ready ][active] \_ 6:0:0:2 sdr 65:16 [ready ][active] \_ 7:0:0:2 sdu 65:64 [ready ][active] \_ 8:0:0:2 sdx 65:112 [ready ][active] ... gives this multipathed io profile : Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util sda 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdb 708,67 0,00 26,67 0,00 5877,33 0,00 2938,67 0,00 220,40 0,21 7,75 6,45 17,20 sdc 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdd 772,33 0,00 27,67 0,00 6400,00 0,00 3200,00 0,00 231,33 0,22 7,94 6,10 16,87 sde 707,33 0,00 26,00 0,00 5866,67 0,00 2933,33 0,00 225,64 0,23 8,92 6,22 16,17 sdf 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdg 771,33 0,00 28,67 0,00 6400,00 0,00 3200,00 0,00 223,26 0,22 7,53 5,72 16,40 sdh 707,67 0,00 25,67 0,00 5866,67 0,00 2933,33 0,00 228,57 0,24 9,51 6,55 16,80 sdi 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdj 772,67 0,00 27,33 0,00 6400,00 0,00 3200,00 0,00 234,15 0,23 8,30 5,99 16,37 sdk 707,67 0,00 25,67 0,00 5866,67 0,00 2933,33 0,00 228,57 0,23 8,83 6,81 17,47 sdl 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdm 761,00 0,00 27,00 0,00 6301,33 0,00 3150,67 0,00 233,38 0,18 6,68 5,48 14,80 sdn 742,67 0,00 27,00 0,00 6157,33 0,00 3078,67 0,00 228,05 0,21 7,85 5,86 15,83 sdo 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdp 723,67 0,00 26,33 0,00 6005,33 0,00 3002,67 0,00 228,05 0,24 8,89 6,51 17,13 sdq 741,00 0,00 25,67 0,00 6133,33 0,00 3066,67 0,00 238,96 0,24 9,19 7,08 18,17 sdr 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sds 772,00 0,00 27,67 0,00 6400,00 0,00 3200,00 0,00 231,33 0,23 8,20 6,36 17,60 sdt 739,67 0,00 27,00 0,00 6133,33 0,00 3066,67 0,00 227,16 0,25 9,35 7,31 19,73 sdu 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdv 771,00 0,00 29,00 0,00 6400,00 0,00 3200,00 0,00 220,69 0,26 8,92 7,13 20,67 sdw 741,00 0,00 25,67 0,00 6133,33 0,00 3066,67 0,00 238,96 0,24 9,18 7,12 18,27 sdx 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdy 772,33 0,00 27,67 0,00 6400,00 0,00 3200,00 0,00 231,33 0,24 8,82 6,71 18,57 sdz 739,67 0,00 27,00 0,00 6133,33 0,00 3066,67 0,00 227,16 0,25 9,19 6,48 17,50 sdaa 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 0,00 sdab 770,33 0,00 29,67 0,00 6400,00 0,00 3200,00 0,00 215,73 0,23 7,84 5,67 16,83 ... which give around 110 MB/s IET is the target implementation, running on a dual Xeon 2.8Ghz Initiator is a dual Opteron 248 NICs are tg3 on both side, connected to a 3com low cost switch without Jumbo Frames. Hope it helps ... Regards, cvaroqui