Is straw2 bucket type working well?

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

 



Hi all,

I tested straw / straw 2 bucket type.

The Ceph document says below

  • straw2 bucket type fixed several limitations in the original straw bucket
  • the old straw buckets would change some mapping that should hava changed when a weight was adjusted
  • straw2 achieves the original goal of only chaging mappings to or from the bucket item whose weight has changed

I expect that there is no data remapping after reweight of some OSDs

However, There's som data remapping even though all the bucket type's are straw2.

Did I tested wrongly?


### ceph osd tree

-8 134.15195 rack rack-1
-2  19.63199     host ceph01
 0   1.63599         osd.0                 up  1.00000          1.00000
 1   1.63599         osd.1                 up  1.00000          1.00000
 .
.
13   1.63599         osd.13                up  1.00000          1.00000
-3  22.90399     host ceph02
16   1.63599         osd.16                up  1.00000          1.00000
17   1.63599         osd.17                up  1.00000          1.00000
.
.
15   1.63599         osd.15                up  1.00000          1.00000
-4  22.90399     host ceph03
28   1.63599         osd.28                up  1.00000          1.00000
30   1.63599         osd.30                up  1.00000          1.00000
.
.
29   1.63599         osd.29                up  1.00000          1.00000
-5  22.90399     host ceph04
42   1.63599         osd.42                up  1.00000          1.00000
43   1.63599         osd.43                up  1.00000          1.00000
.
.
55   1.63599         osd.55                up  1.00000          1.00000
-6  22.90399     host ceph05
56   1.63599         osd.56                up  1.00000          1.00000
57   1.63599         osd.57                up  1.00000          1.00000
.
.
69   1.63599         osd.69                up  1.00000          1.00000
-7  22.90399     host ceph06
70   1.63599         osd.70                up  1.00000          1.00000
71   1.63599         osd.71                up  1.00000          1.00000
.
.
83   1.63599         osd.83                up  1.00000          1.00000


### ceph osd df
root@Fx2x1ctrlserv01:~# ceph osd df
ID WEIGHT  REWEIGHT SIZE  USE    AVAIL  %USE  VAR  PGS
 0 1.63599  1.00000 1675G   684G   991G 40.85 1.01 262
 1 1.63599  1.00000 1675G   579G  1095G 34.61 0.85 287
 2 1.63599  1.00000 1675G   604G  1070G 36.09 0.89 268
 3 1.63599  1.00000 1675G   695G   980G 41.50 1.02 278
 4 1.63599  1.00000 1675G   441G  1233G 26.35 0.65 244
 5 1.63599  1.00000 1675G   668G  1007G 39.89 0.98 290
 6 1.63599  1.00000 1675G   522G  1152G 31.21 0.77 270
 7 1.63599  1.00000 1675G   547G  1127G 32.70 0.81 241
 8 1.63599  1.00000 1675G   538G  1136G 32.16 0.79 265
 9 1.63599  1.00000 1675G   811G   863G 48.44 1.19 296
10 1.63599  1.00000 1675G   605G  1069G 36.16 0.89 256
11 1.63599  1.00000 1675G   633G  1042G 37.79 0.93 293
12 1.63599  1.00000 1675G   622G  1052G 37.15 0.92 266
13 1.63599  1.00000 1675G   612G  1062G 36.57 0.90 285
16 1.63599  1.00000 1675G   661G  1013G 39.49 0.97 316
17 1.63599  1.00000 1675G   667G  1007G 39.86 0.98 284
18 1.63599  1.00000 1675G   613G  1061G 36.62 0.90 296
19 1.63599  1.00000 1675G   553G  1121G 33.04 0.81 312
20 1.63599  1.00000 1675G   779G   896G 46.51 1.15 298
21 1.63599  1.00000 1675G   770G   904G 46.01 1.13 296
22 1.63599  1.00000 1675G   650G  1024G 38.84 0.96 283
23 1.63599  1.00000 1675G   696G   978G 41.59 1.02 299
24 1.63599  1.00000 1675G   805G   869G 48.09 1.18 300
25 1.63599  1.00000 1675G   740G   934G 44.21 1.09 303
26 1.63599  1.00000 1675G   593G  1081G 35.42 0.87 281
27 1.63599  1.00000 1675G   781G   893G 46.64 1.15 296
14 1.63599  1.00000 1675G   757G   917G 45.24 1.11 316
15 1.63599  1.00000 1675G   815G   859G 48.67 1.20 308
28 1.63599  1.00000 1675G   551G  1123G 32.95 0.81 290
30 1.63599  1.00000 1675G   641G  1033G 38.32 0.94 282
31 1.63599  1.00000 1675G   696G   979G 41.55 1.02 304
32 1.63599  1.00000 1675G   640G  1035G 38.21 0.94 268
33 1.63599  1.00000 1675G   678G   996G 40.52 1.00 293
34 1.63599  1.00000 1675G   680G   994G 40.62 1.00 334
35 1.63599  1.00000 1675G   759G   915G 45.36 1.12 311
36 1.63599  1.00000 1675G   750G   924G 44.83 1.10 294
37 1.63599  1.00000 1675G   696G   979G 41.55 1.02 284
38 1.63599  1.00000 1675G   741G   933G 44.27 1.09 305
39 1.63599  1.00000 1675G   680G   994G 40.63 1.00 299
40 1.63599  1.00000 1675G   497G  1177G 29.69 0.73 279
41 1.63599  1.00000 1675G   561G  1114G 33.49 0.83 265
29 1.63599  1.00000 1675G   724G   950G 43.26 1.07 305
42 1.63599  1.00000 1675G   653G  1021G 39.02 0.96 311
43 1.63599  1.00000 1675G   749G   925G 44.76 1.10 275
44 1.63599  1.00000 1675G   725G   949G 43.31 1.07 295
45 1.63599  1.00000 1675G   542G  1132G 32.40 0.80 294
46 1.63599  1.00000 1675G   794G   881G 47.40 1.17 309
47 1.63599  1.00000 1675G   705G   969G 42.10 1.04 299
48 1.63599  1.00000 1675G   670G  1005G 40.00 0.99 293
49 1.63599  1.00000 1675G   778G   896G 46.47 1.14 324
50 1.63599  1.00000 1675G   669G  1005G 39.99 0.99 289
51 1.63599  1.00000 1675G   584G  1091G 34.86 0.86 269
52 1.63599  1.00000 1675G   633G  1041G 37.81 0.93 281
53 1.63599  1.00000 1675G   816G   858G 48.74 1.20 297
54 1.63599  1.00000 1675G   660G  1014G 39.44 0.97 292
55 1.63599  1.00000 1675G   698G   976G 41.70 1.03 290
56 1.63599  1.00000 1675G   713G   962G 42.56 1.05 313
57 1.63599  1.00000 1675G   778G   897G 46.45 1.14 306
58 1.63599  1.00000 1675G   594G  1080G 35.51 0.88 255
59 1.63599  1.00000 1675G   587G  1087G 35.09 0.86 287
60 1.63599  1.00000 1675G   716G   958G 42.76 1.05 296
61 1.63599  1.00000 1675G   714G   960G 42.65 1.05 305
62 1.63599  1.00000 1675G   814G   861G 48.60 1.20 325
63 1.63599  1.00000 1675G   647G  1027G 38.68 0.95 266
64 1.63599  1.00000 1675G   726G   948G 43.38 1.07 324
65 1.63599  1.00000 1675G   587G  1087G 35.09 0.86 284
66 1.63599  1.00000 1675G   806G   868G 48.14 1.19 303
67 1.63599  1.00000 1675G   845G   829G 50.46 1.24 321
68 1.63599  1.00000 1675G   608G  1066G 36.34 0.90 283
69 1.63599  1.00000 1675G   597G  1078G 35.64 0.88 292
70 1.63599  1.00000 1675G   677G   997G 40.46 1.00 307
71 1.63599  1.00000 1675G   606G  1068G 36.19 0.89 298
72 1.63599  1.00000 1675G   658G  1016G 39.30 0.97 270
73 1.63599  1.00000 1675G   608G  1067G 36.30 0.89 294
74 1.63599  1.00000 1675G   716G   958G 42.79 1.05 297
75 1.63599  1.00000 1675G   779G   895G 46.55 1.15 298
76 1.63599  1.00000 1675G   671G  1004G 40.06 0.99 309
77 1.63599  1.00000 1675G   705G   969G 42.13 1.04 281
78 1.63599  1.00000 1675G   633G  1041G 37.84 0.93 268
79 1.63599  1.00000 1675G   815G   859G 48.68 1.20 321
80 1.63599  1.00000 1675G   768G   907G 45.86 1.13 296
81 1.63599  1.00000 1675G   717G   957G 42.83 1.06 322
82 1.63599  1.00000 1675G   860G   814G 51.39 1.27 311
83 1.63599  1.00000 1675G   707G   967G 42.24 1.04 324

root@ceph-mon01:~# for i in {0,14,28,42,56,70};do ceph osd reweight $i .7;done
reweighted osd.0 to 0.7 (b333)
reweighted osd.14 to 0.7 (b333)
reweighted osd.28 to 0.7 (b333)
reweighted osd.42 to 0.7 (b333)
reweighted osd.56 to 0.7 (b333)
reweighted osd.70 to 0.7 (b333)

본문 이미지 1

_______________________________________________
ceph-users mailing list
ceph-users@xxxxxxxxxxxxxx
http://lists.ceph.com/listinfo.cgi/ceph-users-ceph.com

[Index of Archives]     [Information on CEPH]     [Linux Filesystem Development]     [Ceph Development]     [Ceph Large]     [Ceph Dev]     [Linux USB Development]     [Video for Linux]     [Linux Audio Users]     [Yosemite News]     [Linux Kernel]     [Linux SCSI]     [xfs]


  Powered by Linux