Re: Very poor read performance, query independent

[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

 



Claudio,

Find attached the iostat measured while redoing the query above (iostat1.txt). sda holds my temp directory (noop i/o scheduler), sdb the swap partition (cfq i/o scheduler) only and sdc (5 disks RAID0, noop i/o scheduler) holds the data. I didn't pay attention to the load caused by 12 parallel scans as I thought the RAID card would be smart enough to re-arrange the read requests optimally regardless of the load. At one moment during the query, there is a write storm to the swap drive (a bit like this case: https://www.postgresql.org/message-id/AANLkTi%3Diw4fC2RgTxhw0aGpyXANhOT%3DXBnjLU1_v6PdA%40mail.gmail.com). I can hardly explain it as there is plenty of memory on this server. The execution time of the query was 4801.1s (about 1h20min).
I reduced max_parallel_workers_per_gather to 2 and max_parallel_workers to 3, restarted postgresql then ran the query again while running iostat again (iostat2.txt): The query ran much faster, 1992.8s (about 33min) instead of 4801.1s (about 1h20min) and the swap storm is gone! You were right about the max_parallel_workers_per_gather!!
For the last test, I changed the scheduler on sdc to deadline (iostat3.txt) keeping max_parallel_workers_per_gather=2 and max_parallel_workers=3 then restarted postgresql. The execution time is almost the same: 1938.7s vs 1992.8s for the noop scheduler.

Thanks a lot for the suggestion, I'll keep my number of worker low to make sure I maximize my array usage.

Charles

On Mon, Jul 17, 2017 at 10:56 PM, Claudio Freire <klaussfreire@xxxxxxxxx> wrote:
On Fri, Jul 14, 2017 at 12:34 PM, Charles Nadeau
<charles.nadeau@xxxxxxxxx> wrote:
>                                  Workers Planned: 12
>                                  Workers Launched: 12
>                                  Buffers: shared hit=728798037 read=82974833
>                                  ->  Hash Semi Join
> (cost=30059688.07..47951761.31 rows=220376 width=20) (actual
> time=1268845.181..2007864.725 rows=7057357 loops=13)
>                                        Hash Cond: (flows.dstaddr =
> flows_1.dstaddr)
>                                        Buffers: shared hit=728795193
> read=82974833
>                                        ->  Nested Loop
> (cost=0.03..17891246.86 rows=220376 width=20) (actual time=0.207..723790.283
> rows=37910370 loops=13)
>                                              Buffers: shared hit=590692229
> read=14991777
>                                              ->  Parallel Seq Scan on flows
> (cost=0.00..16018049.14 rows=55094048 width=20) (actual
> time=0.152..566179.117 rows=45371630 loops=13)
>                                                    Buffers: shared
> hit=860990 read=14991777
>                                              ->  Index Only Scan using
> mynetworks_ipaddr_idx on mynetworks  (cost=0.03..0.03 rows=1 width=8)
> (actual time=0.002..0.002 rows=1 loops=589831190)
>                                                    Index Cond: (ipaddr >>=
> (flows.srcaddr)::ip4r)
>                                                    Heap Fetches: 0
>                                                    Buffers: shared
> hit=589831203

12 workers on a parallel sequential scan on a RAID-10 volume of
rotating disks may not be a good idea.

Have you measured average request size and average wait times with iostat?

Run "iostat -x -m -d 60" while running the query and copy a few
relevant lines (or attach the whole thing). I suspect 12 parallel
sequential scans are degrading your array's performance to random I/O
performance, and that explains the 10MB/s very well (a rotating disk
will give you about 3-4MB/s at random I/O, and you've got 2 mirrors on
that array).

You could try setting the max_parallel_workers_per_gather to 2, which
should be the optimum allocation for your I/O layout.

You might also want to test switching to the deadline scheduler. While
the controller may get more aggregate thoughput rearranging your I/O
requests, high I/O latency will severly reduce postgres' ability to
saturate the I/O system itself, and deadlines tends to minimize
latency. I've had good results in the past using deadline, but take
this suggestion with a grain of salt, YMMV.



--
charles@hpdl380g6:~$ iostat -x -m -d 60
Linux 4.4.0-86-generic (hpdl380g6) 	2017-07-18 	_x86_64_	(16 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               1.45    15.24    3.85    4.91     0.68     0.47   269.64     3.15  351.06  501.22  233.27   4.84   4.24
sdb               1.52   635.12   67.38   10.80     0.27     2.54    73.58     7.66   97.90   28.43  531.24   2.26  17.65
sdc               0.08     0.01   47.90    0.01    15.62     0.00   667.83     0.97   20.30   20.30    6.89   3.05  14.62

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.30    0.03    4.95     0.00     0.09    35.83     0.00    0.56    8.00    0.51   0.13   0.07
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.07     0.23  169.95    0.40     5.66     0.01    68.11     0.85    4.98    5.00    0.00   4.02  68.43

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.42    0.00    5.02     0.00     0.09    35.88     0.00    0.19    0.00    0.19   0.03   0.01
sdb               0.13     0.00    0.07    0.00     0.00     0.00    24.00     0.00    7.00    7.00    0.00   7.00   0.05
sdc               0.12     0.00  231.63    0.00     7.20     0.00    63.68     1.07    4.61    4.61    0.00   3.64  84.21

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.18    0.00    4.63     0.00     0.09    37.73     0.00    0.03    0.00    0.03   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  206.27    0.00     6.09     0.00    60.43     1.13    5.47    5.47    0.00   3.91  80.63

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.38    0.00    4.73     0.00     0.09    37.44     0.00    0.03    0.00    0.03   0.03   0.01
sdb               0.08     0.00    0.02    0.00     0.00     0.00    48.00     0.00   16.00   16.00    0.00  16.00   0.03
sdc               0.02     0.00  234.78    0.00     3.84     0.00    33.52     0.80    3.41    3.41    0.00   2.84  66.75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.13    0.00    4.62     0.00     0.09    37.72     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00   36.75    0.00     9.57     0.00   533.07     0.45   12.24   12.24    0.00   3.84  14.11

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.15    0.00    4.95     0.00     0.09    35.80     0.00    0.78    0.00    0.78   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  172.67    0.00     9.22     0.00   109.34     0.96    5.56    5.56    0.00   3.88  67.07

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.48    0.08    5.08     0.00     0.09    36.13     0.00    0.17    5.60    0.08   0.12   0.06
sdb               0.00     0.00    0.02    0.00     0.00     0.00     8.00     0.00   16.00   16.00    0.00  16.00   0.03
sdc               0.00     0.00  149.77    0.00     5.01     0.00    68.48     0.82    5.51    5.51    0.00   3.83  57.33

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.02    0.00    4.70     0.00     0.08    37.02     0.00    0.13    0.00    0.13   0.04   0.02
sdb               0.07     0.00    0.02    0.00     0.00     0.00    40.00     0.00   16.00   16.00    0.00  16.00   0.03
sdc               0.00     0.00  227.00    0.00     6.38     0.00    57.55     2.75   12.13   12.13    0.00   2.62  59.59

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.00    4.90     0.00     0.09    36.24     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  154.33    0.00     5.60     0.00    74.25     1.39    9.01    9.01    0.00   3.35  51.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.92    0.00    4.68     0.00     0.08    36.93     0.01    2.38    0.00    2.38   0.07   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  182.73    0.00     6.07     0.00    68.04     1.92   10.53   10.53    0.00   2.95  53.95

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.57    0.00    4.98     0.00     0.09    36.28     0.01    2.42    0.00    2.42   0.07   0.03
sdb               0.00     0.00    0.02    0.00     0.00     0.00     8.00     0.00   12.00   12.00    0.00  12.00   0.02
sdc               0.07     0.00  314.02    0.00     5.62     0.00    36.65     2.26    7.18    7.18    0.00   2.52  79.09

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.85    0.03    4.60     0.00     0.08    37.44     0.00    0.04    6.00    0.00   0.04   0.02
sdb               0.05     0.00    0.02    0.00     0.00     0.00    32.00     0.00   12.00   12.00    0.00  12.00   0.02
sdc               0.03     0.00  176.68    0.00     5.48     0.00    63.51     1.04    5.90    5.90    0.00   3.18  56.23

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda             119.87    21.48  107.68    7.72     1.48     0.19    29.61     0.38    3.25    3.42    0.90   2.59  29.92
sdb               4.00     0.00    7.55    0.00     0.05     0.00    12.24     0.04    5.70    5.70    0.00   2.89   2.18
sdc               0.00     0.05  264.52    0.15     7.43     0.00    57.51     1.43    5.42    5.42    0.00   2.86  75.73

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.43    0.02    4.50     0.00     0.08    37.17     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.05     0.00    0.02    0.00     0.00     0.00    32.00     0.00    8.00    8.00    0.00   8.00   0.01
sdc               0.00     0.00  247.80    0.00     8.15     0.00    67.36     1.60    6.45    6.45    0.00   2.76  68.44

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.35    0.00    4.82     0.00     0.09    36.87     0.00    0.19    0.00    0.19   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.08     0.00  278.37    0.00     9.29     0.00    68.31     2.22    7.97    7.97    0.00   2.32  64.48

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    10.97    0.00    4.12     0.00     0.06    31.32     0.00    0.02    0.00    0.02   0.02   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  480.53    0.00     5.97     0.00    25.46     2.20    4.59    4.59    0.00   1.84  88.33

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.30    0.12    4.97     0.00     0.09    36.12     0.00    0.18    8.00    0.00   0.18   0.09
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  486.63    0.00     5.11     0.00    21.51     2.32    4.77    4.77    0.00   1.82  88.69

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.33    0.00    4.88     0.00     0.09    36.40     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  599.40    0.00     5.79     0.00    19.77     1.79    2.99    2.99    0.00   1.42  84.92

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.93    0.00    4.72     0.00     0.08    36.72     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  545.27    0.00     4.89     0.00    18.35     1.37    2.51    2.51    0.00   1.64  89.15

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.02    4.90     0.00     0.09    35.99     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.07     0.00   63.77    0.00    34.92     0.00  1121.49     1.15   17.96   17.96    0.00   2.08  13.25

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.12    0.00    4.62     0.00     0.08    37.66     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.15     0.00  199.00    0.00    33.88     0.00   348.71     3.12   15.68   15.68    0.00   1.07  21.35

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.45    0.10    4.98     0.00     0.09    35.93     0.00    0.16    8.00    0.00   0.16   0.08
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.10     0.00  401.32    0.00    23.90     0.00   121.97     5.42   13.52   13.52    0.00   1.10  44.27

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    17.05    0.03    5.25     0.00     0.09    35.36     0.00    0.11    6.00    0.08   0.11   0.06
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  242.53    0.00    26.70     0.00   225.44     4.31   17.78   17.78    0.00   1.05  25.40

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.15    0.00    5.00     0.00     0.09    35.41     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.37     0.00  225.52    0.00   173.64     0.00  1576.91     7.19   31.91   31.91    0.00   2.02  45.58

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.00    4.62     0.00     0.09    37.83     0.00    0.35    0.00    0.35   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.80     0.00  239.58    0.00   236.94     0.00  2025.38     6.87   28.66   28.66    0.00   2.27  54.33

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.45    0.17    5.12     0.01     0.09    36.57     0.01    1.06    7.20    0.86   0.28   0.15
sdb               0.00     0.00    0.05    0.00     0.00     0.00     8.00     0.00   16.00   16.00    0.00   5.33   0.03
sdc               1.25     0.00  304.82    0.00   300.68     0.00  2020.22    10.87   35.62   35.62    0.00   2.40  73.05

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.42    0.02    4.88     0.00     0.09    37.44     0.00    0.04    8.00    0.01   0.04   0.02
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               1.32     0.00  351.78    0.00   348.00     0.00  2025.96    13.64   38.83   38.83    0.00   2.44  85.77

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.27    0.00    4.97     0.00     0.09    35.87     0.00    0.01    0.00    0.01   0.01   0.01
sdb               0.00     0.00    0.02    0.00     0.00     0.00     8.00     0.00    8.00    8.00    0.00   8.00   0.01
sdc               1.10     0.00  337.22    0.00   333.62     0.00  2026.17    11.89   35.24   35.24    0.00   2.38  80.41

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.43    0.05    5.12     0.00     0.09    35.02     0.00    0.17    5.33    0.12   0.09   0.05
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               1.58     0.00  363.97    0.00   360.07     0.00  2026.08    15.16   41.67   41.67    0.00   2.44  88.81

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.00    4.75     0.00     0.09    37.00     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.87     0.00  320.37    0.00   316.34     0.00  2022.27    10.54   32.91   32.91    0.00   2.29  73.52

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.17    0.00    3.93     0.00     0.08    40.03     0.01    1.69    0.00    1.69   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.78    1.47    4.80     0.02     0.09    33.51     0.01    2.13    9.00    0.03   0.35   0.22
sdb               0.18     0.00    0.07    0.00     0.00     0.00    30.00     0.00   31.00   31.00    0.00  31.00   0.21
sdc               0.00     0.00    0.35    0.00     0.00     0.00    27.43     0.00    6.29    6.29    0.00   6.29   0.22

charles@hpdl380g6:~$ iostat -x -m -d 60
Linux 4.4.0-86-generic (hpdl380g6) 	2017-07-18 	_x86_64_	(16 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               1.49    15.22    3.98    4.92     0.71     0.48   273.71     3.25  357.20  501.44  240.57   4.92   4.38
sdb               1.57   655.83   69.58   11.15     0.28     2.62    73.58     7.91   97.91   28.43  531.24   2.26  18.23
sdc               0.08     0.01   42.10    0.01    14.16     0.00   688.62     0.90   21.34   21.34    7.59   3.18  13.40

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.82    0.47    5.20     0.00     0.09    33.36     0.01    1.64   13.29    0.59   0.15   0.09
sdb               0.73     0.00    0.25    0.00     0.00     0.00    31.47     0.00    2.40    2.40    0.00   1.60   0.04
sdc               0.00     0.20  196.78    0.37     6.34     0.00    65.87     1.04    5.25    5.26    0.00   4.14  81.68

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.00    4.77     0.00     0.09    37.01     0.00    0.45    0.00    0.45   0.06   0.03
sdb               0.13     0.00    0.05    0.00     0.00     0.00    29.33     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.13     0.00  229.25    0.00     6.99     0.00    62.45     1.06    4.61    4.61    0.00   3.68  84.37

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.02    0.00    4.82     0.00     0.09    36.43     0.01    2.19    0.00    2.19   0.06   0.03
sdb               0.10     0.00    0.02    0.00     0.00     0.00    56.00     0.00    4.00    4.00    0.00   4.00   0.01
sdc               0.00     0.00  213.52    0.00     4.89     0.00    46.92     0.94    4.38    4.38    0.00   3.81  81.39

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.58    0.13    5.25     0.00     0.09    34.65     0.00    0.62    9.00    0.41   0.25   0.13
sdb               0.20     0.00    0.23    0.00     0.00     0.00    14.86     0.00    2.29    2.29    0.00   2.29   0.05
sdc               0.02     0.00  179.37    0.00     5.10     0.00    58.18     0.62    3.47    3.47    0.00   2.87  51.51

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    10.75    0.00    3.72     0.00     0.06    34.08     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.20     0.00    0.05    0.00     0.00     0.00    40.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00   69.87    0.00     8.79     0.00   257.73     0.55    7.87    7.87    0.00   4.12  28.81

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.32    0.00    5.03     0.00     0.09    35.76     0.00    0.21    0.00    0.21   0.03   0.01
sdb               0.60     0.00    0.12    0.00     0.00     0.00    49.14     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.03     0.00  163.32    0.00     8.92     0.00   111.88     0.96    5.85    5.85    0.00   3.85  62.90

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.33    0.00    4.90     0.00     0.09    36.30     0.00    0.63    0.00    0.63   0.08   0.04
sdb               0.22     0.00    0.08    0.00     0.00     0.00    28.80     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  160.37    0.00     5.22     0.00    66.63     1.22    7.58    7.58    0.00   3.61  57.81

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.00    4.90     0.00     0.09    36.30     0.00    0.35    0.00    0.35   0.05   0.03
sdb               0.13     0.00    0.05    0.00     0.00     0.00    29.33     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  222.75    0.00     6.29     0.00    57.81     2.71   12.15   12.15    0.00   2.65  59.14

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.00    4.78     0.00     0.09    36.85     0.00    0.17    0.00    0.17   0.03   0.01
sdb               0.17     0.00    0.03    0.00     0.00     0.00    48.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  153.22    0.00     5.67     0.00    75.85     1.34    8.72    8.72    0.00   3.35  51.35

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.08    4.95     0.00     0.09    35.44     0.00    0.12    7.20    0.00   0.12   0.06
sdb               0.32     0.00    0.10    0.00     0.00     0.00    33.33     0.00    2.67    2.67    0.00   2.67   0.03
sdc               0.00     0.00  194.87    0.00     5.50     0.00    57.84     1.68    8.61    8.61    0.00   3.06  59.62

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.02    4.80     0.00     0.09    36.82     0.01    1.13    8.00    1.11   0.11   0.05
sdb               0.58     0.00    0.17    0.00     0.00     0.00    36.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  286.10    0.00     5.93     0.00    42.43     2.37    8.27    8.27    0.00   2.60  74.31

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.02    4.90     0.00     0.09    36.18     0.00    0.28    0.00    0.29   0.04   0.02
sdb               0.12     0.00    0.02    0.00     0.00     0.00    64.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  174.37    0.00     4.51     0.00    52.94     0.90    5.14    5.14    0.00   3.60  62.70

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.33    0.03    4.75     0.01     0.09    41.56     0.00    0.78   12.00    0.70   0.11   0.05
sdb               0.17     0.00    0.03    0.00     0.00     0.00    48.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  248.05    0.00     7.15     0.00    59.02     1.42    5.72    5.72    0.00   3.07  76.12

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.03    4.77     0.00     0.09    38.31     0.01    1.68   10.00    1.62   0.10   0.05
sdb               0.10     0.00    0.07    0.00     0.00     0.00    20.00     0.00    1.00    1.00    0.00   1.00   0.01
sdc               0.00     0.00  277.58    0.00     7.64     0.00    56.35     1.71    6.15    6.15    0.00   2.77  76.85

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.02    16.22    0.23    4.90     0.02     0.09    43.69     0.00    0.34    7.43    0.00   0.34   0.17
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.12     0.00  238.58    0.00     9.08     0.00    77.96     2.29    9.61    9.61    0.00   2.37  56.60

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.42    0.00    4.95     0.00     0.09    36.23     0.00    0.03    0.00    0.03   0.03   0.01
sdb               0.18     0.00    0.05    0.00     0.00     0.00    37.33     0.00    5.33    5.33    0.00   5.33   0.03
sdc               0.00     0.00  445.87    0.00     6.28     0.00    28.86     1.78    3.99    3.99    0.00   2.04  90.78

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.17    0.00    4.88     0.00     0.09    36.15     0.00    0.27    0.00    0.27   0.05   0.03
sdb               0.02     0.00    0.02    0.00     0.00     0.00    16.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  504.27    0.00     5.31     0.00    21.55     3.37    6.68    6.68    0.00   1.80  90.79

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.87    0.00    4.62     0.00     0.08    37.23     0.00    0.01    0.00    0.01   0.01   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  580.73    0.00     5.57     0.00    19.66     1.59    2.74    2.74    0.00   1.48  85.95

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.12    0.03    4.82     0.00     0.09    38.21     0.00    0.29   42.00    0.00   0.15   0.07
sdb               0.05     0.00    0.03    0.00     0.00     0.00    20.00     0.00    6.00    6.00    0.00   6.00   0.02
sdc               0.00     0.00  590.58    0.00     5.39     0.00    18.70     1.59    2.69    2.69    0.00   1.54  90.67

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    17.03    0.05    5.07     0.00     0.09    36.43     0.00    0.07    6.67    0.00   0.07   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.05     0.00  162.92    0.00    27.80     0.00   349.48     1.15    7.07    7.07    0.00   1.88  30.67

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.75    0.02    5.05     0.00     0.09    36.32     0.00    0.09    4.00    0.08   0.09   0.05
sdb               0.15     0.00    0.05    0.00     0.00     0.00    32.00     0.00    6.67    6.67    0.00   6.67   0.03
sdc               0.18     0.00  119.80    0.00    33.20     0.00   567.62     1.75   14.64   14.64    0.00   1.65  19.83

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    12.55    0.00    4.13     0.00     0.07    34.16     0.00    0.58    0.00    0.58   0.06   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.12     0.00  396.90    0.00    21.63     0.00   111.61     3.09    7.79    7.79    0.00   1.37  54.50

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    20.68    0.00    5.90     0.00     0.11    37.47     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.02     0.00    0.02    0.00     0.00     0.00    16.00     0.00   12.00   12.00    0.00  12.00   0.02
sdc               0.08     0.00  469.32    0.00    24.58     0.00   107.25     7.45   15.87   15.87    0.00   0.84  39.57

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00     9.73    0.00    3.62     0.00     0.06    31.67     0.00    1.22    0.00    1.22   0.11   0.04
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.18     0.00  307.52    0.00    63.52     0.00   423.05     8.39   27.28   27.28    0.00   0.86  26.41

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.65    0.17    5.17     0.02     0.09    42.23     0.00    0.74    9.20    0.46   0.23   0.12
sdb               0.12     0.00    0.02    0.00     0.00     0.00    64.00     0.00   12.00   12.00    0.00  12.00   0.02
sdc               0.77     0.00  231.62    0.00   228.86     0.00  2023.61     7.72   33.29   33.29    0.00   2.34  54.13

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.72    0.00    4.93     0.00     0.09    36.84     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.07     0.00    0.03    0.00     0.00     0.00    24.00     0.00    8.00    8.00    0.00   8.00   0.03
sdc               0.98     0.00  244.73    0.00   242.63     0.00  2030.40     7.49   30.58   30.58    0.00   2.31  56.65

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.18    0.00    4.88     0.00     0.09    36.26     0.01    1.17    0.00    1.17   0.03   0.01
sdb               0.03     0.00    0.05    0.00     0.00     0.00    13.33     0.00    5.33    5.33    0.00   4.00   0.02
sdc               1.62     0.00  340.48    0.00   335.98     0.00  2020.93    12.83   37.72   37.72    0.00   2.42  82.37

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.77    0.00    4.65     0.00     0.08    36.79     0.00    0.52    0.00    0.52   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               1.68     0.00  342.80    0.00   339.21     0.00  2026.56    12.70   37.04   37.04    0.00   2.43  83.17

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.65    0.00    5.00     0.00     0.09    36.35     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.02     0.00    0.02    0.00     0.00     0.00    16.00     0.00   12.00   12.00    0.00  12.00   0.02
sdc               1.67     0.00  356.23    0.00   350.65     0.00  2015.93    14.08   39.54   39.54    0.00   2.39  85.03

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.75    0.23    4.75     0.03     0.08    46.07     0.01    1.57    8.86    1.21   0.37   0.19
sdb               0.02     0.00    0.02    0.00     0.00     0.00    16.00     0.00   16.00   16.00    0.00  16.00   0.03
sdc               1.15     0.00  351.48    0.00   347.52     0.00  2024.92    12.89   36.67   36.67    0.00   2.37  83.19

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.53    0.00    4.97     0.00     0.09    36.13     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.75     0.00    0.30    0.00     0.00     0.00    28.00     0.00    2.89    2.89    0.00   2.89   0.09
sdc               0.65     0.00  179.88    0.00   178.26     0.00  2029.51     5.47   30.43   30.43    0.00   2.32  41.75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.58    0.00    4.25     0.00     0.08    38.09     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.60    0.00    4.40     0.00     0.08    37.21     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

charles@hpdl380g6:~$ iostat -x -m -d 60
Linux 4.4.0-86-generic (hpdl380g6) 	2017-07-18 	_x86_64_	(16 CPU)

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               1.19    15.29    3.36    4.96     0.66     0.51   289.56     3.00  353.20  499.26  254.22   4.61   3.83
sdb               1.41   557.27   59.71    9.44     0.24     2.23    73.06     6.71   97.05   27.92  534.28   2.23  15.40
sdc               0.06     0.01   37.03    0.01    13.02     0.00   720.10     0.81   21.77   21.77    9.30   3.17  11.73

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    11.50    3.68    4.25     0.05     0.07    30.86     0.04    5.18    9.25    1.66   1.09   0.87
sdb               9.57     0.00   21.02    0.00     0.12     0.00    11.64     0.03    1.37    1.37    0.00   1.17   2.45
sdc               0.07     1.62   87.48    1.13     2.71     0.02    63.17     0.44    4.93    4.99    0.00   4.23  37.51

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    19.55    0.03    5.47     0.00     0.10    37.89     0.00    0.21    6.00    0.17   0.06   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.02  193.13    0.13     6.54     0.00    69.34     0.99    5.11    5.11    0.00   4.08  78.92

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.22    0.07    4.80     0.00     0.09    36.38     0.00    0.34    6.00    0.26   0.12   0.06
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.12     0.00  221.63    0.00     6.61     0.00    61.04     1.03    4.62    4.62    0.00   3.70  81.92

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    11.98    4.18    4.13     0.03     0.07    22.89     0.04    4.64    7.63    1.61   0.62   0.51
sdb               0.03     0.00    0.05    0.00     0.00     0.00    13.33     0.00   16.00   16.00    0.00   8.00   0.04
sdc               0.00     0.00  226.45    0.00     3.80     0.00    34.33     0.87    3.83    3.83    0.00   3.51  79.53

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.10    0.00    4.72     0.00     0.09    37.00     0.00    0.03    0.00    0.03   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  114.75    0.00     4.22     0.00    75.37     0.41    3.55    3.55    0.00   2.82  32.41

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.00    4.57     0.00     0.09    38.13     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00    5.60    0.00     5.60     0.00  2048.00     0.18   32.05   32.05    0.00   2.51   1.41

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.00    4.68     0.00     0.09    37.58     0.00    0.01    0.00    0.01   0.01   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  143.55    0.00     6.30     0.00    89.85     0.78    5.41    5.41    0.00   4.01  57.63

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.38    0.05    4.92     0.00     0.09    36.62     0.00    0.07    6.67    0.00   0.07   0.03
sdb               0.95     0.00    0.88    0.00     0.01     0.00    16.60     0.00    4.60    4.60    0.00   4.15   0.37
sdc               0.08     0.00  121.30    0.00     6.96     0.00   117.49     0.75    6.16    6.16    0.00   4.03  48.85

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.18    0.00    4.90     0.00     0.09    36.16     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  129.38    0.00     4.47     0.00    70.71     1.01    7.82    7.82    0.00   3.64  47.09

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.23    0.00    4.67     0.00     0.09    37.54     0.01    1.14    0.00    1.14   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  197.12    0.00     5.50     0.00    57.12     2.18   11.08   11.08    0.00   2.66  52.47

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.00    4.75     0.00     0.09    37.16     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  123.97    0.00     4.46     0.00    73.63     1.01    8.17    8.17    0.00   3.60  44.64

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.27    0.00    4.73     0.00     0.09    37.18     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  160.92    0.00     5.58     0.00    71.04     1.99   12.37   12.37    0.00   2.76  44.43

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.58    0.00    5.03     0.00     0.09    36.00     0.00    0.77    0.00    0.77   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  275.52    0.00     4.90     0.00    36.43     1.32    4.80    4.80    0.00   2.85  78.45

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.12    0.00    4.85     0.00     0.09    36.26     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.03     0.00  154.33    0.00     5.27     0.00    69.89     1.72   11.14   11.14    0.00   2.78  42.91

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.23    0.00    4.80     0.00     0.09    36.72     0.00    0.57    0.00    0.57   0.07   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  198.68    0.00     5.02     0.00    51.78     1.03    5.21    5.21    0.00   3.47  68.93

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.27    0.00    4.87     0.00     0.09    36.44     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  278.92    0.00     5.47     0.00    40.14     1.60    5.73    5.73    0.00   2.72  75.80

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.00    4.75     0.00     0.09    36.97     0.00    0.08    0.00    0.08   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  164.75    0.00     7.00     0.00    87.07     0.95    5.77    5.77    0.00   3.04  50.04

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.22    0.00    4.83     0.00     0.09    36.94     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  212.92    0.00     5.69     0.00    54.73     2.07    9.71    9.71    0.00   2.29  48.76

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.52    0.00    4.48     0.00     0.08    37.53     0.00    0.21    0.00    0.21   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.02     0.00  409.77    0.00     8.30     0.00    41.47     1.75    4.28    4.28    0.00   2.02  82.83

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.10    0.03    4.73     0.00     0.08    35.05     0.00    0.53    6.00    0.49   0.11   0.05
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  499.55    0.00     5.28     0.00    21.65     3.26    6.52    6.52    0.00   1.78  89.04

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.17    0.00    4.88     0.00     0.08    34.48     0.00    0.25    0.00    0.25   0.03   0.01
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  539.70    0.00     5.18     0.00    19.66     1.42    2.63    2.63    0.00   1.56  84.17

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    17.63    0.00    5.07     0.00     0.09    37.42     0.00    0.00    0.00    0.00   0.00   0.00
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  604.53    0.00     5.61     0.00    19.00     1.84    3.04    3.04    0.00   1.45  87.87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.03    4.80     0.00     0.09    36.55     0.00    0.06    8.00    0.00   0.06   0.03
sdb               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               0.00     0.00  253.27    0.00    12.74     0.00   103.03     0.83    3.29    3.29    0.00   1.85  46.86

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              30.00     9.88   49.55    4.24     3.81     0.06   147.23    30.67  512.55  511.82  521.06  10.90  58.65
sdb               1.31 11581.46    6.95  137.86     0.03    45.68   646.56    69.06  474.75   65.02  495.40   3.98  57.62
sdc               0.53     0.00   27.42    0.00    19.54     0.00  1459.84     3.48  126.91  126.91    0.00  18.20  49.89

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              25.82     1.61   64.91    1.06     8.34     0.01   259.24    56.68  810.89  809.60  889.94  14.01  92.45
sdb               3.39 18155.76   27.35  294.55     0.12    71.70   456.97   158.73  492.62  205.87  519.24   2.99  96.12
sdc               0.88     0.00   28.30    0.00    17.38     0.00  1257.54     3.94  139.16  139.16    0.00  26.14  73.96

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              28.34     7.11   72.85    2.30     9.09     0.04   248.86    65.05  883.90  878.77 1046.59  15.16 113.96
sdb               5.59 20757.70   31.61  337.69     0.15    82.26   456.98   201.34  542.84  233.68  571.78   3.08 113.80
sdc               0.92     0.00   25.53    0.00    17.98     0.00  1442.16     4.30  168.36  168.36    0.00  31.06  79.30

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              18.94     2.17   68.16    1.23     9.78     0.01   289.19    51.19  736.34  735.41  788.11  14.35  99.56
sdb               1.44 17642.69   20.33  285.22     0.09    72.14   484.09   199.75  656.89  479.91  669.51   3.27  99.78
sdc               0.96     0.00   27.05    0.00    17.62     0.00  1333.71     3.84  142.10  142.10    0.00  26.13  70.69

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              34.81     0.53   59.38    0.79     8.98     0.01   305.84    54.65  887.48  873.79 1918.43  15.36  92.42
sdb               3.83 16364.59   32.06  259.40     0.14    65.75   462.97   162.40  557.08  255.41  594.36   3.17  92.40
sdc               1.04     0.00   23.15    0.00    15.56     0.00  1376.79     3.68  158.93  158.93    0.00  27.97  64.75

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              38.04     1.03  138.97    1.00    17.55     0.01   256.92    70.25  487.79  478.46 1783.75   6.87  96.16
sdb               5.88 16247.37   46.64  309.44     0.21    64.82   374.00   160.17  449.56  103.93  501.65   2.69  95.89
sdc               0.92     0.00   21.85    0.00    14.27     0.00  1337.21     3.81  174.32  174.32    0.00  25.65  56.04

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              87.16     6.01  144.64    3.02    12.88     0.04   179.13    44.17  306.55  308.78  199.54   6.41  94.58
sdb              19.42 13537.32   57.67  281.56     0.30    54.66   331.83   109.99  324.35   51.45  380.25   2.58  87.69
sdc               0.81     0.00  116.85    0.00    14.83     0.00   259.96     2.82   24.10   24.10    0.00   6.83  79.81

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              35.47     1.08   79.00    1.21    10.52     0.01   268.79    65.35  722.25  719.59  895.29  12.84 102.98
sdb               4.63 18098.84   45.12  373.82     0.19    72.61   355.91   193.68  462.20  100.15  505.89   2.42 101.49
sdc               1.03     0.00   26.84    0.00    16.93     0.00  1291.56     3.64  135.45  135.45    0.00  23.77  63.82

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              64.93     1.57   83.11    1.81     9.05     0.01   218.46    61.38  722.98  721.80  777.35  12.09 102.69
sdb               6.88 17618.66   41.79  331.23     0.19    69.80   384.29   158.30  422.96  110.46  462.39   2.68  99.96
sdc               0.88     0.00   24.74    0.00    13.35     0.00  1104.93     2.97  119.95  119.95    0.00  23.91  59.16

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda              74.98    13.69  139.76    4.65    10.80     0.07   154.27    19.27  144.73  146.79   82.88   3.95  57.06
sdb              29.31  6576.10  110.89   94.84     0.55    27.18   275.97    43.53  214.17   22.40  438.39   2.55  52.56
sdc               0.56     0.00  146.95    0.00    10.70     0.00   149.14     1.64   11.15   11.15    0.00   4.52  66.46

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               4.87    14.15   37.29    5.07     1.12     0.08    58.17     0.24    5.70    6.32    1.12   1.17   4.96
sdb              13.62     0.00  246.84    0.00     1.02     0.00     8.44     6.69   27.19   27.19    0.00   2.30  56.86
sdc               0.02     0.00  133.77    0.00     1.37     0.00    21.03     0.49    3.63    3.63    0.00   3.52  47.06

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    18.25    0.82    5.20     0.01     0.10    37.27     0.01    1.00    7.35    0.00   0.30   0.18
sdb               0.15     0.00    1.00    0.00     0.00     0.00     9.20     0.00    2.00    2.00    0.00   1.87   0.19
sdc               0.00     0.00  191.27    0.00    10.50     0.00   112.44     0.90    4.69    4.69    0.00   2.87  54.93

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.00    4.88     0.00     0.09    36.53     0.00    0.19    0.00    0.19   0.03   0.01
sdb               1.58     0.00  139.63    0.00     0.55     0.00     8.09     3.74   26.69   26.69    0.00   2.20  30.69
sdc               0.00     0.00   86.55    0.00     8.18     0.00   193.51     0.52    6.03    6.03    0.00   3.32  28.74

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    11.80    0.02    4.20     0.00     0.07    32.28     0.00    0.32    8.00    0.29   0.13   0.05
sdb               3.23     0.00  447.23    0.00     1.76     0.00     8.06    13.00   29.04   29.04    0.00   2.24 100.00
sdc               0.00     0.00    1.32    0.00     0.01     0.00    16.00     0.01    4.46    4.46    0.00   4.46   0.59

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               1.37    16.38    8.88    4.73     0.27     0.09    53.52     0.08    5.89    7.34    3.18   1.41   1.91
sdb               4.05     0.00  448.40    0.00     1.77     0.00     8.07    13.02   29.07   29.07    0.00   2.23 100.00
sdc               0.00     0.00    0.40    0.00     0.00     0.00    16.00     0.01   21.67   21.67    0.00  21.67   0.87

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.15    0.00    5.15     0.00     0.09    34.69     0.00    0.00    0.00    0.00   0.00   0.00
sdb               3.10     0.00  447.02    0.00     1.76     0.00     8.06    12.98   29.03   29.03    0.00   2.24 100.00
sdc               0.00     0.00    1.95    0.00     0.02     0.00    16.00     0.01    4.58    4.58    0.00   4.58   0.89

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.05    0.00    4.77     0.00     0.09    36.56     0.00    0.00    0.00    0.00   0.00   0.00
sdb               1.40     0.00  444.00    0.00     1.74     0.00     8.03    12.99   29.26   29.26    0.00   2.25 100.00
sdc               0.00     0.00    0.50    0.00     0.00     0.00    16.00     0.00    5.33    5.33    0.00   5.33   0.27

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.93    0.00    4.75     0.00     0.08    36.13     0.00    0.20    0.00    0.20   0.03   0.01
sdb               0.68     0.00  444.13    0.00     1.74     0.00     8.01    12.98   29.23   29.23    0.00   2.25 100.00
sdc               0.00     0.00    0.28    0.00     0.00     0.00    16.00     0.00    7.76    7.76    0.00   7.76   0.22

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.90    0.02    4.70     0.00     0.08    37.06     0.00    0.06   16.00    0.00   0.06   0.03
sdb               2.63     0.00  444.48    0.00     1.75     0.00     8.05    13.01   29.27   29.27    0.00   2.25 100.00
sdc               0.00     0.00    0.22    0.00     0.00     0.00    19.69     0.00    5.54    5.54    0.00   5.54   0.12

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.28    0.60    4.85     0.00     0.09    33.17     0.01    1.44    8.44    0.58   0.20   0.11
sdb               3.03     0.00  445.87    0.00     1.75     0.00     8.05    13.01   29.17   29.17    0.00   2.24 100.00
sdc               0.00     0.00    0.47    0.00     0.00     0.00    16.00     0.00    5.57    5.57    0.00   5.57   0.26

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.20    0.02    4.95     0.01     0.09    39.11     0.00    0.05   16.00    0.00   0.05   0.03
sdb               2.55     0.00  444.58    0.00     1.75     0.00     8.05    12.99   29.22   29.22    0.00   2.25 100.00
sdc               0.00     0.00    0.82    0.00     0.01     0.00    16.00     0.00    5.55    5.55    0.00   5.47   0.45

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.22    0.00    4.85     0.00     0.09    36.62     0.01    1.90    0.00    1.90   0.08   0.04
sdb               2.52     0.00  445.68    0.00     1.75     0.00     8.05    12.82   28.77   28.77    0.00   2.24 100.00
sdc               0.00     0.00   27.53    0.00     1.78     0.00   132.67     0.14    5.23    5.23    0.00   3.44   9.47

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.30    0.00    4.98     0.00     0.09    35.93     0.00    0.00    0.00    0.00   0.00   0.00
sdb               3.23     0.00  427.80    0.00     1.68     0.00     8.06    10.93   25.55   25.55    0.00   2.34 100.00
sdc               0.00     0.00  222.67    0.00     2.32     0.00    21.34     0.77    3.45    3.45    0.00   3.33  74.06

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.33    0.00    4.85     0.00     0.09    36.81     0.00    0.00    0.00    0.00   0.00   0.00
sdb               1.02     0.00  123.90    0.00     0.49     0.00     8.07     1.56   12.66   12.66    0.00   3.42  42.38
sdc               0.03     0.00  117.07    0.00    16.07     0.00   281.14     0.82    6.97    6.97    0.00   2.53  29.58

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.32    0.00    4.92     0.00     0.09    36.80     0.00    0.11    0.00    0.11   0.03   0.01
sdb               1.77     0.00  178.93    0.00     0.71     0.00     8.08     4.49   25.02   25.02    0.00   2.42  43.27
sdc               0.00     0.00   96.32    0.00     5.55     0.00   117.91     0.52    5.40    5.40    0.00   3.52  33.93

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.27    0.00    4.87     0.00     0.09    36.68     0.00    0.00    0.00    0.00   0.00   0.00
sdb               1.90     0.00  298.08    0.00     1.17     0.00     8.05     7.83   26.32   26.32    0.00   2.30  68.68
sdc               0.00     0.00   68.77    0.00     4.26     0.00   127.02     0.38    5.46    5.46    0.00   3.53  24.29

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.87    0.02    4.48     0.00     0.08    38.43     0.01    2.00    4.00    1.99   0.04   0.02
sdb               1.77     0.00  154.85    0.00     0.61     0.00     8.09     4.31   27.75   27.75    0.00   2.19  33.95
sdc               0.00     0.00  137.35    0.00     4.49     0.00    66.89     0.74    5.36    5.36    0.00   3.79  52.01

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.78    0.00    4.58     0.00     0.08    36.60     0.00    0.44    0.00    0.44   0.06   0.03
sdb               5.83     0.00  454.80    0.00     1.80     0.00     8.10    13.03   28.64   28.64    0.00   2.20 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.82    0.00    4.43     0.00     0.08    37.50     0.00    0.24    0.00    0.24   0.03   0.01
sdb               5.35     0.00  444.33    0.00     1.76     0.00     8.10    13.02   29.31   29.31    0.00   2.25 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.02    0.00    4.73     0.00     0.08    36.03     0.01    1.48    0.00    1.48   0.04   0.02
sdb               5.58     0.00  448.57    0.00     1.77     0.00     8.10    13.05   29.07   29.07    0.00   2.23 100.00
sdc               0.00     0.00    0.02    0.00     0.00     0.00     8.00     0.00   12.00   12.00    0.00  12.00   0.02

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.00    0.00    4.57     0.00     0.08    35.18     0.00    0.39    0.00    0.39   0.07   0.03
sdb               5.88     0.00  445.73    0.00     1.76     0.00     8.11    13.02   29.20   29.20    0.00   2.24 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    13.88    0.00    4.27     0.00     0.07    34.97     0.00    0.00    0.00    0.00   0.00   0.00
sdb               5.62     0.00  451.23    0.00     1.78     0.00     8.10    13.04   28.92   28.92    0.00   2.22 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    13.48    0.00    4.15     0.00     0.07    35.08     0.00    0.02    0.00    0.02   0.02   0.01
sdb               6.35     0.00  446.07    0.00     1.77     0.00     8.11    13.03   29.22   29.22    0.00   2.24 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.50    15.88    0.68    4.63     0.01     0.08    35.13     0.01    1.48   10.05    0.22   0.39   0.21
sdb               5.98     0.00  446.48    0.00     1.77     0.00     8.11    13.04   29.20   29.20    0.00   2.24 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.97    0.00    4.70     0.00     0.08    36.77     0.00    0.43    0.00    0.43   0.09   0.04
sdb               4.98     0.00  447.57    0.00     1.77     0.00     8.09    13.06   29.16   29.16    0.00   2.23 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.02    0.00    4.58     0.00     0.08    36.97     0.00    0.20    0.00    0.20   0.03   0.01
sdb               5.92     0.00  447.28    0.00     1.77     0.00     8.11    13.03   29.15   29.15    0.00   2.24 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.63    0.00    4.52     0.00     0.08    36.55     0.00    0.21    0.00    0.21   0.03   0.01
sdb               7.13     0.00  452.10    0.00     1.79     0.00     8.13    13.06   28.89   28.89    0.00   2.21 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.85    0.00    4.42     0.00     0.08    37.55     0.00    0.21    0.00    0.21   0.03   0.01
sdb               7.50     0.00  449.48    0.00     1.79     0.00     8.13    13.06   29.05   29.05    0.00   2.22 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.75    0.00    4.48     0.00     0.08    37.06     0.01    2.63    0.00    2.63   0.10   0.05
sdb               6.20     0.00  445.37    0.00     1.76     0.00     8.11    13.06   29.32   29.32    0.00   2.25 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.02    16.02    0.13    4.82     0.02     0.08    43.10     0.00    0.39    8.50    0.17   0.26   0.13
sdb               7.63     0.00  451.18    0.00     1.79     0.00     8.14    13.10   29.06   29.06    0.00   2.22 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.98    0.00    4.63     0.00     0.08    36.52     0.00    0.00    0.00    0.00   0.00   0.00
sdb               7.83     0.00  449.08    0.00     1.78     0.00     8.14    13.08   29.12   29.12    0.00   2.23 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.73    0.00    4.32     0.00     0.08    38.02     0.01    2.10    0.00    2.10   0.06   0.03
sdb               8.17     0.00  449.77    0.00     1.79     0.00     8.15    13.08   29.08   29.08    0.00   2.22 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.90    0.18    4.60     0.02     0.08    44.74     0.00    0.81    8.73    0.49   0.31   0.15
sdb               6.12     0.00  449.95    0.00     1.78     0.00     8.11    13.07   29.06   29.06    0.00   2.22 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.72    0.17    4.60     0.02     0.08    42.57     0.00    0.74    9.20    0.43   0.27   0.13
sdb               7.28     0.00  457.88    0.00     1.82     0.00     8.13    13.14   28.70   28.70    0.00   2.18 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.07    1.13    4.55     0.11     0.08    69.79     0.01    1.50    7.53    0.00   0.90   0.51
sdb               8.93     0.00  456.77    0.00     1.82     0.00     8.16    13.14   28.72   28.72    0.00   2.19 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.90    0.00    4.38     0.00     0.08    38.02     0.01    1.67    0.00    1.67   0.03   0.01
sdb               6.33     0.00  455.58    0.00     1.80     0.00     8.11    13.04   28.67   28.67    0.00   2.19 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.78    0.00    4.68     0.00     0.08    35.76     0.00    0.00    0.00    0.00   0.00   0.00
sdb               4.88     0.00  456.78    0.00     1.80     0.00     8.09    13.05   28.56   28.56    0.00   2.19 100.00
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.02    0.03    4.13     0.00     0.08    38.14     0.00    0.11   12.00    0.02   0.06   0.03
sdb               4.38     0.00  453.62    0.00     1.79     0.00     8.08    12.91   28.45   28.45    0.00   2.20 100.00
sdc               0.00     0.00    0.18    0.00     0.11     0.00  1241.45     0.00   15.27   15.27    0.00   7.64   0.14

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    11.55    0.00    4.13     0.00     0.06    31.90     0.00    0.45    0.00    0.45   0.06   0.03
sdb               3.60     0.00  441.13    0.00     1.74     0.00     8.07    11.69   26.53   26.53    0.00   2.27 100.00
sdc               0.22     0.00   48.63    0.00    48.46     0.00  2040.59     1.40   28.84   28.84    0.00   2.26  11.01

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.02    21.08    0.15    6.10     0.02     0.11    43.95     0.00    0.32    6.22    0.17   0.14   0.09
sdb               3.22     0.00  381.57    0.00     1.50     0.00     8.07     7.57   19.86   19.86    0.00   2.62  99.98
sdc               1.22     0.00  253.88    0.00   248.78     0.00  2006.82     8.70   34.26   34.26    0.00   2.32  58.81

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    10.93    0.00    4.27     0.00     0.06    30.56     0.00    0.00    0.00    0.00   0.00   0.00
sdb               3.25     0.00  185.57    0.00     0.74     0.00     8.14     0.89    4.81    4.81    0.00   4.72  87.66
sdc               1.32     0.00  380.37    0.00   370.70     0.00  1995.97    16.96   44.55   44.55    0.00   2.46  93.59

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.25    0.02    5.02     0.00     0.09    35.55     0.01    1.30    8.00    1.28   0.08   0.04
sdb               0.15     0.00    0.53    0.00     0.00     0.00    10.25     0.01   10.25   10.25    0.00   2.12   0.11
sdc               2.33     0.00  389.65    0.00   377.44     0.00  1983.80    21.09   54.15   54.15    0.00   2.54  99.10

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.42    0.73    5.03     0.02     0.09    38.50     0.01    1.82    6.27    1.17   0.58   0.33
sdb               0.17     0.00    0.03    0.00     0.00     0.00    48.00     0.00    0.00    0.00    0.00   0.00   0.00
sdc               2.02     0.00  388.88    0.00   377.60     0.00  1988.59    21.07   54.16   54.16    0.00   2.54  98.92

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    16.45    0.00    5.00     0.00     0.09    36.08     0.00    0.03    0.00    0.03   0.03   0.01
sdb               0.18     0.00    0.12    0.00     0.00     0.00    20.57     0.00    9.71    9.71    0.00   3.43   0.04
sdc               1.55     0.00  398.50    0.00   385.25     0.00  1979.89    21.65   54.35   54.35    0.00   2.48  98.95

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.02    16.25    2.65    4.77     0.18     0.09    72.83     0.02    2.44    6.82    0.00   1.75   1.30
sdb               1.90     0.00    7.32    0.00     0.04     0.00    10.08     0.08   10.55   10.55    0.00   1.59   1.16
sdc               1.00     0.00  263.72    0.00   255.83     0.00  1986.78    14.13   53.63   53.63    0.00   2.53  66.79

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.93    0.00    4.63     0.00     0.08    36.52     0.01    1.42    0.00    1.42   0.07   0.03
sdb               0.18     0.00    0.18    0.00     0.00     0.00    16.00     0.00    1.82    1.82    0.00   1.82   0.03
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util
sda               0.00    15.85    0.00    4.27     0.00     0.08    38.72     0.00    0.06    0.00    0.06   0.03   0.01
sdb               0.17     0.00    0.18    0.00     0.00     0.00    15.27     0.00    1.45    1.45    0.00   1.45   0.03
sdc               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00    0.00    0.00   0.00   0.00

-- 
Sent via pgsql-performance mailing list (pgsql-performance@xxxxxxxxxxxxxx)
To make changes to your subscription:
http://www.postgresql.org/mailpref/pgsql-performance

[Postgresql General]     [Postgresql PHP]     [PHP Users]     [PHP Home]     [PHP on Windows]     [Kernel Newbies]     [PHP Classes]     [PHP Books]     [PHP Databases]     [Yosemite]

  Powered by Linux