iostat выдает странные значения : Linux

xray84 · █ 27.01.2022 15:22

Доброго времени суток всем ))

есть вот такой кусок лога, реальная нагрузка на серваке с 5 Тб базой на oracle linux 6.6 версии:

Код:

2022-01-26 00:14:03 avg-cpu:  %user   %nice %system %iowait  %steal   %idle
2022-01-26 00:14:03                                  13.80      0.00      2.59     46.34    0.00   37.27
2022-01-26 00:14:03 
2022-01-26 00:14:03 Device:         rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
2022-01-26 00:14:03 fd0                   0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 sda                  0.00     2.70    0.00    1.40     0.00    18.00    25.71     0.00    0.21   0.21   0.03
2022-01-26 00:14:03 sdc               0.00     2.00    7.00   62.60  2355.25   251.05    74.89     0.68    9.71   5.79  40.31
2022-01-26 00:14:03 sdx               0.00     1.90    7.20   70.70  2457.60   204.80    68.35     0.49    6.40   3.10  24.12
2022-01-26 00:14:03 sdd               0.10     0.00   68.40    9.20  9828.00    76.40   255.27     3.61   46.47   8.73  67.73
2022-01-26 00:14:03 sdb               0.00     0.00   79.00   10.00  8348.00    48.00   188.67     5.95   65.02   8.77  78.05
2022-01-26 00:14:03 sdl                 0.20     0.00   75.10   12.80  9115.20    80.00   209.22     3.37   38.32   7.62  67.02
2022-01-26 00:14:03 sdm               0.00     2.10    6.90   45.90  2355.20   208.00    97.09     0.59   11.24   6.44  34.00
2022-01-26 00:14:03 sdo               0.20     0.00   75.60   12.20 10329.70   100.80   237.60     5.75   64.38   9.06  79.58
2022-01-26 00:14:03 sdn               0.30     0.00   68.90   11.80  8894.40    91.20   222.69     2.78   34.47   7.71  62.24
2022-01-26 00:14:03 sdw               0.30     0.00   76.00   11.80 10195.20    71.20   233.86     2.89   34.41   6.64  58.33
2022-01-26 00:14:03 sde               0.10     0.00   80.90   11.60  9491.30    76.80   206.88     3.46   37.53   7.35  67.96
2022-01-26 00:14:03 sdf               0.00     0.00   74.70   11.80  8599.20    64.80   200.32     3.42   39.51   7.46  64.55
2022-01-26 00:14:03 sdj               0.00     0.00   77.80   10.60  9676.80    73.60   220.60     4.84   54.70   9.20  81.36
2022-01-26 00:14:03 sdi               0.20     0.00   70.10    7.60  8969.60    66.40   232.59     5.66   72.90  10.85  84.32
2022-01-26 00:14:03 sdh               0.20     0.00   87.50    8.60  9900.00    52.00   207.12     3.56   36.68   7.23  69.50
2022-01-26 00:14:03 sdg               0.20     0.00   74.60    8.20  9668.80    62.40   235.05     5.51   64.27  10.29  85.24
2022-01-26 00:14:03 sdu               0.10     0.00   74.80    9.20  9334.40    44.00   223.30     5.10   58.28   9.24  77.61
2022-01-26 00:14:03 sdk               0.20     0.00   75.40   10.80  9848.00    65.60   230.01     3.50   40.44   7.32  63.10
2022-01-26 00:14:03 sdp               0.00     0.00   75.50   11.00  9384.80    64.00   218.47     3.15   37.29   8.06  69.74
2022-01-26 00:14:03 sdq               0.30     0.00   79.50   11.20  8816.80    74.40   196.06     5.51   58.63   9.36  84.87
2022-01-26 00:14:03 sdt               0.00     3.60    7.00   57.00  2355.25   204.80    80.00     0.82   12.18   6.60  42.22
2022-01-26 00:14:03 sdv               0.20     0.00   65.40   11.40  9112.00    75.20   239.25     5.61   71.81  10.85  83.35
2022-01-26 00:14:03 sds               0.00     1.20    7.10   57.80  2356.85   222.40    79.48     0.52    7.44   5.06  32.81
2022-01-26 00:14:03 sdr               0.00     1.20    6.60   55.80  2252.80   211.90    79.00     0.74   11.89   5.90  36.84
2022-01-26 00:14:03 dm-0              0.00     0.00    0.00    0.70     0.00     4.40    12.57     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 dm-3              0.00     0.00    0.00    0.30     0.00     1.20     8.00     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 dm-4              0.00     0.00    0.00    3.10     0.00    12.40     8.00     0.00    0.42   0.06   0.02
2022-01-26 00:14:03 dm-5              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
2022-01-26 00:14:03 sdy               0.00     0.00   67.80   10.40  9126.40   104.80   236.09     5.23   65.90  10.81  84.57
2022-01-26 00:14:03 sdz               0.00     0.00   73.50    8.60  9300.00    48.80   227.74     5.12   59.38   9.36  76.86

подскажите, пож-ста, значения CPU %iowait в 46% и дисковой подсистемы await = от 50 до 70 и svctm = от 9 до 12 при нагрузке %util = от 80 до 90%
это нормально вообще в данном случае???

OlegON · █ 27.01.2022 15:48

Не очень понял, что тебе показалось здесь странным... Все же ни дисков, ни реальной нагрузки я не знаю.
Судя по иопсам и скорости записи-чтения это какое-то лютейшее говно мамонта на IDE или что-то неисправное.
%util можешь сразу вычеркивать, оно для привлечения внимания в лучшем случае, а не для оценки, особенно, если там RAID.
К моему большому сожалению, такая же участь постигла и svctm. То есть этот показатель считается ненадежным и, вроде как, собирались его выпилить.

xray84 · █ 27.01.2022 16:11

вот, уже что то )) какие там именно диски сказать трудно, так как работа удаленная полностью, обслуживаем их на аутсорсе. Скажи Олег, про иопсы и скорости чтения и записи ты на какие больше колонки смотришь? на IDE врядли там, как я знаю, вирт машина там рулит, и узкое место именно там.

OlegON · █ 27.01.2022 18:19

Думаю, что тебе на самом деле сюда https://olegon.ru/showthread.php?t=23867
если заговорили про iostat, то я обычно смотрю

Код:

iostat -xdcm 3

В момент пиковых нагрузок... ее можно создать тестом по ссылке выше, например...
Собственно, смотрим на r/s, w/s, rkB/s, wkB/s. Это, собственно, количество операций на чтение-запись (IOPS) и объем прочитанного-записанного соответственно.
Учитывая, что диски при значимой очереди пишут и читают на уровне 60-70 иопсов и 10Мб/сек... Это что-то совсем непотребное... Правильные цифры смотри по ссылке выше.

xray84 · █ 28.01.2022 09:17

вот что выдает сейчас, без пиковой нагрузки:

Код:

avg-cpu:  %user   %nice %system %iowait  %steal   %idle
                                 24.36    0.00     4.19         17.46    0.00   53.98

Device:         rrqm/s   wrqm/s     r/s     w/s    rMB/s    wMB/s avgrq-sz avgqu-sz   await  svctm  %util
fd0               0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
sda               0.00     4.67    0.00    3.00     0.00     0.05    37.33     0.00    0.67   0.67   0.20
sdc               0.00    23.00    0.00  165.67     0.00     1.33    16.50     0.17    1.01   0.91  15.00
sdx               0.00    23.33    0.00  168.33     0.00     1.67    20.28     0.13    0.80   0.73  12.23
sdd               7.33     0.00  380.67   28.67    67.68     0.24   339.84     1.25    3.06   1.25  51.27
sdb              10.00     0.00  290.67   36.00    58.33     0.34   367.84     1.01    3.09   1.19  38.80
sdl               3.00     0.00  283.67   33.33    56.92     0.44   370.56     0.97    3.04   1.31  41.40
sdm               0.00    12.67    0.00   76.33     0.00     1.33    35.77     0.10    1.36   1.21   9.20
sdo               7.00     0.00  298.33   35.33    52.79     0.66   328.06     0.88    2.64   1.15  38.33
sdn              12.33     0.00  334.33   33.33    61.61     0.18   344.22     1.13    3.07   1.21  44.53
sdw              11.00     0.00  305.33   48.67    59.09     0.43   344.35     0.92    2.60   1.04  36.87
sde              22.67     0.00  331.67   56.67    61.34     0.52   326.25     1.12    2.88   1.05  40.70
sdf              13.67     0.00  324.33   40.67    57.96     0.43   327.61     1.25    3.42   1.31  47.83
sdj              10.00     0.00  327.33   25.33    58.94     0.17   343.26     1.13    3.22   1.35  47.53
sdi               4.33     0.00  295.67   32.67    59.26     0.44   372.37     1.05    3.21   1.31  42.90
sdh               5.67     0.00  325.33   32.67    60.83     0.35   349.96     1.11    3.11   1.26  44.97
sdg               4.33     0.00  307.33   37.33    55.10     0.27   328.97     0.94    2.72   1.21  41.57
sdu               8.00     0.00  324.67   34.67    63.77     0.27   364.97     1.09    3.03   1.22  43.90
sdk               4.00     0.00  289.67   32.00    56.95     0.24   364.12     1.00    3.11   1.28  41.10
sdp               8.67     0.00  347.00   29.33    57.10     0.26   312.16     1.08    2.86   1.10  41.57
sdq              11.33     0.00  315.00   27.33    57.19     0.19   343.28     1.02    2.99   1.30  44.50
sdt               0.00    23.33    0.00  209.33     0.00     1.66    16.27     0.18    0.86   0.77  16.07
sdv              10.00     0.00  284.67   38.67    49.41     0.36   315.25     0.83    2.55   1.06  34.37
sds               0.00    11.67    0.00   64.33     0.00     1.68    53.55     0.08    1.19   0.97   6.23
sdr               0.00    13.00    0.00   94.00     0.00     1.46    31.80     0.05    0.56   0.50   4.73
dm-0              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-1              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-2              0.00     0.00    0.00    0.00     0.00     0.00     0.00     0.00    0.00   0.00   0.00
dm-3              0.00     0.00    0.00    1.00     0.00     0.00     8.00     0.00    0.00   0.00   0.00
dm-4              0.00     0.00    0.00    5.67     0.00     0.05    16.94     0.01    1.82   0.41   0.23
dm-5              0.00     0.00    0.00    1.00     0.00     0.00     8.00     0.00    0.00   0.00   0.00
sdy               8.00     0.00  316.33   40.00    56.85     0.30   328.49     1.24    3.49   1.44  51.47
sdz              17.33     0.00  305.33   43.33    53.24     0.28   314.42     1.05    3.04   1.19  41.53

но как ты писал выше про 60-70 IOPS и 10 Мб/сек, тут все равно высокие параметры 300 IOPS и 55 Мб/сек - тоже плохие параметры???

OlegON · █ 28.01.2022 09:25

Помещай, плз, содержимое консоли в CODE, а не QUOTE, иначе не рассмотреть ничего. Править каждый раз лень.
Ты принципиально не смотришь, что я тебе выше по ссылке дал? Для современного диска и базы данных количество IOPS должно быть больше 50000, а скорость обмена больше 500Мб/сек в топе нагрузки. По ссылке тест для замера и результаты с отзывами. Попробуй выполнить у себя, снимет массу вопросов и приседаний со стороны ОС.

xray84 · █ 28.01.2022 09:59

Олег, я не игнорирую! Просто, как пишут те же dosc.oracle.com, нужно же чтобы юзеров в идеале в базе не было, а там постоянно кто то есть (( вот время и надо выбрать.
Олег, ты пишешь, снимет массу приседаний со стороны ОС. Тоесть, ты больше этим колибровкам доверяешь DBMS_RESOURCE_MANAGER.CALIBRATE_IO, чем тому же iostat например???

OlegON · █ 28.01.2022 10:13

Ты сейчас с помощью iostat пытаешься понять, насколько хорошо базе с дисками. Это ректальное лечение гланд. Зайди в базу и спроси ее об этом... На iostat переключишься, когда будешь разбираться уже с ОС. Пока все говорит о том, что проблема в железке/виртуальном стеке и с ОС тут пока нечего ловить, если только ты не собираешься удивиться, что при остановленной базе диски нагружены в потолок.
С юзерами в нормальных конторах все просто - на 21:00 объявляются регламентные работы, тем более, что этот тест минут на 15 максимум.

xray84 · █ 28.01.2022 23:17

по ссылке, что выше по калибровке выдал такое:

Код:

max_iops = 73498
latency  = 0
max_mbps = 764

OlegON · █ 29.01.2022 07:27

ну вот, куда более вменяемые цифры... это для базы подходит... надеюсь, что перед текстом машину не перезагружали, а, если виртуалка, то остаётся только надеяться, что на момент тестов не выключали всех соседей, которые затем все съели...