Форум OlegON > Компьютеры и Программное обеспечение > Операционные системы и программное обеспечение > Linux

NAS4FREE: Ограничение использования CPU процессом. : Linux

25.04.2024 19:20


30.08.2014 14:30
baggio
 
1. Имеем скрипт архивации с помощью p7zip.
2. Архивируем много и долго.
3. В процессе архивации одно единственное ядро CPU - выданное NAS4FREE загружается до ~100%
4. Всё бы ничего при этом нормально работает и SMB шара и BTsync и FTP , но вот веб морда уходит в даун... что не радует...
задача:
запускать скрипт с ограниченной возможность использования проца.
что пробовал:

Цитата:
nas4free: ~ # nice -n -10 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.
nas4free: ~ # man nice
man: Command not found.
nas4free: ~ # nice 19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
19: Command not found.
nas4free: ~ # nice 18 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
18: Command not found.
nas4free: ~ # nice 17 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
17: Command not found.
nas4free: ~ # nice 16 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
16: Command not found.
nas4free: ~ # nice 11 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
11: Command not found.
nas4free: ~ # nice 10 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
10: Command not found.
nas4free: ~ # nice 9 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
9: Command not found.
nas4free: ~ # nice 5 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
5: Command not found.
nas4free: ~ # nice -1 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt

7-Zip (A) [64] 9.20 Copyright (c) 1999-2010 Igor Pavlov 2010-11-18
p7zip Version 9.20 (locale=en_US.UTF-8,Utf16=on,HugeFiles=on,1 CPU)
Scanning

Creating archive /mnt/200GB/BackUp/1c/1c.7z

Compressing п·п▒п╘п░п╞/п║п° п░п╩я└п╟п╡п╦я┌/USB002
в чем прикол? чтото опять ниразу не интуитивно...

забыл...
Цитата:
nas4free: ~ # man nice
man: Command not found.
nas4free: ~ # nice --help
nice: Badly formed number.
nas4free: ~ # nice --h
nice: Badly formed number.
nas4free: ~ # nice -h
nice: Badly formed number.
nas4free: ~ #
итак ... курение манов насколько я понимаю дает следующее
http://www.freebsddiary.org/nice.php
nice -10 - это типа занчение "10"
nice --10 - это типа значение "-10"
ан нет ... нигуя...
Цитата:
nice --19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.
продолжаем...

Цитата:
nice --adjustment 19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.
Цитата:
nice --adjustment --19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.
Цитата:
nas4free: ~ # nice --adjustment -19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.
от безысходности :)
Цитата:
nas4free: ~ # nice --adjustment +19 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
nice: Badly formed number.

кстати если запустить так
Цитата:
nice 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
то:
Цитата:
PID USERNAME THR PRI NICE SIZE RES STATE TIME WCPU COMMAND
24626 root 1 92 4 227M 206M RUN 0:09 50.98% 7za
2268 root 1 52 0 39412K 4164K kqread 0:03 1.95% lighttpd
2337 root 6 20 0 50640K 19044K select 2:32 0.00% btsync
1862 root 2 52 0 98M 5940K select 0:12 0.00% vmtoolsd
18268 root 1 25 4 16596K 2484K STOP 0:01 0.00% top
2410 root 1 20 0 56272K 3772K select 0:01 0.00% sshd
22360 root 1 24 4 16596K 1960K RUN 0:01 0.00% top
18271 root 1 20 0 56272K 3780K select 0:01 0.00% sshd
2474 root 1 20 0 84640K 7304K select 0:01 0.00% smbd
1984 root 1 20 0 29744K 3528K select 0:00 0.00% proftpd
2040 root 1 20 0 67580K 4488K select 0:00 0.00% nmbd
2043 root 1 20 0 76196K 5896K select 0:00 0.00% smbd
18273 root 1 20 0 17564K 2868K pause 0:00 0.00% csh
2412 root 1 24 4 17564K 2716K pause 0:00 0.00% csh
18254 root 1 24 4 16596K 1904K STOP 0:00 0.00% top
1797 root 1 20 0 12112K 1368K select 0:00 0.00% syslogd
почему 4???? во всех манах должно быть 10!!!
30.08.2014 15:58
vdm
 
Насчет параметров. Если утилита не понимает ключи --help, -h то обычно можно запустить ее без ключей вообще.
Стандартно оно так:
Код:
nice -n 20 command
30.08.2014 16:32
OlegON
 
запускай просто nice, а то может быть вариант, что несколько суток лопатить 7z будет.
кстати, прибиться процесс может легко, 7z - жручий память, я уже как-то словил прибитие чего-то после его старта с ультракомпрессией.
проверить с каким приоритетом запускается процесс с nice (процесс его может и сам менять) можно командой, например
Цитата:
nice ps -eo "%n %c" | grep ps
10 ps
предлагаю сформулировать требования к расположению, дельте и срокам хранения бекапа в другой теме, лучше подумаем над тем, как его красиво сделать, а не архивать его на одном ядре архиватором.
30.08.2014 18:41
baggio
 
ты мне опять предлогаешь костыли...
есть простое требование ограничить процесс использованием например 50-60-70% .. так как мне надо...
1. вопрос как это сделать?
2. Как это сделать на freebsd?
3. Как это сделать на nas4free?
4. почему команда nice -n число - не работает? хотя по всем манам должна?
5. почему команда
Цитата:
nas4free: ~ # nice -1 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
- работает
а
Цитата:
nas4free: ~ # nice 1 7za a -mx5 -ssc /mnt/200GB/BackUp/1c/1c.7z @/mnt/200GB/BackUp/listfile_1c.txt
т.е. с любым положительным числом нет?
странно правда?
6. почему запуская команду nice без аргументов - оно запускается с приоритетом 4??? WTF??? по всем манам оно должно запуститься с приоритетом 10...

кстати я ниразу не формулировал требования к хранению, срокам и т.д.
на данном этапе это не интересно...
30.08.2014 19:44
OlegON
 
я предлагаю?! я тебя от них отговорить пытаюсь...
1.
Код:
nice -n -1 ps -eo "%n %c" | grep ps
-1 ps
повышение приоритета (минусовые значения), выполнял под рутом
2. подозреваю, что точно так же
3. подозреваю, что как и на freebsd
4. потому, что ты не из под рута ее пускаешь, а нех кривым юзерам приоритет поднимать давать... это недоос заваливается от каждого чиха юзера
5. потому, что тебе следует пользоваться маном и запускать команду с теми параметрами, какие она воспринимает, а не какие-то произвольные ей подсовывать, которые могут восприниматься неоднозначно. Правильный формат: nice -n X, где X - приоритет программы, положительный или отрицательный, причем, в минус, на повышение, может уходить не абы кто, а имеющий на это право.
6. Ты не только маны не читаешь, но и то, что я именно для тебя и пишу. С ps попробовал? Есть предположение, что где-то криво что-то пускаешь, либо 7z сам себе приоритет меняет, типа "не ниже".

Можешь объяснить свое желание не объяснять, что ты в итоге хочешь сделать? Открою тебе секрет, например, на ZFS есть компрессия и дедубликация. Можно совершенно нормально копировать файлы без сжатия. Да, не так, как 7z пожмет, но неплохо. А если не менялся файл, то и вообще два файла займут столько же места, сколько один. А с 7z есть шанс налететь на выход за пределы памяти, о чем я уже писал раньше. Ты пойми, применять на совсем другой ОС подходы "по старинке" неправильно и нелогично. Теряешь все возможности и мощь, которые тебе предоставляет новая система.
30.08.2014 20:06
baggio
 
расказывать про ZFS мне не надо... оно там и так есть...
Бэкапы должны храниться и находиться на разных физически машинах, не мне тебе это объяснять...
давай без лирики...
1. ты мне говоришь
Цитата:
nas4free: ~ # nice -n -1 ps -eo "%n %c" | grep ps
nice: Badly formed number.
nas4free: ~ # -1 ps
-1: Command not found.
nas4free: ~ #
я хз что это значит... вывод дал...

2. ты говоришь nice -n X, где X - приоритет программы

Цитата:
nas4free:: Too many arguments.
nas4free: ~ # nice -n 10
nice: Badly formed number.
nas4free: ~ # nice -n 1
nice: Badly formed number.
nas4free: ~ #
причем я сверху написал кучу перепробованных команд среди которых есть и предстввленная тобой...

3.
Цитата:
Ты не только маны не читаешь, но и то, что я именно для тебя и пишу
ткни меня носом какой ман почитать... а то их мульон... ссылки я давал выше и ни один не работает...
я прям обещяюсь от корки до корки прочитать.. (по этой команде :))

4.
Цитата:
потому, что ты не из под рута ее пускаешь, а нех кривым юзерам приоритет поднимать давать...
- я не поднять пытаюсь а опустить... и запускаю от рута... от пользователя root а вот то что нет su или sudo это на мой взляд другое... кстати забавно ... пользователь root - запускается от него... не не от root т.к. нет su или sudo ... все интуитивно и понятно :)))))

5. мне не нужны снапшоты... они и так есть... мне не нужно сжатие... мне ничего не нужно кроме того чтобы сделать архив и разложить по нужным мне винтам и устройствам....
вещь то простейшая... на которую у меня на винде уходим минут 10 максимум...
а тут такие мороки...
30.08.2014 20:40
OlegON
 
1. значит, что ты ошибся разделом :) под Линуксом это все работает
2. нигде не написано, под кем ты это запускаешь. Команда whoami есть.
3. 4. 5.
смотри, давай оценивать мои советы не с точки зрения на мое желание доказать, что винда - говно или оправдать все Unix-like в твоих глазах, а с точки зрения на мое желание помочь тебе в запутанной для тебя ситуации. Предлагаю я что-то не для того, чтобы увести тебя от темы, а потому, что кажется, что ты идешь по ложному следу. В частности - архивация, целей которой ты так и не объясняешь.
Итак, ты поставил куцую систему, без манов и прочего, расчитанную на использование из вебморды и требуешь от нее полного функционала.
Предлагаю поставить Linux, если нигде спецов по фре под рукой нет. Или поставить нормальную, полноценную фрю, а не обертку для вебморды. В первом случае подсказок с моей стороны будет куда больше. И маны будут и т.д.
ZFS не только есть, она еще и настраивается, в т.ч. компрессия и дедуп. Снапшоты не надо - понятно, нет, так нет.
Если винты и устройства, по которым ты раскладывать собрался, локальные, то подход в корне ошибочный. Если удаленные, то надо бы разобраться, какие, потом разбираться с ними. Например, если это Linux, то rsync и та же ZFS проблему решают на корню.
30.08.2014 20:55
baggio
 
Олег прости.. конечно...
я понимаю что ты пытаешься помочь... я искренне тебе и остальным благодарен...
просто вот ты тоже многда пинаешь "НедоОС"... я вот тоже как вижу чтото с моей стороны не логичные вещи прям так и прет... матом написать :)... будем исправлятся....
суть бэкапа стара как мир... получить резервную копию данных, для предотвращения потери данных...
я старый человек.. и не очень доверяю всяким новомодным zfs и всяким снапшотам... поэтому хочу иметь всегда запасной вариант... заархивировал положил подальше... и спиться спокойнее...
я думаю я пояснил зачем мне арзивация..

Да я поставил куцую систему
Да по ходу она без манов для экономии места...
Но Ё МОЁ... оно же должно работать как и везде! я по крайней мере так думаю... а эти криворучки... хз чего навертели гады...

Меня вполне устраиваем вебморда NAS4FREE - мне от него много то не надо...
FTP
SMB
BTSYNC
YANDEX.DISK
может еще TFTP
и всё энто вроде как пашет...
Просто если ктото чтото делает криворуко...я честно об этом пишу и говорю...
не важно фря это линукс или винда...
вот с командой nice на nas4free косяк... она есть но работает не как ожидается... на это я обращяю внимание.. может кому поможет...
30.08.2014 21:20
OlegON
 
Вот и делаешь с непривычки ошибки одну за другой... но мы сделаем из тебя правильного линуксоида :)
Успокойся и забудь про снапшоты, раз они тебя так пугают.

Но вот в сторону ZFS ты как-то совсем не попал плевком. это промышленная файловая система Solaris, причем, вполне себе зрелая, лет 10 ей есть наверняка, причем промышленного использования, а не где-то там. Мне NTFS нравится, но вот от возможностей ZFS я просто пищал от восторга. Про возможности устроить софтовый рейд - одно, потрясающие возможности размеров и количества файлов - другое, но в ней есть и возможность прозрачно записывать несколько копий блоков. Т.е. ставишь опцию copies=2, пишешь файл, а записывается сразу два. Один блок побился, второй - целый, контрольные суммы блоков. Что записал, то и прочитаешь. Поиграй с этой системой на тестовом серваке. Я ее как только не резал - scrub и система, как гидра, возрождается.

Теперь, "как везде" с учетом поправленного дистрибутива не работает. Он для того и поправленный. И, еще раз, это НЕ Linux. И не какая-то его сборка. Это другая ОС, совсем.

Если полез в командную строку - поставь нормальную систему... Так и будешь спотыкаться...
30.08.2014 21:40
baggio
 
1. Меня не пугают навороты ZFS... точнее я не считаю их достаточными...
при условии что у меня железный raid5+ESXI с его FS - VMware_FS5 т.е. своя FS + на ней стоит Nas4free в котором UFS+ZFS - внимание вопрос к знатокам... сколлько времени потребуется на выковыривание zfs из vmware_fs????
час?два? три? а если развалится raid5???
вся проблема в том что ты думаешь что я совсем того... и пытаюсь изобрести велосипед... а на самом деле это едитнственно верное решение... :)
Часовой пояс GMT +3, время: 19:20.

Форум на базе vBulletin®
Copyright © Jelsoft Enterprises Ltd.
В случае заимствования информации гипертекстовая индексируемая ссылка на Форум обязательна.