подружить get_nf_direct с gzip

Технические вопросы по UTM 5.0
Ответить
PsM
Сообщения: 8
Зарегистрирован: Ср июн 03, 2009 09:05
Откуда: Ставрополь

подружить get_nf_direct с gzip

Сообщение PsM »

Ктонибуть пробовал сабж ?

gzip-ом деталка жметься в 3,5 раза, при этом время распаковки вполне приемлеммое, проблем производительностью CPU нету , а вот с местом беда, счас уже по 2Гига за сутки капает :(

Пока вижу тока один путь - скрипт который будет каждый файл распаковывать на ram-диск и для каждого файла запускать get_nf_direct.

Есть у когонибуть еще идеи ? пускаю под линуксом, мож ФС c сжатием какая есть ?

mikkey finn
Сообщения: 1612
Зарегистрирован: Пт ноя 10, 2006 15:23

Сообщение mikkey finn »

ds_utm спасет отца русской демократии.
Деталку поднимать надо редко, а вот объемы -да... растут...

JAO
Сообщения: 1153
Зарегистрирован: Вт дек 11, 2007 08:17

Сообщение JAO »

bzip2 -9 тоже очень неплохо давит, до 20% от исходного размера у меня (формат детальки utm). В сутки идет по гигу неупакованной. А для построения отчетов я пользуюсь самописной штукой, заточенной под обработку упакованных файлов (.bz2)

PsM
Сообщения: 8
Зарегистрирован: Ср июн 03, 2009 09:05
Откуда: Ставрополь

Сообщение PsM »

mikkey finn писал(а):ds_utm спасет отца русской демократии.
не подскажите что такое ds_utm ?

PsM
Сообщения: 8
Зарегистрирован: Ср июн 03, 2009 09:05
Откуда: Ставрополь

Сообщение PsM »

JAO писал(а):bzip2 -9 тоже очень неплохо давит, до 20% от исходного размера у меня (формат детальки utm). В сутки идет по гигу неупакованной. А для построения отчетов я пользуюсь самописной штукой, заточенной под обработку упакованных файлов (.bz2)
я тестировал gzip, bzip2, lzma и 7zip. Остановился на gzip-е потому что время распаковки сильно меньше чем у остальных архиваторов
lzma лучше жмет чем bzip2, правда дольше, но зато время распаковки в два раза меньше чем у bzip2
ваша самописная штука испльзует get_nf_direct или она сама напрямую работает с файлами ?

JAO
Сообщения: 1153
Зарегистрирован: Вт дек 11, 2007 08:17

Сообщение JAO »

Напрямую. Может работать тихо и через командную строку, в таком виде ее можно использовать в скриптах. Также содержит конвертер в SQL дамп (MySQL) для построения сильно заумных отчетов вручную.. Поддержка gzip планируется на следующие версии.

Качайте http://jao.passim-service.ru/files/drg093.zip
Более подробно расписано в этой теме viewtopic.php?t=3016

Ответить