Ghost2004
Junior Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Цитата: второй вопрос - насколько улучшится srep от добавляения точных матчей (сейчас он в отличие от rep матчит только блоками по L байт, выравненными на L-байтную границу)
|
Не знаю насчёт других данных, но на этих 7.5 Гб результат вышел такой:
srep-16kb+lzma:192mb:max 4.572.251.124 => 3.297.545.899 bytes. Ratio 72.1%
Compression time: cpu 8767.70 secs, real 7578.52 secs. Speed 603 kB/s
rep:512+srep-512+lzma 4.002.779.320 => 3.294.577.644 bytes. Ratio 82.3%
Compression time: cpu 7674.43 secs, real 6768.63 secs. Speed 591 kB/s
rep:256+srep-512+lzma 3.927.490.696 => 3.294.442.325 bytes. Ratio 83.8%
Compression time: cpu 7988.63 secs, real 6647.13 secs. Speed 591 kB/s
rep:256+srep-256+lzma 3.926.065.808 => 3.294.808.056 bytes. Ratio 83.9%
Compression time: cpu 7974.75 secs, real 6673.66 secs. Speed 588 kB/s
srep-512+lzma 4.101.289.228 => 3.293.144.163 bytes. Ratio 80.2%
Compression time: cpu 7210.52 secs, real 5147.89 secs. Speed 797 kB/s
Разумеется, первым четырём разультатам могли мешать множество вкладок файрфокса или симонкей, так что время вышло большее. Но сжимаемость ну просто очень мало пострадала. Даже если матчить болками по 16Кб, выравненными под те же 16 Кб.
При этом l128 - далеко не лучший вариант по любому:
srep-128+lzma 3.916.538.436 => 3.294.102.320 bytes. Ratio 84.1%
Compression time: cpu 8419.50 secs, real 6596.33 secs. Speed 594 kB/s
srep-128+rep:128+lzma 3.879.943.240 => 3.297.288.815 bytes. Ratio 84.9%
Compression time: cpu 7724.89 secs, real 6584.84 secs. Speed 589 kB/s
rep:128+srep-128+rep:128+lzma 3.827.112.122 => 3.294.651.845 bytes. Ratio 86.0%
Compression time: cpu 9351.99 secs, real 8523.16 secs. Speed 449 kB/s
Тут проход rep-ом даже ухудшил результат...
srep-16kb+rep:512+lzma 4.014.605.104 => 3.297.558.308 bytes. Ratio 82.1%
Compression time: cpu 7664.74 secs, real 6389.70 secs. Speed 628 kB/s
Толку в смысле степени сжатия от rep:512 - даже минус, хотя в смысле времени вроде стало лучше. Вот только результаты в смысле времени у такого rep'а - сводят выигрыш на нет (хотя это конечно из-за a99, которая наверно избыточна):
srep-16kb->rep:512(:a99) выдаёт 4.572.251.124 => 4.014.604.842 bytes. Ratio 87.8%
Compression time: cpu 979.48 secs, real 1350.09 secs.
Т.е. lzma после srep-16kb даёт cpu 8767.70 secs, real 7578.52, lzma после srep-16kb+rep:512 - cpu 7664.74 secs, real 6389.70 secs. Разница - 1102.96 secs cpu, 1188.82 secs real - примерно столько же, сколько уходит на rep:512:a99:h27:1700mb . И сжимаемость даже ухудшается - хоть и всего на 12 кб...
В результате выходит, что rep после srep'а смысла не имеет - на этих данных и с дожатием lzma:192mb:max:lc8... Хотя можно в принципе посмотреть варианты rep без a99 - да больно оно долго будет, повторять половину тестов... Что можно глянуть, так это srep+lzma:959mb:mc29:h896mb - ведь тут встроена хорошая замена rep. Ещё можно испробовать lc8 к этому - а может, уменьшить mc до 3-ех - для высокой скорости такого lzma. Помимо этого есть ещё вариант rep+srep - он-то как раз вроде выглядит полезнее. Но наверное в фриарк с srep-препроцессором его не встроишь - он должен идти первым при сжатии и последним при распаковке, иначе придётся разбираться с лишним tempfile'ом...
Но в принципе, возможно стоит расчищать место да переходить к тестированию 24 Гб SO4... Ссылку на скачивание сейчас дать не могу - убрали её... Хотя может и можно как-нибудь исхитриться с тем торрентом - DHT ещё работает...
Короче, есть три варианта дальнейших тестов - rep+srep, srep+lzma:959mb или уже переходить к 24 Гб... Что предпочтительнее - второе имеет смысл (ведь моё впечатление от ht4 - rep встроенный в lzma, только matchfinder чуть послабее)?
Добавлено:
Так, похоже моим результатам в смысле времени и скорости lzma особо доверять не стоит - в последнем сеансе у меня было открыто слишком много окон и вкладок Firefox'а да Seamonkey (а может ещё что в фоне мешало - тот же торрент кажется был всё таки запущен) - а когда их в сумме штук 20-30, то они у самой системы окусывают много ресурсов, и Freearc медленнее работает... Но совсем не использовать инет пока что-то сжимается по два часа на файл, а файлов этих с десяток - для меня уже слишком  .
Вот ещё пара результатов, которые окончательно мне это подтвердили:
srep256+lzma 4.011.245.268 => 3.293.358.015 bytes. Ratio 82.1%
Compression time: cpu 9240.61 secs, real 8069.13 secs. Speed 497 kB/s
srep256+srep256+lzma 3.997.881.040 => 3.293.098.543 bytes. Ratio 82.3%
Compression time: cpu 9118.75 secs, real 7554.55 secs. Speed 529 kB/s
Причём при сжатии второго файла активности было куда как меньше. |
