Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)

Модерирует : gyra, Maz

 Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156

Открыть новую тему     Написать ответ в эту тему

Widok



Moderator-Следопыт		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Часть 1 | Часть 2 | Часть 3

Скачать последний релиз - FreeArc 0.666 от 20 мая 2010 г. Что нового: ускорение работы в 1.5-2 раза благодаря новой технологии многопоточного сжатия, распаковка архивов многих форматов используя технологии 7-zip, запуск файлов из архива, исправлены все проблемы интеграции с Explоrer (подробнее)
Текущая альфа версия: 0.67 - загрузка | список исправлений | блог

Подробное описание используемых алгоритмов
Почему он сжимает лучше и быстрее, чем 7-zip/rar...
Результаты тестов, подтверждающие его крутизну...
Почему для использования 2+ гб памяти желательно установить 64-битную версию Windows
Планы дальнейшего развития
Что подразумевается под "интеграцией с Explorer"
Старая FreeArc wiki (включая описание формата архива)
Логотип и иконки FreeArc - обсуждение того, как облагородить внешний вид программы

Сторонние оболочки для работы с FreeArc:
• wArc - простая и понятная программа управления архивами (требует .NET Framework 2.0)
• PeaZip - менеджер архивов с поддержкой большого количества форматов, для Windows и Linux

Родственные темы:
• Inno Setup плюс внешние упаковщики - использование архивов FreeArc в инсталяторах
• ISDone.dll - библиотека распаковки архивов в инсталяторах
• REP & SREP
• Пережатиe/Pекомпрессия/Oптимизация файлов для лучшего сжатия - "а как сжать ещё лучше?"
• FreeArc и Unix - для альтернативно одарённых
• репозиторий FreeArc 'Next на github.com
• тема FreeArc 'Next на форуме encode.su
• раздел FreeArc на форуме krinkels.org
 
Другие архиваторы:
• WinRAR
• 7-zip
• PowerArchiver
• HaoZip
• BandiZip
Всего записей: 24190 | Зарегистр. 07-04-2002 | Отправлено: 11:36 23-11-2010 | Исправлено: Release, 10:58 24-04-2023
kalpak

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
вот я пакую файл
подробнее
 
в GUI пишет что для упаковк нужно ~2450mb для упаковки и ~2300 для распаковки
рисунок
я забыл написать t1 при упаковке, но вот только что сделал с т1 и результат такой же.
подробнее
 
только чтот-о я не могу распаковать их unarc, странную ошибку пишет
лог
система: win xp sp2 ram 2gb | core 2 duo e4400
на работе система: win xp sp3 ram 2gb | core i5 650

Цитата:
кстати, пришёл в голову трюк, который возможно способен на порядок ускорить распаковку обычного srep (без -f) когда идёт трешинг диска - считывать матчи параллельно в нескольких десятках потоков. тогда есть надёжда что сработает ncq и мы будем иметь qd=32 or so

а если жесткий диск не поддерживает ncq то что делать ?))
что такое qd=32 or so ?
Всего записей: 155 | Зарегистр. 20-07-2007 | Отправлено: 19:49 10-08-2011 | Исправлено: kalpak, 20:16 10-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а если жесткий диск не поддерживает ncq то что делать ?))  

тогда он будет работать с прежней скоростью
 

Цитата:
что такое qd=32 or so ?

or so="или типа того". qd - глубина очереди запросов, если долбить диск из 32 потоков, то qd будет 32 и диск с ncq получит шанс переупорядочить запросы, а диск без ncq просто выполнит их по очереди, как и сейчас
 

Цитата:
вот я пакую файл

теперь ясно. будем искать
 
Добавлено:

Цитата:
в GUI пишет что для упаковк нужно ~2450mb

кста на будущее есть команда lt:
 
подробнее
 
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 21:26 10-08-2011 | Исправлено: Bulat_Ziganshin, 21:34 10-08-2011
kalpak

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin
понятно, буду знать )
а вот насчет ошибка распаковки unarc странно, на работе  у меня получалось распаковывать
Всего записей: 155 | Зарегистр. 20-07-2007 | Отправлено: 22:05 10-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SREP 2.99 release candidate:

  • fixed bug: 32-bit version was unable to decompress large files (>2gb) compressed with -f

 
btw, i've tested srep on i7-2600k@4.6GHz - compression speed on my files was in 100-200 mb/s range so srep was ALWAYS limited by HDD speed
 
Добавлено:
 
 
and once again: -nommap testing proves that memory-mapped files slow down the SREP when you are short on RAM:
 

Код:
D:\>read lp2.pcf
Speed 84.369956 mbytes/sec
 
srep64i -m1           Cpu 148.074 mb/sec, real 83.986 mb/sec
 
srep64i -m2           Cpu 201.726 mb/sec, real 54.300 mb/sec
srep64i -m2 -nommap   Cpu 209.772 mb/sec, real 71.276 mb/sec
 
srep64i -m3           Cpu 155.684 mb/sec, real 40.795 mb/sec
srep64i -m3 -nommap   Cpu 157.294 mb/sec, real 57.553 mb/sec
 
Compression ratio: 22,069,494,174 -> 7,284,431,814: 33.01%

 
 
... while having tiny positive effect in situations when RAM is enough to cache all repeated portions of input file:
 

Код:
srep64i -m1           Cpu 119.653 mb/sec, real 114.771 mb/sec
 
srep64i -m2           Cpu 129.146 mb/sec, real 123.231 mb/sec
srep64i -m2 -nommap   Cpu 133.329 mb/sec, real 126.635 mb/sec
 
srep64i -m3           Cpu 108.918 mb/sec, real 105.573 mb/sec
srep64i -m3 -nommap   Cpu 111.773 mb/sec, real 94.049 mb/sec
 
Compression ratio: 5,586,729,972 -> 4,344,610,562
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 22:40 10-08-2011 | Исправлено: Bulat_Ziganshin, 23:45 10-08-2011
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
tested srep on i7-2600k@4.6GHz

главное не указали, кол-во RAM
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 00:31 11-08-2011
Engaged Clown



Gold Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
16 Gb.
Всего записей: 8782 | Зарегистр. 08-06-2006 | Отправлено: 00:35 11-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ага, но 5 гиг рамдиском занято
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 02:11 11-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
тест на SSD Intel G2 120gb
 

Код:
C:\>read lp2.pcf
Speed 236.023188 mbytes/sec
 
srep64i -m1           Cpu 154.174 mb/sec, real 146.101 mb/sec
 
srep64i -m2           Cpu 223.845 mb/sec, real 100.994 mb/sec
srep64i -m2 -nommap   Cpu 227.554 mb/sec, real 167.256 mb/sec
 
srep64i -m3           Cpu 179.942 mb/sec, real 96.754 mb/sec
srep64i -m3 -nommap   Cpu 166.436 mb/sec, real 86.298 mb/sec

 
здесь на -m3 mmap наоборот дал выигрыш. в то же время -m2 mmap временами даже подтормаживал компьютер на доли секунды так что у меня затыкалась музыка. полагаю это из-за того что после mmap на весь файл, ОС держала всего несколько десятков мегабайт свободной памяти и не могла оперативно выделить куски большего объёма. в общем такой mmap - штука похоже опасная
 
у меня даже появилась идея, что оптимально будет делать mmap только на последний гигабайт прочитанных данных - в него должны попадать большая часть проверяемых матчей и в то же время он не будет занимать всё ОЗУ; остальные матчи будут считываться из файла как обычно. аналогично можно делать и при распаковке
 
в любом случае, я не собираюсь проверять какие-либо ещё идеи до выхода 3.0. сделаю в ней -nommap по умолчанию и опцию -mmap, а все эксперименты начну с 3.41

----------
Автор FreeArc
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 15:14 12-08-2011 | Исправлено: Bulat_Ziganshin, 15:15 12-08-2011
kalpak

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
srep64i -m2           Cpu 223.845 mb/sec, real 100.994 mb/sec
srep64i -m2 -nommap   Cpu 227.554 mb/sec, real 167.256 mb/sec  

что то я не понял, CPU time ниже а real time выше, как так может быть ?
 
у меня метод m1 на 1 большом файле был самым быстрым
в то время как другие 2 вообще я не смог дождаться (больше 30 минут прошло, а они даже половину не сделали)
 
нельзя как то скомбинировать м1 и м3, у них разница в числе чтения в десятки тысяч раз
(файл с м2/м3 число чтений больше 4 млн., если бы я это запустил дома до мой жесткий сдох бы наверное)) )
Всего записей: 155 | Зарегистр. 20-07-2007 | Отправлено: 16:21 12-08-2011
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
а все эксперименты начну с 3.41


лучше c 3.14
 
Добавлено:

Цитата:
read

а это что?
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 16:22 12-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
read - моя утилита читающая файлы с диска. замеряет скорость чтения плюс вбивает файл в кеш, если места хватит
 
Добавлено:

Цитата:
CPU time ниже а real time выше, как так может быть ?  

обычное дело когда ты скажем заменяешь вычисления чтением заранее вычисленных данных с диска
 

Цитата:
нельзя как то скомбинировать м1 и м3, у них разница в числе чтения в десятки тысяч раз  

не хотелось мне это делать до релиза 3.0, но наверно придётся что-то подтянуть
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 17:35 12-08-2011
Percey123

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Помогите, пожалуйста. У меня есть скрипт от NFS Undercover v2.2 и я никак не могу понять, как в нём использовать FreeArc. Не могли бы вы описать примерную последовательность действий?
Всего записей: 35 | Зарегистр. 20-04-2011 | Отправлено: 05:55 13-08-2011
kalpak

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Percey123
для этого есть же эта тема
 
можно понизить потребление памяти немного, если вместо sha1 использовать md5
я проверил, файл сжимался обычно с памятью 560мб, а есои подменить тип хеша, то около 490
Всего записей: 155 | Зарегистр. 20-07-2007 | Отправлено: 10:40 13-08-2011 | Исправлено: kalpak, 22:45 13-08-2011
Percey123

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
kalpak
Ясно, спасибо.
Всего записей: 35 | Зарегистр. 20-04-2011 | Отправлено: 16:17 13-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SREP 2.991 release candidate:

  • -m3f by default
  • -m1..-m3 disables future-LZ
  • -nommap by default, -mmap option
  • print program version and size of input file before compression
  • progress indicators (%% processed) for compression and decompression
  • exchanged compsize and origsize in decompression indicator

 
This version changes some defaults (-f and -nommap) and displays more info thorough operation
 
Добавлено:

Цитата:
можно понизить потребление памяти немного, если вместо sha1 использовать md5  

ну так sha1 более надёжен. и не стоит редактировать сообщения, я их получаю по email
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 23:12 13-08-2011
egor23



Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Bulat_Ziganshin

Цитата:
-m1..-m3 disables future-LZ

а что это означает?
Всего записей: 3832 | Зарегистр. 03-11-2003 | Отправлено: 02:07 14-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
egor23
раньше опции -m1..3 и -f действовали независимо - первая переключала метод поиска, вторая включала future-lz. теперь же есть 6 опций -m1..3 и -m1f..3f, которые одновременно выбирают метод поиска и выключают/включают future-lz
 
разницу можно увидеть например дав опции "-f -m3" старой и новой программам
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 10:01 14-08-2011
blydovoz

Newbie		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ложное срабатывание?
у всех сразу что ли?
или я чет пропустил? хз
Всего записей: 16 | Зарегистр. 09-06-2009 | Отправлено: 13:04 14-08-2011
Bulat_Ziganshin

Silver Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
blydovoz
да, действительно - выглядит обескураживающе. а вот что происходит после распаковки upx'ом: http://www.virustotal.com/file-scan/report.html?id=d0cb38028354aa9dc40728ec91bd10348d0d2c1581be328cce3596a4a5364128-1313312868
 
Добавлено:
а после повторной упаковки с теми же параметрами (upx --lzma -9) вирус в файле не обнаруживается. очень странно. но пока скорее похоже что вирус действительно есть
 
Добавлено:
хотя нет - скорее похоже на вирусную эпидемию среди самих антивирусов. как обычно - какие-то дураки занесли в свою базу, а остальные не раздумывая скопировали
Всего записей: 3401 | Зарегистр. 13-08-2007 | Отправлено: 13:22 14-08-2011 | Исправлено: Bulat_Ziganshin, 13:30 14-08-2011
Provizor54

Junior Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Freearc есть srep. Если есть какие алгоритмы нужна писать.  
Всего записей: 61 | Зарегистр. 30-04-2010 | Отправлено: 22:58 15-08-2011
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156

Компьютерный форум Ru.Board » Компьютеры » Программы » FreeArc (часть 4)


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru