Bulat_Ziganshin
Silver Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
сделал многопоточную дедупликацию. к сожалению, 5 ГБ/с (пока?) не получилось, всё упёрлось в скорость чтения из дискового кеша (!!!):
Код: SREP 3.91 (multi-threaded)> for %a in (1 2) do @srep64g.exe -m%a -v -nomd5 -l4k i:\4g nul
3,600,625,251: 79.47%. Cpu 667 mb/s ( 6.474 sec), real 2878 mb/s ( 1.502 sec) = 431%
3,520,842,851: 77.70%. Cpu 359 mb/s (12.028 sec), real 2153 mb/s ( 2.007 sec) = 599%
SREP 3.9 (single-threaded)> for %a in (1 2 3) do @srep64g.exe -m%a -v -nomd5 -l4k i:\4g nul
3,600,352,085: 79.46%. Cpu 1135 mb/s ( 3.806 sec), real 1095 mb/s ( 3.946 sec) = 96%
3,531,948,453: 77.95%. Cpu 576 mb/s ( 7.504 sec), real 549 mb/s ( 7.875 sec) = 95%
3,419,303,639: 75.46%. Cpu 135 mb/s (31.933 sec), real 206 mb/s (21.010 sec) = 152% |
|
