Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Поиск одинаковых файлов

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3

Открыть новую тему     Написать ответ в эту тему

Lapochka ili Chai



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Имеющиеся у меня поискаторы дубликатов (ace utilities, alcohol) ищут только одинаково поименованные дубликаты.
 
Но хотелось бы такой поискатор дубликатов, который не обращал бы внимания на имя и атрибуты файла -- а только на его содержимое.
 
Дело в том, что я иногда переименовываю фотки, а USB-диски, на которых я храню фотки, иногда сыпятся, поэтому я храню фотки в неск. экземплярах -- вот и хотелось бы иногда прореживать расширившиеся при синхронизации наборы фоток.
 
Но конечно, поискатор дубликатов пригодися далеко не только для фоток!

Всего записей: 847 | Зарегистр. 27-11-2003 | Отправлено: 14:52 02-05-2008
Real Root



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Lapochka ili Chai
Это можно делать при помощи Total Commander - там в поиске укажи поиск дубликатов. Снеми галку по имени, и отметь по размеру и по содержимому.

Всего записей: 1037 | Зарегистр. 13-04-2006 | Отправлено: 19:14 02-05-2008
Lapochka ili Chai



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Real Root

Цитата:
Это можно делать при помощи Total Commander

спасибо, нашёл её в Total Commander'e ... правда, эта функция здорово подтормаживает -- уже несколько часов ищет дубликаты, а полоски прогресса (и, там, паузы) нету, то есть то ли она зависла, то ли работает -- на первый взгляд даже и не поймёшь.
 
Но на маленьких папках, возможно, работает неплохо. Спасибо.

Всего записей: 847 | Зарегистр. 27-11-2003 | Отправлено: 22:45 02-05-2008
Real Root



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Lapochka ili Chai, так по-любому этот процесс будет медленным. Там скорее всего сравнение по md5 идет - а это не такая быстрая операция. Хотя если несколько часов.... - это многовато. А какой объем целевой папки?

Всего записей: 1037 | Зарегистр. 13-04-2006 | Отправлено: 13:48 04-05-2008
Lapochka ili Chai



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Real Root
ну я с не подумав корень диска взял, там на  623 гига заполнено. Ну погорячился... (Но полоска прогресса, конечно, в любом случае не помешала бы.)  
 
На фотках сейчас попробовал  запустить  поиск дубликатов по размеру и по содержимому -- папка размером 8.5 ГБайт -- анализировало 16 минут, дало список повторов, каждая группа одинаковых файлов отделена от другой группы горизонтальной пунктирной линией. По команде "послать файлы на панель" файлы разместились в обычной панели Total Commander'a, причём, к счастью, пунктирные линии не исчезли -- теперь я могу  и просматривать файлы, и стирать их, и смотреть их атрибуты. В общем, полезная штука, оказывается, была под рукой, хотя и для небольших объёмов данных.

Всего записей: 847 | Зарегистр. 27-11-2003 | Отправлено: 17:45 04-05-2008 | Исправлено: Lapochka ili Chai, 17:54 04-05-2008
equis



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребят, вообще есть ряд хороших и при этом бесплатных программ для поиска дубликатов по различным критериям.
В теме Бесплатный софт, Freeware, подраздел Поиск дубликатов
В том же треде я как-то давал ссылочку на подборку таких программ.

Всего записей: 1071 | Зарегистр. 26-04-2007 | Отправлено: 20:12 04-05-2008 | Исправлено: equis, 20:14 04-05-2008
Efimych

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Очень много тем по слову "поиск":
 
http://forum.ru-board.com/forum.cgi?action=filter&forum=5&filterby=topictitle&word=%EF%EE%E8%F1%EA
 
Посоветуйте какую-нибудь простую программу для обычного  поиска файлов, папок и документов на компьютере, по типу встроенного в виндовс "Search/Поиск".

Всего записей: 2314 | Зарегистр. 12-07-2002 | Отправлено: 10:57 05-10-2008
GreenGremlin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Мне для удаления дубликатов CloneSpy нравится. Особенно он удобен, когда есть 2 папки с частично дублирующимися файлами.

----------
Right here, right now.

Всего записей: 694 | Зарегистр. 19-05-2003 | Отправлено: 21:33 08-10-2008
alek111

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Я использую
 
Duplicate Files Finder
http://sourceforge.net/projects/doubles/
 
маленький, простой, не требует инсталляции, поддерживает unicode в именах файлов и папок, бесплатный, фильтр по расширениям и размеру.

Всего записей: 83 | Зарегистр. 10-12-2002 | Отправлено: 14:26 16-01-2009
oshizelly



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Возникла совсем простая, как мне казалось, задача по поиску дублей.  Имеется папка примерно с 1000 файлов. Есть основания думать, что 80 - 90% из них имеют дубли в одной из 6-7 других папок (но на разных логических устройствах!).
Файлы перемещались и переименовывались, только расширение не менялось. Имена и пути файлов, естественно, не совпадают. Поэтому проверять надо по:
1) размеру,
2) расширению,
3) по маске с ключевыми словами, которые наверняка  присутствуют во всех дублях,
4) первым битам файла (весь файл проверять целиком IMHO нет смысла: если первые, скажем, 100 битов совпадают, то почти наверняка это дубль).
 
Всё это есть во многих прогах (кроме умной проверки по первым битам, но без этого можно обойтись).  
 
А теперь самое главное. Все проверенные проги позволяют проверять дубли по одному. Но 1 000 файлов так не проверишь. Есть ли прога, которая может сразу обработь все файлы в исходной папке, сравнить их с файлами в 6-7 целевых папках и выдать на выходе список несовпадающих файлов? Посмотрел здесь и в Гугле, потестил несколько прог, но, как ни странно, ничего подходящего не нашёл. Подскажите, плиз, кто может.

Всего записей: 6524 | Зарегистр. 18-09-2004 | Отправлено: 12:18 18-01-2009
GOG

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
я такой всё делаю FileReactor.

Всего записей: 5 | Зарегистр. 14-01-2006 | Отправлено: 13:11 18-01-2009
Andarin



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
oshizelly
 
Посмотри  
Fast Duplicate File Finder - freeware
и Clone Remover - платная
 
Мне эти две программы больше всего понравились из аналогов. Ещё CloneSpy неплохая программка. Только вот они все ищут дубликаты, т. е. совпадающие файлы. Кстати, я думаю, именно CloneSpy подойдёт, она может выдавать список дубликатов, и с несколькими папками работает

Всего записей: 3065 | Зарегистр. 04-03-2006 | Отправлено: 23:34 02-03-2009
oshizelly



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Andarin

Цитата:
 Ещё CloneSpy неплохая программка. Только вот они все ищут дубликаты, т. е. совпадающие файлы. Кстати, я думаю, именно CloneSpy подойдёт, она может выдавать список дубликатов

К сожалению, это не то. Ни одна из них не понииает такой элементарной вещи, что могут быть дубликаты (файлы с идентичным содержимым) с несовпадающими именами. Неужели нет ни одной умной проги с таким функционалом? Total Commander, в принципе, позволяет это сделать, но там реализовано очень неудобно, да и работает медленно (поскольку заточен под другие задачи).

Всего записей: 6524 | Зарегистр. 18-09-2004 | Отправлено: 23:03 03-03-2009
Andarin



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
oshizelly
По-моему, найти программу для поиска дубликатов, не обращающую внимания на имя файла - как раз не проблема. Другой вопрос в удобстве её применения.

Цитата:
Есть ли прога, которая может сразу обработь все файлы в исходной папке, сравнить их с файлами в 6-7 целевых папках и выдать на выходе список несовпадающих файлов?  

CloneSpy, например, вполне подходит, только выдаёт список дубликатов (по содержанию, не по именам). Соответственно все файлы, не попавшие в этот список - несовпадающие.  

Цитата:
Все проверенные проги позволяют проверять дубли по одному. Но 1 000 файлов так не проверишь

Десятками тысяч файлов проверяется.
 
Посмотри ещё этот топик, там и ссылки есть. Неплохая программа ещё Dupkiller, но я бы посоветовал в Вашем случае именно CloneSpy. Там в правом верхнем углу, в окошечке "Search for" отмечено должно быть "Duplicates", тогда имена не будут приниматься во внимание

Всего записей: 3065 | Зарегистр. 04-03-2006 | Отправлено: 19:48 04-03-2009
AZJIO



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Search_duplicates поюзайте мою.

Всего записей: 4413 | Зарегистр. 03-05-2006 | Отправлено: 14:53 26-11-2012
fish72

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обычно программы для поиска одинаковых файлов
имеют огромный размер, выполняют ещё много разных действий,
требуют инсталляции. Только на изучение такой программы
нужно потратить сколько-то часов. Пользуюсь своей маленькой
и быстрой программой IdenticalFiles (45Кб). Скачать можно по адресу:
https://yadi.sk/d/7HFSNfN-3P7xnU

Всего записей: 2 | Зарегистр. 13-01-2022 | Отправлено: 12:42 13-01-2022
Memfivosfey

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите пожалуйста, нужна программа что бы Искала все Фотографии в папке и подпапках, по ИЗОБРАЖЕНИЮ! И в автоматическом режиме, удаляла только Фотографии более Низкого Качества. А оставляла более высокое качество.

Всего записей: 352 | Зарегистр. 11-02-2005 | Отправлено: 20:20 14-02-2022
Andrea



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чем отличаются алгоритмы поиска дублей по содержимому и по контрольным суммам? Результатом поиска по КС являются абсолютно идентичные файлы. А по содержимому? Или это одно и то же?
 
Добавлено:
AZJIO

Цитата:
Search_duplicates
Какой алгоритм сравнения использует ваша программа? По КС, содержимому, байт-в-байт?

Всего записей: 1096 | Зарегистр. 24-12-2015 | Отправлено: 22:37 01-02-2024 | Исправлено: Andrea, 23:02 01-02-2024
AZJIO



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Andrea
по КС, конкретно MD5, в надежде, что не возникнет коллизий, то есть разных файлов с одинаковыми MD5.
 

Цитата:
Результатом поиска по КС являются абсолютно идентичные файлы. А по содержимому? Или это одно и то же?

контрольная сумма придумана, чтобы идентифицировать целостность файла с помощью КС. В теории не могут существовать 2 разных файла с одинаковым КС и наоборот 2 одинаковых файла с разными КС, ну последнее скорее правило, так как алгоритм не может получить иного, а вот с первым могут быть коллизии. Но вероятность коллизии настолько мала, что ей иногда пренебрегают, ну или выбирают более современные алгоритмы с более длинными КС.
Просто загуглить "Коллизия хеш-функции"

Всего записей: 4413 | Зарегистр. 03-05-2006 | Отправлено: 07:24 03-02-2024 | Исправлено: AZJIO, 07:35 03-02-2024
Andrea



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
AZJIO, то есть, если в описании той или иной программы поиска дубликатов написано, что она выполняет сканирование по содержимому, то это означает, что она ищет совпадения по контрольным суммам? Так?

Цитата:
загуглить "Коллизия хеш-функции"
Насчёт этого я в курсе - такие коллизии чаще встречаются при использовании CRC32, а при использовании алгоритмов с более длинными КС, их вероятность стремится к нулю
 

Всего записей: 1096 | Зарегистр. 24-12-2015 | Отправлено: 11:36 03-02-2024 | Исправлено: Andrea, 12:44 03-02-2024
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3

Компьютерный форум Ru.Board » Компьютеры » Программы » Активные темы » Поиск одинаковых файлов


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru