Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov (Пост) Цитата: Смотрю сейчас в сторону текстового редактора EMACS. Он из коробки поддерживает написание скриптов на LISP. Вы серьёзно? Учить EMACS с LISP это примерно как освоить 3Ds MAX на нормальном уровне или AutoCAD. Это целая планета. Нет, если вы, конечно, полны желания и решимости, то удачи вам. Но пока вы продемонстрировали только непонимание даже простейших концепций, относящихся к регулярным выражениям и работе с текстом. Извините - сделал такой вывод из написанного вами.   Ещё раз. Каковы ваши исходники? Нужно исходить из этого. Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 12:32 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov (Пост) Цитата: Вообщем там целый зоопарк форматов, кодировок и т.п.   Изначально ваш вопрос заключался в идентификации и удалении "сниппетов яндекса", которые содержали повторяющиеся блоки текста. Как они попали в PDF и DJVU файлы? Вы как-то перепрыгиваете с темы на тему. Теперь вопрос в том, чтоб найти дубликаты во всей вашей библиотеке. Вы же понимаете, что это НЕРЕАЛЬНО? Без каких-либо чётких критериев.. Что считать "оригиналом", а что "дубликатом"? Да там вообще десятки вопросов могут возникнуть по ходу...   В общем, без конкретики - этой пустой разговор, впустую отнимающий время. Поставьте чёткую задачу, если хотите, чтоб вам помогли.   Ещё раз - "найти дублирующиеся блоки текста" - это слишком расплывчато, эфемерно и недостаточно для нахождения адекватного решения. Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 12:57 20-05-2019 | Исправлено: Romul81, 12:58 20-05-2019

YuS_2 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: А если я буду использовать не (.*), а что-то более определенное? Типа того, что Вы мне написали для поиска фрагментов, содержашего не менее 5-ти слов из заданного списка из 10 слов? Задача имеет же решение?     Т.е. раз реализовать нужную мне функцию, делающую всё в полном автомате трудно, то мне хотя бы в полуавтомате сделать. Т.е. что-то вручную набивать (REGEX-ы предположительно повторяющиеся фрагментов), а что-то выполнять автоматически Да, если будут хоть какие-то конкретности, от которых можно отталкиваться, то задача значительно упрощается. Скажем, если добавить условия в эту Вашу недетерминированную задачу, что фрагменты должны быть не менее 10 символов, сравнение вестись будет с учетом пробельных символов (пока для наглядности так, но, в принципе, их конечно можно и удалять и сравнивать без них) и регистрозависимость присутствует, тогда можно состряпать что-то вроде: powershell Код: $regexp = '(?sm-i)(.{10,})(?=.*?\1)' $file = 'test.txt' $arr = gc $file -raw|sls -patt $regexp -all $a = ($arr.matches|? length -ge 10).value write-output "Всего совпадений: $($a.length)" write-output '==========' foreach ($item in $a){     write-output "Длина фрагмента: $($item.length)"     write-output '---'     write-output $item     write-output '==========' } Пробовать лучше на небольшом объеме текста, постепенно увеличивая этот объем до реального, при этом выполняя замеры времени. Но надо учитывать, что найденный фрагмент, имеющий повторы, захватывается только первый и если внутри этого фрагмента существуют ещё повторы, то уже во втором, т.е. повторном фрагменте, новые фрагменты будут также найдены. Пример: Код: abc 1234567890 1234567890 vbc   1234567890 1234567890 fgh дадут результат: Код: Всего совпадений: 2 ========== Длина фрагмента: 23 ---  1234567890 1234567890 ========== Длина фрагмента: 11 ---  1234567890 ========== Всего записей: 3218 | Зарегистр. 03-02-2009 | Отправлено: 13:13 20-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Т.е. всё, что "переваривает" архивариус 3000 то есть надо написать сначала архивариус, чтобы он из PDF, DJVU вытащил тексты, разные типы DOC, если новые DOCX это просто архив с частично метками RTF, то старые я даже не в курсе формата сжатия. В купе с анализаторами HTML, PHP, RTF, чтобы отсеять теги, скрипты, плюс ко всему этому движок рекавери, умеющий распознать тип вышеперечисленных файлов, которые умеет переваривать архивариус. Ещё поддержка извлечения архивов, быза почтовых клиентов (судя по описанию архивариуса). В общем как минимум требуется написать всего лишь "ABBYY FineReader". Всего записей: 4409 | Зарегистр. 03-05-2006 | Отправлено: 13:34 20-05-2019 | Исправлено: AZJIO, 13:38 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору AZJIO (Пост) Цитата: В общем как минимум требуется написать всего лишь "ABBYY FineReader".   возьмётесь? Мне кажется в AutoIt  для вас невозможного нет Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 13:37 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov (Пост) Цитата: Что не ясного?   Да много чего. Я уже понял, что вы работаете с данными исключительно в текстовом формате (экспортированными из архивариуса). Но лучше от этого не стало. Повторяющиеся фрагменты находятся строго в одном файле? Или могут присутствовать в нескольких? Дальше. Простую регулярку типа (.{10,})(?=.*?\1) нельзя использовать, т.к. она может захватывать простые длинные слова, или устойчивые сочетания слов, которые дубликатами вовсе не являются. Поэтому, регулярку нужно усложнять до слова. Причём, надо будет установить минимальное кол-во слов, которые будут означать повтор. 1-2 будет недостаточно - будет много ложных срабатываний. Если пытаться подхватывать пробело-независимые совпадения, или, что ещё сложнее, неточный поиск - то это совсем другая история. Для этого в любом случае надо будет использовать какой-нибудь язык программирования, с подключением соответствующей библиотеки, например, вычисляющей Расстояние Левенштейна. Это вопрос точно не для этой ветки. Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 16:44 20-05-2019

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Помогите с выделением части текста в notepad++. Есть много строк с содержимым вида  (25:19,25:23)' Перед первой скобкой стоит пробел. между скобками может быть любое количество блоков чисел вида xx:xx,xx:xx,xx:xx Надо скопировать из всех строк то, что между скобками. Именно в такой структуре. Каким регулярным выражением можно выделить нужную информацию? ---------- Дьявол коварен - он может явиться к нам просто в образе дьявола Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 16:51 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору obtim Сэмпл под кат, пожалуйста. Что нужно захватить выделите цветом. Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 16:54 20-05-2019

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Romul81 Спрятал ---------- Дьявол коварен - он может явиться к нам просто в образе дьявола Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 17:06 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору obtim Код: (?<=\()\d\d:\d\d(?:,\d\d:\d\d)*(?=\)) Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 17:19 20-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору obtim А нельзя текстом выложить? мне самому это печатать? Бегу на работу, вот по-быстрому Код: \((\d{2}:\d{2},)*\d{2}:\d{2}\) Всего записей: 4409 | Зарегистр. 03-05-2006 | Отправлено: 17:20 20-05-2019

obtim Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Romul81 AZJIO Спасибо! Всего записей: 8937 | Зарегистр. 03-03-2002 | Отправлено: 17:27 20-05-2019

Romul81 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov (Пост) Цитата: А если голову включить?   Или вы хотите, чтобы я разжёвывал самые очевидные вещи?   Ну вот сами подумайте: могут ли одинаковые куски текста встречаться в разных файлах, скачанных из инета?   Естественно могут. Как иначе?   Вы заставили меня улыбнуться)) Спасибо)) Если серьёзно - то это вовсе не так очевидно. Всё зависит от контента, с которым вы работаете. Дубликаты файлов - да, согласен, частое явление. А чтоб блоки текста - тут уже может быть, а может не быть...   Ладно, это всё лирика. Вам нужна программа (скрипт), которая делала бы следующее (распишу программную логику):   1) Принимала на вход каталог с текстовыми файлами 2) Создавала временный файл, конкатенируя эти файлы (с записью офсетов куда-нибудь в кэш / лог) 3) "Линейно", либо с использованием специализированной библиотеки, искала повторяющиеся блоки текста, возвращая массив офсетов с найденными совпадениями (конкретная реализация может быть как "простейшей", так и "продвинутой", в зависимости от используемого модуля) 4) Конвертировала найденные офсеты в оффсеты из кэша/лога, соотнося их с оригинальными, неконкатенированными файлами 5) Выводила соответствующий результат.   Трудности: 1) Всё это дело написать 2) В зависимости от объёма ваших данных и алгоритма поиска дубликатов, весь процесс может быть очень затратным в плане потребляемых ресурсов компьютера. Конкатенированный файл должен целиком находиться в оперативной памяти - здесь нет других вариантов. Точнее, есть, но они кратно усложнят реализацию - не уверен, что даже опытные программисты возьмутся за эту задачу.   Возможно реализовать на: - из скриптовых языков точно подойдёт Python, JS под Nodejs, Perl. Всякая экзотика типа Ruby, тоже, вероятно, подойдёт. - по AutoIt/AutoHotKey лучше пояснит AZJIO, но что-то подсказывает, что узким горлышком будет производительность - AutoIt, по крайней мере, чрезвычайно медленный на больших объёмах данных. Работа с массивами - тоже не его конёк. Объектов, вроде, нет. Также, сомневаюсь, что под него удастся найти качественную специализированную под эту задачу (поиска дубликатов) UDF (модуль). - компилируемые языки. C, C++, Java, .NET, etc. - на них можно всё. Кто что знает, тот в том и работает.   Ну и завершающий вопрос - при чём здесь регулярные выражения?.. Всего записей: 1327 | Зарегистр. 03-03-2008 | Отправлено: 11:42 21-05-2019

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88

Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Регулярные выражения

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование