IvanStepanov BANNED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Машина не способна оценить достоверность информации в каждом из них. Рецептом клизмы разные врачи могут лечить от разного. А если тупо отсеять по вашему методу, то с гарантией чуть меньше, чем 100-ной, рецепта клизмы от запора вы не найдете в результатах поиска, зато найдете его в рецепте, например, приворотного зелья для любви, так и не узнав, что клизма чаще  применяется для первого случая. Jonmey Вы опять ничего не поняли   Добавлено: Цитата: никому или почти никому это не нужно; Jonmey Не так. Разрабы программ за нас с Вами почему-то решили, что это ни кому не нужно   Добавлено: Подробнее... Всего записей: 136 | Зарегистр. 11-05-2019 | Отправлено: 16:25 24-05-2019

YuS_2 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Alex_Piggy Цитата: Посмотрите Алгоритм опознавания и сравнения текстов Это уже то, что можно использовать, да ещё и со словесным алгоритмом. Конечно, напрямую использовать не получится, но если изучить perl, адаптировать код под задачу... и вперед, как говорится. Или реализовать на другом языке, если perl не хочется изучать. Хотя perl для текстовой обработки очень хорош...   IvanStepanov В общем, Вам и карты в руки... обратите внимание на этот совет. Имхо, лучшего не найдете и вряд ли кто ещё возьмется реализовывать что-либо другое. Всего записей: 3218 | Зарегистр. 03-02-2009 | Отправлено: 18:52 24-05-2019

YuS_2 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: Не. Там "совсем из другой оперы". Там задача нахождение вероятности плагиата двух достаточно больших и объёмных файлов основываясь на частоте употрбления тех или иных слов.   В таком случае все технические тексты будет плагиатом, т.к. набор технических терминов ограничен и стандартизирован, поэтому употребляются наиболее часто всеми авторами Не "Не", а Да... Вы всех обвиняете в том, что не читают Вашу задачу, а сами вообще игнорируете то, что Вам пишут... Вы упустили главное из того алгоритма: Цитата: Прямое сравнение текстов является крайне ресурсоёмким и алгоритмически сложным. Оно исключает возможность быстрого поиска похожего текста.   И ещё:  24-05-2019 Цитата: Конечно, напрямую использовать не получится, но если изучить perl, адаптировать код под задачу... и вперед, как говорится. Всего записей: 3218 | Зарегистр. 03-02-2009 | Отправлено: 11:42 25-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov А зачем отфильтровывать? Задача сводится к составлению каких то тезисов, которые определяют поведение/характеристики объекта, но чтобы ни один тезис не дублировался? Чтобы потом создать справочник учебник, прочитав который, потратив на 10% меньше времени за счёт исключения повторов получить ясное представление об объекте? Ну если автор не выдающийся то даже при отсутствии повторов вы можете не получить представление об объекте. То есть можно сортировать по авторам, потом пометить рейтинг авторов, этот например говорит мало, но точно и ясно, а этот всегда повторяет чужие тезисы со своими пояснениями, а этот вообще плагиатит, переставляя местами слова и ничего больше, в его кусках теста ловить нечего. Если речь идёт о помойке, где голос ребёнка на одном уровне значимости с голосом гения, то вы тоже не составите картину ведь количество лжи и правды может быть одинаково или с неизвестным перекосом, даже если нет повторов, тексты не имеют значимости. Всего записей: 4567 | Зарегистр. 03-05-2006 | Отправлено: 13:09 25-05-2019 | Исправлено: AZJIO, 13:14 25-05-2019

YuS_2 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: Примерно так звучат Ваши слова. Ваша-то задача вообще не звучит, вернее, я озвучивал её выше, про пойти туда - не знаю куда. Видимо, помощь Вам совсем не требуется... или требуется но на блюдечке с голубой каемочкой... Как сказали уже выше, такая помощь в такой задаче, вряд ли, будет бесплатной, так что...   Цитата: Повторяя - там совсе другая задача. Повторять не надо, надо прочитать внимательно тот алгоритм.   Цитата: Там вся игра идёт на статистике повторяемости слов. Там создается база данных чек-сумм, с которой сверяются чек-суммы вновь поступивших файлов... Вот, цитата: Цитата: 2. Эффективное решение Text::Distill 2.1 Нормализация символов строки   Прежде чем строить хэш текст следует “свернуть” текст, исключив все несущественные для поиска копий детали, которые в силу ошибок OCR или умышленной атаки на алгоритм сравнения могут быть добавлены в файл. Убираем знаки препинания, непонятные конструкции вида [стр56], нормализуем UTF8, приводим всё в нижний регистр и упрощаем сложные знаки, например преобразуем “ё” в “е”, а “й” в “и”. Замысел состоит в том, что два похожих текста, скорей всего, и после такой нормализации останутся похожими, а два непохожих - непохожими.   2.2 Удаление коротких слов   Следующим шагом мы убираем все короткие слова. Для кирилицы считаем короткими слова 6 букв и меньше, для латиницы 5 и меньше. Как правило тексты, даже посвященные одной теме и состоящие из приблизительно тех же слов, будут включать большие слова на разных позициях. При этом мелкие вариации мы опускаем, что радикально уменьшает объём сверяемого текста без заметной деградации уникальности.   ...   После рассечения теста на фрагменты мы отбрасываем “свернутые” строки, длина которых меньше 150 знаков, по остальным фрагментам формируем 32-х битный хэш (хеш-функция Дженкинса подходит идеально). В итоге получается набор 32-х битных чексумм, объёмом приблизительно 0,5% от исходного текста. Эти чексуммы можно поместить в индексированное поле в БД и находить совпадения с минимальными затратами вычислительных ресурсов.   2.5 Сравнение чексумм   Соответственно, имея в БД чексуммы по всем известным нам текстам, мы можем, выделив чексуммы из произвольного текстового файла, сравнить их с известными. Если между двумя текстами есть множество совпадений - значит тексты либо содержат массовые заимствования, либо являются “зашумленными” копиями. Боевые испытания выявили у алгоритма возможность обнаружения даже более-менее обширных цитат.   - ГДЕ тут речь о статистике повторяемости слов? Почитайте, хотя бы, внимательнее... а потом уже пишите о том, о чем имеете слабое представление. Всего записей: 3218 | Зарегистр. 03-02-2009 | Отправлено: 14:49 25-05-2019 | Исправлено: YuS_2, 14:54 25-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: Но Вы не читали надо была сразу описывать задачу на реальных примерах с точным указанием всех причастных по имени. Я на работе ремонтирую аппаратуру, иногда мне вместо точного указания пишут в журнал то что я должен сделать, это выглядит смешно, чел пытается с умничать, в условиях когда это моя работа и я на порядок больше знаю поведение аппаратуры в разных условиях и попытка сказать мне что сделать грубо говоря ничего не сказать. Или какая-то лампочка не так моргнула пишут проверить блок такой то, не пишут что какая то лампочка моргнула, а проверить блок... возмущение и хочется сказать, а ты знаешь сколько нужно времени чтобы проверить блок на все возможные неисправности? Или ты думаешь что у нас вагон времени и мы ради удовольствия будем тестировать на все ошибки. Да можно если готов из своей зарплаты выложить круглую сумму чтобы нанять ещё спецов. Эта же парадигма относится ко многим случаям. Я даже сейчас не понимаю, а чем гугл то не угодил? ну также набери вопрос, составь его качественно, посмотри ключи для игнора слов/сайтов или наоборот сузив круг в сайте(ах). Вариант 2, можно удалять когда натыкаешься на повтор. Если удалять подготавливая идеальную форму то многие вещи просто не встретятся в реале и работа будет частично зря, с учётом что если захочется перестроить базу придётся повторять всё снова. А если наткнулся на повтор в поиске и удалил, то для текущего запроса работа совершена. Выложи свои тексты на свой сайт и укажи его для поиска. Всего записей: 4567 | Зарегистр. 03-05-2006 | Отправлено: 14:51 25-05-2019 | Исправлено: AZJIO, 15:13 25-05-2019

IvanStepanov BANNED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Ваша-то задача вообще не звучит, вернее, я озвучивал её выше, про пойти туда - не знаю куда.   YuS_2 Извините, но Вы врёте     Добавлено: Цитата: Я даже сейчас не понимаю, а чем гугл то не угодил?   AZJIO Тогда простите. Не смею больше Вас отвлекать. Просто пропускайте мои сообщения.   Добавлено: Цитата: Я на работе ремонтирую аппаратуру А я пишу статьи и книги по технической тематике. Поэтому нам друг друга не понять   Добавлено: Цитата: составь его качественно, посмотри ключи для игнора слов/сайтов или наоборот сузив круг в сайте(ах). Если Вы не в курсе, так можно отфильтровать  всю страницу, а не кусок текста на ней. В результате с водой из таза можно выплеснуть ребенка.   Если бы гугл поддерживал поиск по REGEX и фильтрацию кусков - я бы и не заморачивался. Но он, увы, не может этого делать. Поэтому я скачиваю файлы на комп и уже на нём выполняю основную работу по анализу и обработке инфы Всего записей: 136 | Зарегистр. 11-05-2019 | Отправлено: 15:29 25-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: А я пишу статьи и книги по технической тематике. Поэтому нам друг друга не понять   я тоже пишу по работе, дабы упростить ремонт. Тоже приходится сортировать, создавать 3 способа доступа к странице, делать перекрёстные ссылки, чтобы за минимум шагов найти максимально развёрнутую инфу. Цитата: Тогда простите. Не смею больше Вас отвлекать. Просто пропускайте мои сообщения.   это сообщение ниже вашего уровня чтобы обращать внимание? Вы рассчитывали от меня большее, а тут такое... Но вот она реальность, и я не боюсь задавать вопросы, а вам это похоже мешает. Цитата: Но он, увы, не может этого делать Вообще бывают случаи когда я оцениваю сколько я буду делать ручками и сколько написанием проги. А также бывает что я совмещаю частичную автоматизацию с ручным, если мне не удаётся полностью автоматизировать. То есть можно автоматизировать хотя-бы частично, оценив сколько времени это сэкономит. Например проверку орфографии я делаю скриптами и ручками поэтапно, очень рутинная часть приходится на скрипты, а исправляю я с предпросмотром, потому что наворотить легко. Всего записей: 4567 | Зарегистр. 03-05-2006 | Отправлено: 18:23 25-05-2019 | Исправлено: AZJIO, 18:27 25-05-2019

YuS_2 Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору IvanStepanov Цитата: но Вы врёте Допустим. Тогда, чтобы не выглядеть пустозвоном в этом своем тезисе, Вы просто обязаны найти решение своей задачи и утереть мне нос, в моем вранье. Сможете? Всего записей: 3218 | Зарегистр. 03-02-2009 | Отправлено: 18:54 25-05-2019

AZJIO Silver Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Предлагаю просто перестать обсуждать здесь эту тему. IvanStepanov создай просто тему и кинь ссылку сюда чтобы люди почитав здесь, решили что обсудить там. Я даже не могу предложить другую тему, как например AutoIt3, потому что это тема не языка, трудности переложить словесную формулировку в программную, а трудность формулировки ТЗ, вернее не ТЗ как то что нужно получить, а ТЗ по формулировке логики. Всего записей: 4567 | Зарегистр. 03-05-2006 | Отправлено: 15:34 26-05-2019 | Исправлено: AZJIO, 15:43 26-05-2019

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97

Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Закладки » Регулярные выражения

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование