jenter
Full Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
er456
Цитата:| В версиию 1.4.3 импортировал 20.000 заметок - программа работает без заметных замедлений. Но вот скорость импорта катастрофически падает с увеличением заметок в базе. Первые 10000 заняли 10 мин, потом добавлял по 1000 и время увеличивалось с 2 до 4 минут. Она наверно проверяет заметки на наличие дубликатов, тогда нужно добавить опцию отключать проверку. |
Программа в самом деле проверяет на дубликаты. Кроме того, мне просто не приходило в голову этот процесс оптимизировать - как-то не думал что кому-то нужно будет делать импорт огромных файлов на регулярной основе )
Но разумеется в будущем проверку на дубликаты можно будет отключить, плюс есть еще пара вполне очевидных оптимизаций.
Цитата:| Виртуальные папки тоже выглядят как дерево обычных папок и размещаются вместо панели тегов. Один файл можно добавить сразу в несколько виртуальных папок. Отличие от иерархии тегов будет только в постановке задачи и ее реализации. |
Я отличий вообще не вижу, зачем тогда вводить дополнительную сущность?
Но знаю что много людей хотят старый добрый outlining.. так что на всякий случай добавил в роадмап, посмотрим на спрос.
Цитата: Только той информацией которая добавлена в CintaNotes?
А мне хочется управлять тысячами ГБ информации находящейся на нескольких жестких дисках. Ищу такую программу... |
А информация-то какого рода - текст или мультимедиа?
В любом случае синта вам тут вряд ли подойдет. Лучше посмотреть тогда программы вроде Архивариуса 3000 и подобные.
Цитата:| все верно, уважаемый jenter, я пользуюсь 2-х словными тегами , надеюсь задача не сложная |
Оказалось даже проще реализовать, чем я думал. Перезагрузите pre-1-5-2 
Цитата:| строка поиска на мой взгляд могла бы стать более "умной" , можно было бы ее снабдить некоторыми алгоритмами |
какими например?
Цитата: Просто автор не знаком с особенностями работы с SQLite, которую использует в CintaNotes. Ознакомиться бы ему на досуге с http://www.sqlite.org
Движок SQLite очень быстр именно при чтении данных (select), а при записи (insert/update) заметно отстает от других БД. Следует выполнять оптимизацию (pragma-команды), ну и грамотно применять транзакции. |
В самом деле, хоть я конечно читал и sqlite.org, и The Definitive Guide to SQLite, я больше занимался вопросами оптимизации скорости поиска. О том, что импорт может нуждаться в оптимизации мне пока что даже в голову не приходило. Насчет оптимизации: pragma synchronous установлен в off, весь импорт происходит в одной транзакции, что еще можете порекомендовать?
Цитата:| Это, кстати, заслуга исключительно разработчиков SQLite |
Безусловно, доктору Ричарду Хиппу я благодарен безмерно. Как, наверное, и авторы Firefox, Skype и кучи других программ, которые используют SQLite. )
Уважаемый dzh2000, пожалуйста не уходите никуда из этой ветки! Вы меня своей критикой держите в форме)
SFC
Цитата: Лучше вобще отказаться от SQLite, как от базы которую средствами самой базы - вакум и т.д. не очистить, мусор постепенно накапливается и накапливается, помогает только:
полный экспорт, удаление файла базы, создание нового пустого, импорт ранее экспортированного.
Может использовать в качестве базы обычный XML, можно его по-zip'ить. А при открытии распаковывать, при закрытии запаковывать, так многие делают. |
Кроме мусора там еще и фулл-текст индекс добавляет размер.
А на обычном XMLе такой скорости поиска можно достичь только если делать базу данных в памяти, строить по ней индексы. Тут да, можно использовать in-memory SQLite базу для этого, чтобы не делать это все с нуля. Но придется держать всю базу в памяти, это раз. И пропадет устойчивость к сбоям - база на диске обновляться будет нечасто, это два.
Думаю, с размером базы можно что-то придумать. Как вариант, по команде выгружать дамп базы и пересоздавать базу из него. Это, по крайней мере, будет удобнее и быстрее, чем текущий "ручной" вариант.
Есть еще вариант - FTS4 поддерживает сжатие данных. Но тогда придется отказаться от поиска внутри слов.( |
Всего записей: 529 | Зарегистр. 19-01-2010 | Отправлено: 20:05 06-11-2011 | Исправлено: jenter, 20:19 06-11-2011 |
|
Отлично 
