Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Zotero: менеджер информации

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2

Открыть новую тему     Написать ответ в эту тему

totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору


Zotero - библиографический программный комплекс, менеджер информации. Бесплатный, простой в использовании инструмент, который поможет вам собирать, организовывать, цитировать и делиться исследованиями. Создан для научных сотрудников. Накапливает информацию в виде html страниц, заметок, pdf файлов и др. Интегрируется с браузерами с помощью плагинов.
Встроенная индексируемая поисковая система.  
Open source, кроссплатформенность.
 
Разработчик: - Roy Rosenzweig Center for History and New Media (RRCHNM).
Спонсоры проекта: Alfred P. Sloan Foundation, Andrew W. Mellon Foundation, Corporation for Digital Scholarship, Institute of Museum and Library Services.
 
Плагины.
Скрипт Scrapbook2zotero - для миграции заметок из дополнения ScrapBook.
Инструкция по проверке полноты импорта записей в Zotero из ScrapBook.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 21:51 30-06-2018 | Исправлено: Maz, 21:55 29-08-2024
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Столкнулся с тем, что при использовании скрипта Scrapbook2zotero при импорте из созданного файла rdf Zotero импортировала только метаданные, а сами страницы не импортировала. Поковырявшись в rdf файле нашёл алгоритм как это вылечить.
 
    Алгоритм:
  1. Находясь в папке в которой лежит scrapbook2zotero.exe запускаем cmd.exe
  2. Выполняем команду scrapbook2zotero.exe d:\Scrapbook\ export.rdf
  3. Если во время операции возникли ошибки - лучше каждую папку с ошибкой проверить вручную и устранить ошибки. Либо использовать ключ --exclude EXCLUDE [EXCLUDE ...]  
    Повторить экспорт добившись отсутствия ошибок.
  4. В файле export.rdf находим строки вида:
    <rdf:resource rdf:resource="d:\Scrapbook\/data/20180701022748/index.html"/>
    В этих строках находим эту часть:
    <rdf:resource rdf:resource="d:\Scrapbook\/data/
    и заменяем её на:
    <rdf:resource rdf:resource="data
    Нужно произвести все возможные замены. Для этого можно воспользоваться каким-либо редактором текста.
  5. Перемещаем файл export.rdf в папку scrapbook и двойным кликом по файлу запускаем его. Zotero начнет импортировать записи из ScrapBook в свою базу.

 
Таким способом у меня всё заработало. Возможно есть и другие способы.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 07:40 01-07-2018 | Исправлено: totnetot, 07:42 01-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
При попытке импорта базы Scrapbook (C:\MySCR) получил несколько сообщений

Код:
C:\Program Files\Zotero>scrapbook2zotero.exe C:\MySCR\ export.rdf
Traceback (most recent call last):
  File "scrapbook2zotero.py", line 524, in <module>
  File "scrapbook2zotero.py", line 517, in main
  File "scrapbook2zotero.py", line 346, in export_node
  File "scrapbook2zotero.py", line 362, in export_node
  File "_strptime.py", line 478, in _strptime_time
  File "_strptime.py", line 332, in _strptime
ValueError: time data 'backup' does not match format '%Y%m%d%H%M%S'
[2620] Failed to execute script scrapbook2zotero
 

ЧЯДНТ?

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 14:06 01-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fakel33
У вас в системе никакого питона не стоит? У меня тоже были ошибки но другого плана. У вас как будто питон поломался.
 
Написал автору скрипта.  
У меня был установлен python 3.6 (последний). Правда не знаю влияет это на данный скрипт как-то или нет.
 
Добавлено:
И еще. Я бы с начал попробовал запустить скрипт по инструкции от автора. Мой метод стоит использовать только если внутри rdf файла неправильно указаны пути.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 15:15 01-07-2018 | Исправлено: totnetot, 15:19 01-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
У меня питона нет. Я все проверяю пока на виртуальной машине Windows 10 2016 LTSB x86 (VMWare). Рабочая машина Windows 10 2016 LTSB x64.
Попробую на виртуалку поставить питон и отпишусь, что получилось.
 
Добавлено:
totnetot
Поставил питон 3.6.6 на виртуалку. В результате
Подробнее...
 

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 15:37 01-07-2018 | Исправлено: fakel33, 16:58 01-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
1. scrapbook2zotero.exe на всякий случай переместить в папку у которой не будет русских букв и пробелов в пути
2. Команда правильная: scrapbook2zotero.exe C:\MySCR\ export.rdf
2. Уточнение. В папке C:\MySCR\ должен находится файл scrapbook.rdf (который родной для scrapbook)
3. Команда стандартная scrapbook2zotero.exe (путь к папке scrapbook) (файл экспорта export.rdf)
4. Команда для выявления ошибок scrapbook2zotero.exe --debug C:\MySCR\ export.rdf
Вместо --debug можно попробовать -d
 
 
Добавлено:
Если с scrapbook2zotero.exe не заработает пробовать запускать скрипт на питоне (scrapbook2zotero.py). С такими же параметрами.
 
Добавлено:
У меня все работало на win7. Может и в этом дело.
scrapbook2zotero.exe по сути является контейнером в котором запускается все тот же питоновый скрипт scrapbook2zotero.py.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 17:06 01-07-2018 | Исправлено: totnetot, 17:16 01-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
Попробовал запустить на рабочей системе и на виртуалке Windows 7 Pro x64.
Установил python 3.6.6 amd64, добавил rdflib 4,2,2 (pip install pdflib)
Результат один и тот же  
Подробнее...
Придется оставлять Firefox 52.9.x portable для сохранения базы Scrapbook.
 

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 19:40 01-07-2018 | Исправлено: fakel33, 21:27 01-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
Получилось перегнать небольшую часть своей коллекции.
Придется разбираться с каждым каталогом по отдельности. Есть ошибки при сохранении.

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 21:45 01-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fakel33
Интересно в чём была причина?

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 23:47 01-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot

Цитата:
Интересно в чём была причина?

После экспорта из Scrapbook делаю импорт из каталога в новую коллекцию и несколько записей не переносятся с ошибкой "Cound not convert JavaScript argument arg 0...".
В результате из 65 записей 5 не перенеслись по ошибке. Хотя все записи сохранялись с одного итого же форума (сохранялась только выделенная часть страницы).  
При создании chm файла с помощью ScrapBook2Chm никаких проблем не возникло.

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 09:53 02-07-2018 | Исправлено: fakel33, 10:28 02-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
У меня постепенно проходит эйфория, от знакомства с этой безусловно прекрасной программой. Кое в чём она не может заменить ScrapBook, например не может сохранить тему какого-либо форума целиком. Я с помощью ScrapBook люблю сохранять интересные темы форумов целиком, со всеми входящими в них страницами.  
 
Также Zotero не заменит настоящие PIM менеджеры, которые часто более удобны. Например мне понадобилось в Livejournal скопировать одну статью вместе со всеми комментариями. Со всеми комментариями со всех страниц. Zotero не смогла скопировать так, чтобы все комментарии были читаемы. Те которые были свернуты - так и остались свернуты. У меня не получилось их сохранить даже после того как я вручную все комментарии раскрыл. А TurboTetra справилась с этим на ура.
 
В общем буду пока пользоваться Zotero и MyTetra.  
 
fakel33
1. Импорт из Html файлов предпочтительней. Попробуйте в папках, в которых возникли ошибки удалить файлы *.js. и импортировать в другую подборку. Я удалял вручную много лишних и не нужных файлов, потом ошибки исчезали.
2. Я спрашивал в чем была причина ошибок не последующего импорта в Zotero, а ошибок работы скрипта scrapbook2zotero.exe?
3. После полного импорта ещё рано радоваться. Нужно проверить вручную все ли записи импортировались. Если у вас всего в ScrapBook 65 записей было - то это не трудно сделать и вручную. Если записей больше то нужны инструменты.
Я расскажу как я проверил у себя.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 11:12 02-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
Я похоже остаюсь на ScrapbookX + Firefox 52 ESR/Seamonkey (пока будет поддержка).

Цитата:
2. Я спрашивал в чем была причина ошибок не последующего импорта в Zotero, а ошибок работы скрипта scrapbook2zotero.exe?  

В том то и дело, что ошибки выходили до тех пор пока я не создал новую коллекцию.

Цитата:
3. После полного импорта ещё рано радоваться. Нужно проверить вручную все ли записи импортировались. Если у вас всего в ScrapBook 65 записей было - то это не трудно сделать и вручную. Если записей больше то нужны инструменты.
Я расскажу как я проверил у себя.

У меня в основной коллекции Scrapbook более 3000 записей, а на чем проверял просто побочная коллекция. Я использую режим Multi-Scrapbook.

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 11:55 02-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
100% проверка полноты импорта в Zotero из ScrapBook
1. Создаем 2 папки: test_scrapbook и test_zotero (Желательно создавать в корневой папке диска)
2. В первую копируем содержимое папки data из базы scrapbook, во вторую копируем содержимое папки storage из zotero.
3. Запускаем программу CloneSpy64.
4. В Pool1 перетаскиваем папку test_scrapbook и в Pool2 папку test_zotero  
5. Mode - compare pool1 to pool2
6. Search for - Duplicates
7. Action - Automatically delete - only in pool1
8. Delete directly
9. Так же проверяем Options:
  - игнор всех аттрибутов
  -игнор read-only
  -files - отключить все enable
  -names - отключено
  -time+size - все отключено, там же max.different ставим 0 байт, zero length files - treat as normal files
  -deletion - really delete - т.е. экономим время и удаляем файлы сразу минуя корзину - ведь мы работаем с копией данных, ничего страшного произойти не может.
остальные настройки не так важны
10. StartScanning
11. В папке test_scrapbook находим все пустые папки и удаляем. Удобно пользоваться плагином DirSizeCalc. В поисковом окне на вкладке плагины выбираем этот плагин и ставим size = 0. Потом - поиск - файлы на панель - выделить все - удалить.
 
После завершения копирования лазим тоталом по папке test_scrapbook - и ищем что же там осталось. Если остались какие-то страницы - значит они не были импортированы в Zotero.  
 
Я такой проверкой нашёл у себя 2 записи. Причем ошибок не было при импорте. Я их вручную заново перекопировал из интернета в zotero.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 12:12 02-07-2018 | Исправлено: totnetot, 13:40 02-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
Спасибо за инструкцию.
Мне не понравилось в Zotero что при при выборе подборки (в левом фрейме) показываются все документы независимо от того в каких подподборках они находятся в этой подборке.

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 12:32 02-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
fakel33
Вы либо что то не правильно сделали, или же не поняли принцип zotero. Я сам не сразу понял.
 
Рассказываю как у меня обстоят дела.
В ScrapBook  у меня все страницы были рассортированы по папкам - и в Zotero у меня все записи тоже распределены по подборкам, которые имеют такую же структуру как и в ScrapBook.
 
В Zotero немного другой принцип. Но для пользователя это ничем не отличается. Поместитьстраницу в подборку - это значит как бы присвоить соответствующий тег. Одна и та же запись может находится в нескольких подборках. При удалении страницы из подборки - она физически не уничтожается. Для уничтожения нужно ее поместить в корзину и удалить. Если страница не определена ни в одну из подборок - она становится видна в подборке - Неподшитые. При перетаскивании ее в любую подборку - она изчезает из Неподшитых. При перемещении страницы из одной подборки в другую с зажатым Shift происходит ее премещение, без Shift - происходит ее копирование в другую подборку (а по сути присваивается тег другой подборки, и запись не дублируется физически). Есть подборка Моя библиотека - в ней всегда видны все записи всей базы данных. Страница исчезает из Моя библиотека только при ее полном удалении из базы.
 
В левом нижнем отделе главного окна zotero, располагается облако тегов и метки подборок. После выбора одной из меток, или тегов - остаются кликабельными только те теги - которые пересекаются с уже выбранными.
В общем тут еще не паханное поле для изучения программы. К тому же есть много плагинов. Не вижу никакого смысла оставаться на scrapbook - Кроме использования его для скачивания сайтов целиком или отдельных тем форумов в автоматическом режиме. Ну и в zotero такие многостраничные страницы не индексируются, пока не произвести над ними определенные операции. В целом эта проблема не такая глобальная, и может быть решена с помощью скриптов.
К тому же для пакетного скачивания есть много других инструментов с большими возможностями.  
 
 
Добавлено:
Я когда импортировал записи - я ставил галочку импортировать в новую подборку. Потом в конце импорта появилась вся структура папок как и в scrapbook.  
У меня одна из корневых подборок так и называется - ScrapBook.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 13:03 02-07-2018
fakel33



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
totnetot
Если часть записей находятся в корневом каталоге, то хо очень трудно увидеть сразу как Scrapbook'е.

Всего записей: 1202 | Зарегистр. 22-08-2003 | Отправлено: 13:37 02-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обновил инструкцию, добавил пункт 11.
 
Только что проверил свою базу по этой инструкции - результат отличный. Инструкция годная. У меня только 2 папки не импортировались в zotero - и я их уже перекопировал заново. Теперь я полностью свободен от ScrapBook.
 
fakel33
Не понимаю, что вам трудно в zotero увидеть как в scrapbook?
 
В корневой подборке (Моя библиотека) находятся не
Цитата:
часть записей
- а абсолютно все записи. Так устроена программа. Не понимаю чем это мешает - не хотите видеть эти записи - не заходите в эту папку.
Чтобы подборка ScrapBook была самой верхней из всех остальных - переименуйте её в !ScrapBook.
 
Проверил у себя, открыл подборку !ScrapBook, раскрыл папки в ней и закрыл программу. Потом снова запустил Zotero - подборка !ScrapBook так и осталась с теми же раскрытыми папками. Все как и в ScrapBook.  
 
Когда вы находитесь в Моя библиотека - становятся активны все метки в облаке тегов, и там же есть мгновенный поиск по всему дереву.
 
Вообще в Zotero большой плюс - это очень быстрый поиск по всем страницам. При наличии тысяч записей ScrapBook начинает задыхаться при полнотекстовом поиске, особенно долго это происходит при переиндексации.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 14:13 02-07-2018 | Исправлено: totnetot, 14:24 02-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Обратил внимание что не все страницы Zotero сохраняет правильно. Например тестовая страница.
Так что ScrapBook действительно ещё рано отправлять на пенсию. Правда он эту страницу вроде бы с первого взгляда сохраняет в точности как она выглядит, но приглядевшись можно найти некоторые отсутствующие части текста.
 

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 13:33 03-07-2018
burbilog

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
ValueError: time data 'backup' does not match format '%Y%m%d%H%M%S'  

 
Проблема в том, что внутри базы scrapbook.rdf у вас какой-то из идентификаторов записей не соответствует формату самого scrapbook, в виде последовательности цифр ГГГГММДДЧЧММСС. Возможно, что это ошметки каких-то записей, сделанных очень ранними версиями scrapbook или его клонами. Если привести в порядок идентификаторы, должен импортировать.
 
Ставить внешний питон не надо, он упакован уже внутрь .exe. Причем версия 2.
 

Цитата:
NameError: name 'unicode' is not defined  

 
Вы поставили версию 3 и скрипт под ней естественно не запустился. Ему надо версию 2 и библиотеку rdflib (ставится через pip).
 
Добавлено:
Забавно, не ожидал что хоть кто-то воспользуется моим скриптом.  Вообще на Zotero я со скрипом переполз, мне дико не хватает одной из самых важных фич Scrapbook -- грабить не страницу, а выделенный текст, чтобы в гигантской простыне форума выдернуть нужное и сохранить как текстовую цитату.
 
Причем, как я понял, это когда-то в Zotero было, но сгинуло в процессе перехода на webextensions, и разработчики как-то на это забили.

Всего записей: 6 | Зарегистр. 06-06-2007 | Отправлено: 20:38 04-07-2018
totnetot



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
burbilog
Я уже начал считать что Zotero - это промежуточный вариант. В идеале использовать один из  PIM менеджеров. Было бы хорошо скрестить его с web органайзером.  
 
У меня была идея по экспорту базы ScrapBook в MyTetra. Была идея написать такой скрипт. Но пока ищу простой путь. Так же приглянулся OutWiker. В общем лучше смотреть в сторону этих программ чем просто веб органайзеров без возможности редактирования.

Всего записей: 410 | Зарегистр. 16-03-2013 | Отправлено: 21:36 04-07-2018
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2

Компьютерный форум Ru.Board » Компьютеры » Программы » Zotero: менеджер информации


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru