Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » MySQL

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Открыть новую тему     Написать ответ в эту тему

Leon82

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
MySQL AB


 
Офф. сайт

Страница загрузки

Документация (eng)

Офф. форум

 
Смежный топик в "В помощь сисадмину"
 
 
 
При первом же обращении mysqld, или еще чем нибудь таким, сразу останавливается, .....stoped.
В чем дело?

Всего записей: 3 | Зарегистр. 17-01-2002 | Отправлено: 11:20 19-01-2002 | Исправлено: neZlodey, 00:45 30-04-2013
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
висит/ не висит не понятно.


Код:
show processlist;


Цитата:
как отслеживать состояние импорта правильно

процентного соотношения не будет.
можно посмотреть размер таблиц (приблизительное количество строк) как меняется со временем.

Цитата:
как настроить быстродействие, т.к. ИМХО импорт проходит очень меделенно.  

у меня (не ноут) 17 гигов база, порядка 10 таблиц, в 3 из них по 13 миллионов записей (с foreign ключами, индексами) - около 40-50 минут. ну и я не использую для заливки какие то программы, напрямую в mysql как и писал ранее.

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 10:27 08-05-2018 | Исправлено: Mavrikii, 10:29 08-05-2018
mrdime



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii

Цитата:
у меня (не ноут) 17 гигов база, порядка 10 таблиц, в 3 из них по 13 миллионов записей (с foreign ключами, индексами) - около 40-50 минут. ну и я не использую для заливки какие то программы, напрямую в mysql как и писал ранее.

Какие характеристики вашего компа?
Напрямую у меня не получается: когда запускаю MySQL 5.7 command line client (насколько я понимаю через него надо можно напрямую работать), он требует пароль, когда ввожу пароль, окно сразу закрывается. С чем связано - не понятно.
Работаю через Workbench. Это же вроде бы их официальная утилита, не должен быстродействие (скорость импорта) по логике не должна бы существенно отличаться.
 
Проанализировал: у меня получается скорость 400 тыс. записей в час, с такой скоростью мне надо будет 50 часов, чтобы всю базу проимпортировать. Как-то оч. медленно.

Всего записей: 2975 | Зарегистр. 04-01-2005 | Отправлено: 11:44 08-05-2018 | Исправлено: mrdime, 12:44 08-05-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
Какие характеристики вашего компа?

это не играет роли. к тому же под Linux все это бегает быстрее.
 

Цитата:
Напрямую у меня не получается: когда запускаю MySQL 5.7 command line client

консоль откройте и в ней выполняете все команды.  
 

Цитата:
когда ввожу пароль, окно сразу закрывается. С чем связано - не понятно

значит неправильный пароль или доступа нет для используемого пользователя.
 
еще раз - сначала окно консоли в системе, а уже в нем обращения к mysql клиенту

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 22:46 08-05-2018
mrdime



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
Со всем разобрался. Спасибо за помощь.
 
С консолью проблема была не в пароле, а в статусе сервиса MySQL. Если я сервер запускал из Worbench, то окно консоли после ввода пароля сразу закрывалось. Если я сервис MySQL запускал из сервисов винды, то консоль нормально работала.
 
Зато уже с кодировками приходилось играться (при попытке импорта из консоли). При UTF-8, в которую я выставил .sql-файл кириллица почему-то импортировалась кракозябрами. Не стал дальше заморачиваться почему, в Worbench таких проблем не возникало, вернулся к нему.
 
Разобрался окончательно с импортом через Worbench. Почитал мануалы и форумы - консоль бы мне не помогла (с быстродействием).
Оказывается, что при импорте больших файлов критичным является то, что в MySQL выставлено по-умолчанию почему-то autocommit = true (спасибо форуму https://stackoverflow.com). Из-за этой шняги все тормозит катастрофически.
Я выставил SET autocommit=0 ; и все полетело. 27 млн. (в итоге) записей проимпортировались за около 30 мин., при том что в начале импорт 1,5 млн. записей мне занял целую ночь.

Всего записей: 2975 | Зарегистр. 04-01-2005 | Отправлено: 03:19 09-05-2018 | Исправлено: mrdime, 03:20 09-05-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mrdime

Цитата:
Я выставил SET autocommit=0 ;

да, забыл об этом. но у меня проблемы с автокоммитом были только на массовых обновлениях (там запрос мог выполняться почти сутки), при импорте дампа все нормально идет (может можно было ускорить, но было не критично).

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 03:33 09-05-2018 | Исправлено: Mavrikii, 03:33 09-05-2018
NoDiR_777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Не устанавливается mySQL на Windows 7 64-бит, вылетает с ошибкой
 
Лог ошибки  

Цитата:
Имя сбойного приложения: MySQLInstaller.exe, версия: 1.4.26.0, отметка времени: 0x5b05de85
Имя сбойного модуля: KERNELBASE.dll, версия: 6.1.7601.19045, отметка времени 0x56259271
Код исключения: 0xe0434352
Смещение ошибки: 0x000000000000b3dd
Идентификатор сбойного процесса: 0x1ec0
Время запуска сбойного приложения: 0x01d45bb3dff9772f
Путь сбойного приложения: C:\Program Files (x86)\MySQL\MySQL Installer for Windows\MySQLInstaller.exe
Путь сбойного модуля: C:\Windows\system32\KERNELBASE.dll
Код отчета: 1dc1142d-c7a7-11e8-93e8-14dae9efad24

 

Цитата:
 
Приложение: MySQLInstaller.exe
Версия платформы: v4.0.30319
Описание. Процесс был завершен из-за необработанного исключения.
Сведения об исключении: System.UnauthorizedAccessException
   в System.IO.__Error.WinIOError(Int32, System.String)
   в System.IO.Directory.InternalCreateDirectory(System.String, System.String, System.Object, Boolean)
   в System.IO.Directory.InternalCreateDirectoryHelper(System.String, Boolean)
   в WexInstaller.Core.LoggerListener.CheckTextFile()
   в WexInstaller.Core.LoggerListener.Write(System.String)
   в System.Diagnostics.TraceListener.WriteHeader(System.String, System.Diagnostics.TraceEventType, Int32)
   в System.Diagnostics.TraceListener.TraceEvent(System.Diagnostics.TraceEventCache, System.String, System.Diagnostics.TraceEventType, Int32, System.String)
   в System.Diagnostics.TraceSource.TraceEvent(System.Diagnostics.TraceEventType, Int32, System.String)
   в WexInstaller.Core.Logger.LogException(System.Exception)
   в WexInstaller.Program.ReportUnhandledException(System.Exception)
   в WexInstaller.Program.Main()
 

 
Чем это можно вылечить?

Всего записей: 38 | Зарегистр. 17-12-2009 | Отправлено: 13:48 04-10-2018
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NoDiR_777
до этого MySQL стоял? попробуйте удалить старые папки из program files, programdata, возможно что то еще в профиле юзера.

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 22:06 04-10-2018
NoDiR_777



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
 
Удалил все старые папки, но это, к сожалению, не помогло

Всего записей: 38 | Зарегистр. 17-12-2009 | Отправлено: 15:52 05-10-2018
Itto



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго дня ,  
Народ подскажите пожалуйста как это можно реализовать  
есть БД MariaDB 10.4 (MySQL)
в ней есть таблица  
в таблице есть колонка,  
в колонке содержатся текстовые сообщения,
всего их 170 000 штук.
Как можно подсчитать количество символов техстовой информации в столбце  
просто общее количество ?  

Всего записей: 1557 | Зарегистр. 05-02-2005 | Отправлено: 20:51 21-04-2020
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Itto
https://stackoverflow.com/questions/21772205/how-to-get-size-of-column-in-mysql-table

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 20:52 21-04-2020
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Всем привет, подскажите чем можно конвертировать БД в формате *.MYI + *.MYD + *.frm в обычный SQL ?
 
Спасибо!

Всего записей: 2948 | Зарегистр. 24-04-2007 | Отправлено: 01:11 05-01-2021
opk44

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY
Что такое "обычный SQL"?

Всего записей: 173 | Зарегистр. 16-01-2020 | Отправлено: 11:16 05-01-2021
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
opk44

Цитата:
Что такое "обычный SQL"?

Ну это значить когда вся БД находится в одном файле sql и в нормальном "читаемом" виде!

Всего записей: 2948 | Зарегистр. 24-04-2007 | Отправлено: 01:27 06-01-2021
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY

Цитата:
Ну это значить когда вся БД находится в одном файле sql и в нормальном "читаемом" виде!

это называется дамп.
 

Цитата:
БД в формате *.MYI + *.MYD + *.frm

зависит от того чем эти файлы созданы.
если от MySQL, то берем MySQL с поддержкой MyISAM движка (5.7, в 8 он уже урезан) и засовываем файлы в папку с базами. если все хорошо, MySQL ее увидит. после чего делаем дамп.
https://ru.hostings.info/schools/eksport-mysql-dump-bazy-dannyh.html

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 01:29 06-01-2021 | Исправлено: Mavrikii, 01:31 06-01-2021
FUTURiTY

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Mavrikii
Ну и как мне например на хостинге timeweb.ru найти папку где лежат БД?
Там ведь нету такого!
 
Почему нельзя дать ссылку просто на конвертер?

Всего записей: 2948 | Зарегистр. 24-04-2007 | Отправлено: 04:15 06-01-2021 | Исправлено: FUTURiTY, 04:16 06-01-2021
Mavrikii

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
FUTURiTY

Цитата:
Почему нельзя дать ссылку просто на конвертер?

в нем просто нет смысла. возможно есть какие нить смотрелки, но есть же бесплатный MySQL сервер.
эти утверждают, что могут, но даже проверять не хочется - https://www.arysontechnologies.com/blog/mysql-database-viewer/
но не факт, что может делать дамп.
 

Цитата:
Там ведь нету такого!

а зачем вам хостинг? что мешает поставить MySQL себе?
https://stackoverflow.com/questions/879176/how-to-recover-mysql-database-from-myd-myi-frm-files
на shared хостинге вам ессно не дадут доступа к настройкам БД или ее файлам.

Всего записей: 15038 | Зарегистр. 20-09-2014 | Отправлено: 04:26 06-01-2021 | Исправлено: Mavrikii, 04:33 06-01-2021
Weinaum



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Приветствую, проблема с mysql (mariadb) под mac os big sur, не знаю где лучше, описал в этом топике.
Целый день бьюсь, не могу решить.  
Главное, вчера еще все работало, а сегодня вот такое и не могу понять что не хватает...

Всего записей: 2152 | Зарегистр. 18-06-2006 | Отправлено: 15:45 27-01-2021
Weinaum



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
в общем, не запускается сервер - в логах вот такие проблемы:
@Alexanders-MacBook-Pro mysql % mysqld

Код:
2021-01-28 10:15:04 0 [Note] mysqld (mysqld 10.5.8-MariaDB) starting as process 67507 ...
2021-01-28 10:15:04 0 [Warning] Setting lower_case_table_names=2 because file system for /usr/local/var/mysql/ is case insensitive
2021-01-28 10:15:04 0 [Note] InnoDB: Uses event mutexes
2021-01-28 10:15:04 0 [Note] InnoDB: Compressed tables use zlib 1.2.11
2021-01-28 10:15:04 0 [Note] InnoDB: Number of pools: 1
2021-01-28 10:15:04 0 [Note] InnoDB: Using crc32 + pclmulqdq instructions
2021-01-28 10:15:04 0 [Note] InnoDB: Initializing buffer pool, total size = 134217728, chunk size = 134217728
2021-01-28 10:15:04 0 [Note] InnoDB: Completed initialization of buffer pool
2021-01-28 10:15:04 0 [Note] InnoDB: Starting crash recovery from checkpoint LSN=348758843,348758843
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1.ibd' with space ID 11400, since the redo log references ./magento/catalog_category_product_index_store1.ibd with space ID 10408.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store2.ibd' with space ID 11401, since the redo log references ./magento/catalog_category_product_index_store2.ibd with space ID 10409.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_product_index_eav.ibd' with space ID 11405, since the redo log references ./magento/catalog_product_index_eav.ibd with space ID 10413.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/cataloginventory_stock_status.ibd' with space ID 11407, since the redo log references ./magento/cataloginventory_stock_status.ibd with space ID 10415.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_product_index_price.ibd' with space ID 11408, since the redo log references ./magento/catalog_product_index_price.ibd with space ID 10416.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalogsearch_fulltext_scope1.ibd' with space ID 11409, since the redo log references ./magento/catalogsearch_fulltext_scope1.ibd with space ID 10417.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalogsearch_fulltext_scope2.ibd' with space ID 11421, since the redo log references ./magento/catalogsearch_fulltext_scope2.ibd with space ID 10429.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento233/design_config_grid_flat.ibd' with space ID 11433, since the redo log references ./magento233/design_config_grid_flat.ibd with space ID 11050.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento233/customer_grid_flat.ibd' with space ID 11445, since the redo log references ./magento233/customer_grid_flat.ibd with space ID 11062.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11270.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11282.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11295.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11307.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/design_config_grid_flat.ibd' with space ID 11376, since the redo log references ./magento/design_config_grid_flat.ibd with space ID 11319.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/customer_grid_flat.ibd' with space ID 11388, since the redo log references ./magento/customer_grid_flat.ibd with space ID 11331.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1_replica.ibd' with space ID 11343, since the redo log references ./magento/catalog_category_product_index_store1_replica.ibd with space ID 10297.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store2_replica.ibd' with space ID 11344, since the redo log references ./magento/catalog_category_product_index_store2_replica.ibd with space ID 10298.
2021-01-28 10:15:04 0 [Note] InnoDB: Ignoring data file './magento/catalog_category_product_index_store1.ibd' with space ID 11343. Another data file called ./magento/catalog_category_product_index_store1_replica.ibd exists with the same space ID.
2021-01-28 10:15:04 0 [ERROR] InnoDB: Cannot rename './magento/catalog_category_product_index_store1_replica.ibd' to './magento/catalog_category_product_index_store1.ibd' because the target file exists. Remove the target file and try again.
2021-01-28 10:15:04 0 [ERROR] InnoDB:  Cannot replay file rename. Remove either file and try again.
2021-01-28 10:15:04 0 [ERROR] InnoDB: Plugin initialization aborted with error Generic error
2021-01-28 10:15:04 0 [Note] InnoDB: Starting shutdown...
2021-01-28 10:15:04 0 [ERROR] Plugin 'InnoDB' init function returned error.
2021-01-28 10:15:04 0 [ERROR] Plugin 'InnoDB' registration as a STORAGE ENGINE failed.
2021-01-28 10:15:04 0 [Note] Plugin 'FEEDBACK' is disabled.
2021-01-28 10:15:04 0 [ERROR] Unknown/unsupported storage engine: InnoDB
2021-01-28 10:15:04 0 [ERROR] Aborting

 
Такое впечатление, что права слетели, пробую уже по всякому, не получается ничего.  
вот была проблема год назад описано - очень схожие данные - mariadb, magento.  
Только у меня это все локально по mac os из под homebrew.
 
 
 
Добавлено:
Удалось сервер запустить - добавил в my.cnf  

Код:
[mysqld]
innodb_force_recovery = 1

т.е. сервер запускается игнорируя ошибки - в логе видны эти ошибки, и сайт с базой magento стартует с ошибками.  
Похоже, база как то побилась, но теперь легче ремонтировать, когда есть доступ.  
Но самое главное, нужная база практически не пострадала - хотя там видно что тоже не без проблем.

Всего записей: 2152 | Зарегистр. 18-06-2006 | Отправлено: 15:39 28-01-2021
Vidocqq

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
На одном компе не получается перенести базу на другой логический диск...
Рекомендации из Поиска ничего пока не дали.
На доном ПК все прошло нормально - создал папку, перенес туда папку с базой (data), подправил путь в файле my.iniи все заработало. Попробовал по той же схеме на другом ПК (надо было эту базу растиражировать на еще один комп), но при запуске MySQL постоянно вылетает ошибка "Процесс неожиданно завершен (1067)".
Пробовал разные рекомендации, добавлял разрешение для "NETWORK SERVICE" и пр. ... но пока глухо...
 
Стоит на Вин 7, MariaDB 10.5.

Всего записей: 1012 | Зарегистр. 03-09-2007 | Отправлено: 17:47 18-09-2021
qupear



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vidocqq
Надо лог ошибок посмотреть. Или может быть лог винды, может мускул туда тоже пишет ошибку.

Всего записей: 1048 | Зарегистр. 03-02-2013 | Отправлено: 21:24 18-09-2021
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12

Компьютерный форум Ru.Board » Компьютеры » Программы » MySQL


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru