Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » нагрузка на сайт и базу

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3

Открыть новую тему     Написать ответ в эту тему

edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
UncoNNecteD
Опять безаппеляционно, без аргументов и фактов, ну как всегда в общем.

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 14:21 13-02-2006
N Sensey N



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
edogs
jpeg не зачем в базе хранить... это другой разговор....
 
а про сортировку тебе UncoNNecteD уже сказал...

----------
sPaiz-Nuke - Free PHP CMS Web Design and Development Портал для израильтян

Всего записей: 1409 | Зарегистр. 01-10-2002 | Отправлено: 15:54 13-02-2006
edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
N Sensey N

Цитата:
jpeg не зачем в базе хранить... это другой разговор....  

И чем большой jpeg принципиально отличается от большого текста если не нужен поиск?  

Цитата:
а про сортировку тебе UncoNNecteD уже сказал...  

Глупость он сказал, без аргументов (поэтому нечего даже опровергать) и не по теме (ибо в варианте "текст в файлах" возможность сортировки по нужным полям сохраняется на 100%).

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 16:53 13-02-2006
N Sensey N



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
edogs
Да хотя бы логикой... картинка это файл... текст - это данные...
если уж на то пошло...
 
+ Смысл? C картинками удобно работать когда они на ftp, на них удобно давать ссылки... передавать ссылки по нету...
С тестом в файле - я такого удобства не вижу...
 
И если ты уже такой категоричный - что значит большой текст?

----------
sPaiz-Nuke - Free PHP CMS Web Design and Development Портал для израильтян

Всего записей: 1409 | Зарегистр. 01-10-2002 | Отправлено: 18:49 13-02-2006 | Исправлено: N Sensey N, 18:51 13-02-2006
edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
N Sensey N

Цитата:
Да хотя бы логикой... картинка это файл... текст - это данные...  

Картинка это оказывается файл?  
Для информации: картинка это данные. А вот хранить данные можно в файле... а можно в таблице... которая правда тоже файлы.
Мы хоть один аргумент от Вас увидим? Нет?
 
Добавлено:

Цитата:
+ Смысл? C картинками удобно работать когда они на ftp,  

Ага. Особенно удобно в ЖЖ наверное, да? Всем юзерам раздать по ftp и пусть себе "удобно работают", а кто не сможет - тот ССЗБ

Цитата:
С тестом в файле - я такого удобства не вижу...  

Если бы Вы прочитали то что мы писали, Вы бы обратили внимание на то, что про ЭТО удобство мы ни разу не говорили.  
Впрочем, спасибо за лишний аргумент. Хранение текста в файлах действительно проще ещё и с точки зрения лишнего способа доступа к текстам.

Цитата:
И если ты уже такой категоричный - что значит большой текст?

Это к автору темы вопрос.

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 19:24 13-02-2006 | Исправлено: edogs, 19:27 13-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
edogs
Ты вообще читаешь что пишут?
Выборки делаются по индексам, поэтому -
Цитата:
Допустим база размером 1.500.000 записей. Насколько будет меньше база (по которой кстати делается сортировка и выборка с where) если news_text оттуда вынести в файл? Допустим каждая ячейка с текстом 64Кб... 1.5М*64Кб=... стоит ли настолько увеличивать таблицу по которой будет идти сортировка, выборка, индексация и т.д.

полный бред. Выборки/сортировки и т.п. будут делатся не с 1.5М*64кб, а 1.5М*10байт.
 
Добавлено:

Цитата:
Картинка это оказывается файл?  
Для информации: картинка это данные. А вот хранить данные можно в файле... а можно в таблице... которая правда тоже файлы.  
Мы хоть один аргумент от Вас увидим? Нет?  

Аргумент был:

Цитата:
+ Смысл? C картинками удобно работать когда они на ftp, на них удобно давать ссылки... передавать ссылки по нету...  
С тестом в файле - я такого удобства не вижу...  

Не забывай так же, что база автоматом делает кэширование и прочую хрень. А ты будешь руками открывать сотни файлов.
Ты просто НЕ ВИДИШЬ аргументы. Читай вниматочней.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 15:22 14-02-2006
APTEM



Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ребят, можно я аргумент брошу в пользу файлов?
Как вы думаете, что нужно сделать, чтобы передать BLOB-поле от MySQL к PHP и наоборот?..
Для этого нужно использовать соединение с БД. А как соединение реализуется? - Прально, посредством сокетов. Сколько лишних звеньев? - Много...
Куда проще создать файл и сбросить в него текст, чем гонять этот текст между БД и Web-сервером...

Всего записей: 396 | Зарегистр. 16-07-2004 | Отправлено: 15:56 14-02-2006
edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
UncoNNecteD

Цитата:
Выборки делаются по индексам, поэтому -  
...
полный бред. Выборки/сортировки и т.п. будут делатся не с 1.5М*64кб, а 1.5М*10байт.  

Вы мастер художественного квотинга? Искуссно отрезали слово "индексация" от выборок/сортировок?  
О том что выборки могут идти и не по индексированным полям мы здесь даже не говорим... если Вы так уверенны что все поля базы обязательно надо обрамлять индексами, то объяснять что это не всегда разумно видимо бесполезно.

Цитата:
Не забывай так же, что база автоматом делает кэширование и прочую хрень.  

Общие слова, аргументов - 0.

Цитата:
А ты будешь руками открывать сотни файлов.  

Общие слова, аргументов - 0.

Цитата:
Аргумент был:  
Цитата:+ Смысл? C картинками удобно работать когда они на ftp, на них удобно давать ссылки... передавать ссылки по нету...  
С тестом в файле - я такого удобства не вижу...  
Ты просто НЕ ВИДИШЬ аргументы. Читай вниматочней.
 

А Вам не кажется что читать внимательнее надо Вам? На этот "аргумент" мы ответили в предыдущем посте.  
 
Добавлено:
APTEM
+1.

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 15:56 14-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
А как соединение реализуется? - Прально, посредством сокетов

edogs

Цитата:
Добавлено:  
APTEM  
+1.  

Неправильно. Почитайте ка мануалы.
 

Цитата:
если Вы так уверенны что все поля базы обязательно надо обрамлять индексами, то объяснять что это не всегда разумно видимо бесполезно

Индексировать надо ТЕ поля, по которым будут делатся выборки.  
Выбоки делать по BLOB-ам это маразм.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 16:43 14-02-2006
edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
UncoNNecteD

Цитата:
Неправильно. Почитайте ка мануалы.  

Опять в художественном квотинге упражняетесь? Не надоело?

Цитата:
Индексировать надо ТЕ поля, по которым будут делатся выборки.  

Как мы уже сказали

Код:
... объяснять ... видимо бесполезно ..

 
Ваши аргументы вида "мускул писали грамотные люди поэтому все надо хранить там", "мускул крут тем что умеет кэшировать и прочую хрень" на нас почему-то не действуют. А других у Вас просто нет. Наши же аргументы Вы "опровергаете" художественным квотингом передергивая смысл фраз. При этом после указания Вам на это, мы просто переводите тему.  
Всё, извините, на этом прекращаем, больше Вам отвечать не будем.

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 17:01 14-02-2006 | Исправлено: edogs, 17:04 14-02-2006
N Sensey N



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
edogs
знаешь... я ведь тоже к твоим словам могу писать "фигня, где аргументы"
 

Цитата:
Что касается сортировки. Не поняли. Сортировка по чему? По ИД рубрики? Имени? Дате? Так мы это из базы и не предлагали выносить, поэтому не поняли что Вы имеете ввиду говоря про сортировку.

 
А что тогда предлагали? Обращаться в базу.... брать от туда id, дату и т.д ... а текст брать с файла? Понту? Соединение и запрос к базе и так уже есть.... сортировка ро идее тоже .. так почему бы не вытащить сразу с базы текст? По моему что в базе.... что в файле... KB занимаемой текстом памяти от этого не изменится....
 

Цитата:
Внимательно прочитали Ваш запрос в базу.  
Конкретно по нему (поиск пока оставляем в покое) и если чисто о скорости речь - вынесли бы текст новости в файлы, остальное (связи и т.д.) оставив в базе.  
Допустим база размером 1.500.000 записей. Насколько будет меньше база (по которой кстати делается сортировка и выборка с where) если news_text оттуда вынести в файл? Допустим каждая ячейка с текстом 64Кб... 1.5М*64Кб=... стоит ли настолько увеличивать таблицу по которой будет идти сортировка, выборка, индексация и т.д.?  
Допустим лимит для этого запроса 100 записей. Сколько в памяти займет (100 записей)*news_text ? Допустим каждая ячейка с текстом по 64Кб = 6.4Мб? Вам точно это надо?

 
Откуда цифры? Где аргументы? Где написано такое?
 

Цитата:
Ага. Особенно удобно в ЖЖ наверное, да? Всем юзерам раздать по ftp и пусть себе "удобно работают", а кто не сможет - тот ССЗБ

 
Зачем ftp раздавать? Дать папку и туда скидывать картинки юзеров... в чем проблема? Все по моиму так и делают... я не вижу ни одного плюса в сторону хранения картинок в базе...

----------
sPaiz-Nuke - Free PHP CMS Web Design and Development Портал для израильтян

Всего записей: 1409 | Зарегистр. 01-10-2002 | Отправлено: 17:32 14-02-2006 | Исправлено: N Sensey N, 18:16 14-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
edogs
APTEM
На любом нормальном хостинге, PHP соединяется с MySQL посредством unix-pipe. Это не медленнее файлов.
 
edogs
Я может и не привожу аргументов, в твоем понимании, но и не пишу бреда, типа выборок по 1.5М*64кб

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 18:00 14-02-2006
edogs

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А что тогда предлагали? Обращаться в базу.... брать от туда id, дату и т.д ... а текст брать с файла?  

Угу. Наконец-то разобрались
 

Цитата:
По моему что в базе.... что в файле... KB занимаемой текстом памяти от этого не изменится....  

Смотря как строить скрипт, если "тупо" - "все что выбрал - загнал в память - и вперед", то да, не изменится.  

Цитата:
Откуда цифры? Где аргументы? Где написано такое?

В отквоченной Вами цитате были вопросы к Вам... на которые Вы не ответили. Аргументы были выше и ниже. Цифра 1.5М взята из первого поста автора. Цифра в 64Кб была взята как минимальная учитывая разговоры автора о БОЛЬШОМ тексте... т.е. не меньше размера поля text (даже не longtext). Впрочем даже её уменьшение 4 принципиально ничего не изменит.
 

Цитата:
згаешь... я ведь тоже к твоим словам могу писать "фигня, где аргументы"

Можешь, только тогда нам придется давать линки на посты с ними, или повторять их заново, зачем? Мы этого делать не будем.  
 
Ответьте пожалуйста на простой вопрос - зачем устраивать из таблиц помойку храня там всё и вся? Зачем раздувать размер одной таблицы храня там чисто СТАТИЧЕСКУЮ информацию над которой НЕ производится никаких СЛОЖНЫХ операций? Зачем прогонять лишний объем данных через мускульный интерфейс когда можно напрямую обратиться к файлу? Зачем лишать себя возможности в будущем добавив неиндексируемое поле устроить по нему поиск (на большой базе table scan менее реален)?  
 

Цитата:
я не вижу ни одного плюса в сторону хранения картинок в базе...

мы не видим ни одного плюса в сторону хранения большого текста в базе...
А текст и картинки это одно и то же - данные.
Так значит Вы с нами согласны? Ну и о чем было спорить?
 
На этом и закончим для себя здесь участие.  
Напоследок просто пару цитат из мануала, не всегда правда имеющих прямое отношение к обсуждаемой теме, но выводы сделать можно
http://dev.mysql.com/doc/refman/4.1/en/data-size.html
One of the most basic optimizations is to design your tables to take as little space on the disk as possible.
Create only the indexes that you really need.  
In some circumstances, it can be beneficial to split into two a table that is scanned very often. This is especially true if it is a dynamic-format table and it is possible to use a smaller static format table that can be used to find the relevant rows when scanning the table.  
 
Добавлено:

Цитата:
На любом нормальном хостинге, PHP соединяется с MySQL посредством unix-pipe. Это не медленнее файлов.

Почему-то многие уверены что mysql хранит свои данные не в файлах, а в некоем абсолютно быстром пространстве. Но это не так.  

Цитата:
Я может и не привожу аргументов, в твоем понимании,  

Не знаем в чьем понимании кроме Вашего "мускул писали грамотные люди поэтому все надо хранить там", "мускул крут тем что умеет кэшировать и прочую хрень" это может быть аргументом.

Цитата:
но и не пишу бреда, типа выборок по 1.5М*64кб

И мы этого тоже не пишем. А кто это пишет? Давайте объясним что он не прав
 
 
P.S.: Всё, нас в этой теме больше нет.
 
Добавлено:
В личке по этому топику ответим если вдруг...

Всего записей: 1778 | Зарегистр. 25-07-2004 | Отправлено: 18:20 14-02-2006
SiMM

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Зачем раздувать размер одной таблицы храня там чисто СТАТИЧЕСКУЮ информацию над которой НЕ производится никаких СЛОЖНЫХ операций?
Флаг вам в руки и барабан на шею. Ищите ТЕКСТОВУЮ информацию в файловой базе.
Цитата:
мы не видим
Мы - хан? Купите коллективные очки. Только зачем рассказывать о проблемах со зрением в форуме по программированию?
Цитата:
Напоследок просто пару цитат из мануала
Отличные цитаты. Ещё бы хан вникал в их смысл - цены б ему не было.
Цитата:
А текст и картинки это одно и то же - данные.
Угу. С той лишь разницей, что надо быть больным на голову (в качестве диагноза вполне подойдёт РМЛ), чтобы делать поиск в картинках.
Цитата:
Почему-то многие уверены что mysql хранит свои данные не в файлах
Почему-то многие АБСОЛЮТНО не видят разницы между файловой системы и СУБД. А между тем - она существует. С точки зрения дисковых операций.
Цитата:
Не знаем в чьем понимании кроме Вашего "мускул писали грамотные люди поэтому все надо хранить там", "мускул крут тем что умеет кэшировать и прочую хрень" это может быть аргументом.
Приписать противнику то, чего он не говорил - довольно хитровышморганный ход.
Цитата:
Всё, нас в этой теме больше нет.
И слава богу Abiens, abi
Честное слово - я долго сдерживался. Но задрало смотреть на это безобразие.
Цитата:
В личке по этому топику ответим если вдруг...
Гы... увольте

Всего записей: 2302 | Зарегистр. 14-05-2004 | Отправлено: 20:38 14-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
делать поиск в картинках

Камрады, вы внимательно хоть читали посты гражданина edogs? А то первым же его постом ведь вписано:

Цитата:
Если поиск не нужен по тексту.

Там же, ниже, описана альтернативная "организация" индексов для поиска при большом количестве записей и больших объемов текста.
 

Цитата:
С точки зрения дисковых операций.

С точки зрения дисковых операций, данные из файловой системы не сразу попадают в память приложения. Драйверы ввода-вывода умеют кешировать и чтение, и запись. Вся архитектурная разница между СУБД и файловой системой заключается в дополнительном буффере, которым обладает СУБД под кеширование собственных данных. А двойное использование оперативной памяти под одни и те же данные крайне отрицательно скажется при миллионах записей и большом количестве обращений.
 
Так что преимущество в скорости статичных структур перед динамическими при высокой загрузке выдумано не за просто так.

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 08:07 15-02-2006
SiMM

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Камрады, вы внимательно хоть читали посты гражданина edogs?
Читать надо не посты edogs'а, а исходную задачу. И мыслить хоть чуточку шире.
Цитата:
преимущество в скорости статичных структур перед динамическими
Вы либо поясняйте свои глубокие мысли, либо не пишите подобной чуши. Где здесь "статика vs динамика" применительно "СУБД vs файловая система"?

Всего записей: 2302 | Зарегистр. 14-05-2004 | Отправлено: 14:53 15-02-2006 | Исправлено: SiMM, 14:54 15-02-2006
wowsms

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
offtopic: не стоит обращать внимания на edogs, - это баба мы в сетке одного провайдера, раньше  
всех доводила до бешенства, а потом на нее забили по причине ее полного неадеквата
 
почитайте ее комменты и все поймете - http://***.pp.ru/pn/user.php?op=userinfo&uname=OlgaI_




обсуждение личных качеств - не здесь /Cheery/

Всего записей: 3 | Зарегистр. 16-12-2005 | Отправлено: 18:10 15-02-2006 | Исправлено: Cheery, 19:04 15-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
исходную задачу

Была не исходная задача, а вопрос: "Есть ли смысл в спихивании всех данных в одну таблицу и чем это будет чревато". Если не осуществляется поиск по тексту, то никакого смысла его складывать этот текст в таблицу - нет. Если над текстом с помощью СУБД не осуществляется каких-то целенаправленных действий, кроме вставить запись - удалить запись, то никакого смысла хранить текст в СУБД - снова нет. Гораздо эффективнее с точки зрения ресурсов системы хранить текст в файлах. Ответ полностью подходит под исходную задачу. Высказанное недовольство ответом и искренняя вера в то, что драйвера ввода-вывода не умеют кешировать - непонятны.
 

Цитата:
Где здесь "статика vs динамика" применительно "СУБД vs файловая система"?

Статика vs динамика, применительно к, заключается в том, что статические, неизменяемые, структуры данных завсегда было выгоднее хранить в файлах, а не в более верхнем слое абстракции.

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 09:02 16-02-2006 | Исправлено: VolxV, 09:02 16-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
В файловой системе есть понятие открытых файлов, количество одновременно открытых файлов всегда ограничено. При миллионах - как поставлено в задаче и о чем спор ниже - это приведет к отказам в работе.
Сама операция открытия/закрытия одного файла - операция не быстрая. Вспомните хотя бы - как копируется 1000 маленьких файлов и как копируется один большой.
По моему опыту - хостеры не любят - когда скрипты работают с файлами. А они - практики и знают тему.
 


----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 11:59 16-02-2006
SiMM

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
статические, неизменяемые, структуры данных завсегда было выгоднее хранить в файлах, а не в более верхнем слое абстракции.
Откуда такие выводы? Были выполнены какие-то тесты? Которые любой желающий может воспроизвести на своей машине и убедиться в этом? Ну так тесты - в студию.
PS: вообще-то до кучи при работе с файлами имеет значение даже используемая FS.

Всего записей: 2302 | Зарегистр. 14-05-2004 | Отправлено: 18:29 16-02-2006
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3

Компьютерный форум Ru.Board » Интернет » Web-программирование » нагрузка на сайт и базу


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru