Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » Web-программирование » нагрузка на сайт и базу

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3

Открыть новую тему     Написать ответ в эту тему

N Sensey N



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VolxV
[qoute]Была не исходная задача, а вопрос: "Есть ли смысл в спихивании всех данных в одну таблицу и чем это будет чревато". Если не осуществляется поиск по тексту, то никакого смысла его складывать этот текст в таблицу - нет.[/qoute]
 
Покажи мне смысл хранить в файлах...

----------
sPaiz-Nuke - Free PHP CMS Web Design and Development Портал для израильтян

Всего записей: 1409 | Зарегистр. 01-10-2002 | Отправлено: 12:06 18-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
количество одновременно открытых файлов всегда ограничено. При миллионах

Исходя из формулировки вопроса -- миллионами может оказаться общее количество записей в БД, а не количество одновременно открытых файлов. Количество дескрипторов для файлов ограничивается основными операционными системами (Windows на NT, Linux на ядрах 2.4+) от 16k до 64k (крайне приблизительно помню цифры, могу ошибиться - поправляйте). Однако в любом случае, эта цифра _значительно_ выше общего числа процессов/потоков, которые может себе позволить иметь веб-сервер и СУБД.
 

Цитата:
как копируется 1000 маленьких файлов и как копируется один большой.

Так и в СУБД 1000 коротких записей вставляется дольше, чем 1 длинная, и что?
 

Цитата:
хостеры не любят - когда скрипты работают с файлами. А они - практики и знают тему.

Это очень плохой аргумент, на самом деле. С той же уверенностью можно утверждать, что "миллиарды мух не могут ошибаться", и - - -, ну, ты понял. У хостеров собственные интересы и собственные преследуемые цели.
 

Цитата:
Откуда такие выводы?

Такие выводы сделаны из знания архитектуры подобных систем. Тест провести очень просто. В одном test-case данные вытаскиваются из статичного HTML-файла, в другом - аналогичное содержимое вытаскивается из СУБД. Тестирование производится любой стресс-утилитой. Хотя результаты для многих доступны априори. Да, тест можно усложнить, накидав гораздо больше файлов и записей в базу, но результаты сохранятся - статика будет гораздо быстрее наворотов с использованием СУБД.
 

Цитата:
имеет значение даже используемая FS

Ну? А что, роль фразы "либо поясняйте свои глубокие мысли, либо не пишите подобной чуши" анизатропна? Какое же именно имеет значение тип файловой системы и для каких именно систем?
 
UncoNNecteD, SiMM, ответьте на прямой вопрос - вы используете СУБД для хранения картинок? Если нет - почему? Если да - снова почему.
 

Цитата:
Покажи мне смысл хранить в файлах...

Высокая скорость доступа и меньшая нагрузка на сервер. Высокая скорость доступа и меньшая нагрузка на сервер. Высокая скорость доступа и меньшая нагрузка на сервер. Сколько можно-то уже, действительно?

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 07:49 20-02-2006
SiMM

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
UncoNNecteD, SiMM, ответьте на прямой вопрос - вы используете СУБД для хранения картинок? Если нет - почему? Если да - снова почему.
Разве речь шла о картинках? Я ещё раз обращу ваш взор к тредстартеру и его вопросу. И я не думаю, что рано или поздно этому индивидууму не захочется хоть какого-то, но поиска.
Что касается вашего вопроса о картинках - я отвечу на него после того, как вы убедите меня в том, что поиск по содержимому картинки имеет огромное практическое значение.

Всего записей: 2302 | Зарегистр. 14-05-2004 | Отправлено: 12:55 20-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
речь шла о картинках?

Речь шла о порциях данных. Это ты и я можем отличить картинку от текста. И то далеко не всегда. Компьютерному болвану при хранении это отличие еще более пофик.
 
Перед тем как перейти к вопросу поиска, давай зафиксируемся: если поиск не нужен, то большие порции данных лучше хранить в файлах, так?

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 13:09 20-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Перед тем как перейти к вопросу поиска, давай зафиксируемся: если поиск не нужен, то большие порции данных лучше хранить в файлах, так?

1. В быстродействии разницы нет.
2. В базе удобнее.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 22:57 20-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
1. В быстродействии разницы нет.

Есть.
 

Цитата:
2. В базе удобнее.

Кому удобнее? Программисту, который затратит на 2 человеко-часа меньше на разработку или  пользователю, который будет каждый раз при открытии страницы ждать несколько лишних минут?

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 07:03 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Есть.  

У нас тут можно требовать аргументы Давай свои доставай!
 

Цитата:
Кому удобнее? Программисту, который затратит на 2 человеко-часа меньше на разработку или  пользователю, который будет каждый раз при открытии страницы ждать несколько лишних минут?

 
Лишних минут? Утрируете юноша...  
Удобнее в плане гибкости этого решения.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 12:36 21-02-2006
VolxV

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
нас тут можно требовать аргументы Давай свои доставай!

Совершенно верно, именно это и имелось ввиду. Мои аргументы изложены выше, равно как и контраргументы на. Ничего не опровергнуто до сих пор.
 

Цитата:
Лишних минут? Утрируете

Отнюдь. (:
Были прецеденты при использовании полнотекстовых индексов на таблицах с ~ нескольких М записей.

Всего записей: 898 | Зарегистр. 01-06-2001 | Отправлено: 14:14 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
О полнотекстовых индексах речи не идет.
 
Короче мне лень аргументы копать. Если кому то не лень - напишите пару скриптов для тестов и выложите, а просто воздух сотрясать хватит.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 14:46 21-02-2006
Church



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
1. В быстродействии разницы нет.  
2. В базе удобнее.

 
Вот тебе контраргумент, после которого, ты может не будешь так категоричен.
 
MaxMind - имеется база, держащая в себе айпишники. Так вот, в платной версии - это файлик около 20МБ.
 
Работает быстрее, чем на MySQL бесплатная версия, в которой информации не менее, чем в десять раз меньше.
 
Добавлено:
PS.. Быстро писАл, написал не полностью... Речь идет о GeoIPCity в качестве платной версии на файле против GeoIPCountry на муське.

Всего записей: 1199 | Зарегистр. 05-09-2003 | Отправлено: 14:47 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Church
Не аргумент. Нужны чистые скриптовые тесты с открытым кодом.
Ибо и с файлом и с базой работать можно по разному.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 15:55 21-02-2006
CheRt



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Почитал спор, интересно, можно сказать вечная война, как между ПХПшниками и ПЕРЛерами =)
 
ИМХО:
Не хотим много гимороя - юзаем базу, НО делим на несколько таблиц. Грамотно проводим нормализацию, иначе получаем бред
 
С файлами возьни много больше, тем не менее реализовать на них грамотную стуктуру можно и более того - иногда нужно. И поиск по файлам делается нормально и сортировка и т.д.
Только вот основной прикол с файлами в том, что их надо делить, даже 1 "таблицу" при больших объемах стоит разделить на цепочку файлов, т.к. файл порядка 10-20мб. будет обрабатываться достаточно долго. А при N запросов в секунду...
Вопрос о нарушение структуры в процессе работы с файлами:
Господа(и милые дамы, если в этом споре участвовали)! Вам лок/флок на что?! Ради прикола?!
 
Теперь ставим вопрос о универсальности, в данном случае я о переносимости методов работы с данными на другие движки(я так понимаю, что если пользователь говорит о куче сервисов, то подразумевает и целую пачку скриптов):
тут удобнее будет использовать БД, т.к. разные скрипты(для различных нужд) по разному же распихивают свою инфу и для использования файловой системы придется писать достаточно объемную библиотеку-посредник единой модели работы с данными(как правило в таком случае ненадо изобретать свои типы данных и стуктуру запросов, а взять для совместимости с БД SQL язычок, а вот интепритатор и "псевдообработчик" типов придется делать самому.).
Страшная вещь, поверьте, делал наброски...

----------
В огне бода нет и не будет!
До встречи в СССР 2.0!

Всего записей: 1118 | Зарегистр. 14-12-2001 | Отправлено: 16:11 21-02-2006
Church



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Ибо и с файлом и с базой работать можно по разному.

Ужас... Так возьми и проверь. Ты же не смотрел и не знаешь, но строишь из себя всезнайку. Так думать о себе ты можешь что угодно, но не нужно пудрить мозги новичкам, которые прочитав этот топик пойдут в варез просить GeoCityIP на MySQL.

Всего записей: 1199 | Зарегистр. 05-09-2003 | Отправлено: 16:57 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Church

Цитата:
Ты же не смотрел и не знаешь, но строишь из себя всезнайку. Так думать о себе ты можешь что угодно

Полегче на поворотах.
 
Я смотрел и знаю. И в отличии от некоторых привожу вполне разумные факты. Но ЧИСТОГО тестирования/сравнения не делал и не собираюсь - ибо некогда.
Если тебя заинтересовала это тема - сделай. А флеймить бросай. Прочитай топик еще раз, мож чего поймешь.
 
CheRt
Мож тебе интерес есть? Напиши тест?

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 17:31 21-02-2006
Church



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Я смотрел и знаю. И в отличии от некоторых привожу вполне разумные факты.

Где?

Цитата:
Но ЧИСТОГО тестирования/сравнения не делал и не собираюсь - ибо некогда.  

Ну дык вот сидите и.... не учите. Или не оспоряйте известное. GeoIPCity можно было бы сделать под MySQL, но разработчики сделали почему-то с файлом. Зачем потребовалось писать большой код (вместо одного SELECT FROM ... WHERE - написано много кода по обработке файла)?
Незнание? Почему же тогда для GeoIPCountry - есть вариант на муське?
 
И ещё раз повторяюсь: при использовании GeoIPCity с базой на файле скорость СУЩЕСТВЕННО выше, чем при использовании GeoIPCountry под муськой.
В GeoIPCity порядка 1500000 записей, в GeoIPCountry - 80000, если мне не изменяет память...

Всего записей: 1199 | Зарегистр. 05-09-2003 | Отправлено: 17:52 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Где?  


Цитата:
Прочитай топик еще раз, мож чего поймешь.  

 

Цитата:
не учите. Или не оспоряйте известное. GeoIPCity можно было бы  


Цитата:
при использовании GeoIPCity с базой на файле  

Это что - эталонная программа? Кому это известно? Вам?
А моя программа быстрее работает на базе, и что?
 
К тому же речь выше (перечитайте топик, я не пустые слова говорю) шла о куче маленьких файлов, а не одном на 20Мб.
 
Да воообще сравнивать глупо.

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 18:15 21-02-2006
Church



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Это что - эталонная программа? Кому это известно? Вам?

Я где-нибудь написал, что это эталонная программа? Я привел её как известный пример программы, которая работает на файлах быстрее, нежели на MySQL, с учетом того, что по ней осуществляется поиск

Цитата:
А моя программа быстрее работает на базе, и что?  

Смотря какая программа
 

Цитата:
К тому же речь выше (перечитайте топик, я не пустые слова говорю) шла о куче маленьких файлов, а не одном на 20Мб.

В топике речь шла не только о маленьких файлах, а если точнее, то речь шла о файлах и MySQL.
 
 
ЗЫ:
Нормальные люди в булочную на такси не ездят, а если нужно быстро добраться в Антарктиду с Северного полюса - рассматривают вариант перелета на самолете, а не рассматривают только варианты пешей прогулки и поездки в санях

Всего записей: 1199 | Зарегистр. 05-09-2003 | Отправлено: 18:54 21-02-2006
CheRt



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Church, насчет твоей программы: посмотри какой вариант "жрет" больше памяти(оперативной ест), если файловый, то или аппарат хеширования лучше, или в памяти основную часть держит... Верится мне, что в некоторых вещах ФС действительно быстрее, но чтоб 1 20-мегбайтник... ...вот в это и мне не очень верится.
Либо же MySQL-ый вариант написан "ногами".
 
UncoNNecteD, всего лишь выссказал свое мнение. Интереса же писать такой тест, в коем будет очень много кода, т.к. для нормального сравнения надо проводить всесторонний "прогон", а из этого следует, что необходимо эммулировать все наиболее важные и часто юзаемые инструменты СуБД = гиморой во всю Ж.
Лучше уж за деньги что-нить "нудное" попишу )

----------
В огне бода нет и не будет!
До встречи в СССР 2.0!

Всего записей: 1118 | Зарегистр. 14-12-2001 | Отправлено: 21:11 21-02-2006
UncoNNecteD



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
CheRt
+1

----------
-= Я тут чертовски давно =-

Всего записей: 4040 | Зарегистр. 21-03-2002 | Отправлено: 00:04 22-02-2006
Church



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Church, насчет твоей программы

Это не моя программа
 

Цитата:
Верится мне, что в некоторых вещах ФС действительно быстрее, но чтоб 1 20-мегбайтник... ...вот в это и мне не очень верится.  

В память 20 метров скрипт точно не загоняет... У меня бы комп сдох :0)
 

Цитата:
Либо же MySQL-ый вариант написан "ногами".  

А какие варианты могут быть? Имеется айпишник, в базе структура:
 
[ip_from|ip_to|country_code|country_name]
 
Требуется найти код/название страны по айпишнику (то есть смотрим запись, в которой "ip_current>ip_from AND ip_current<ip_to".
 
 
В общем, сегодня посмотрю, что сколько чего жрёт. Любители баз данных - сообщите наилучший способ структуры таблицы с данными (несколько строк выше) и выборки, чтобы потом не говорили, что у меня руки растут оттуда же, откуда и ноги.

Всего записей: 1199 | Зарегистр. 05-09-2003 | Отправлено: 12:07 22-02-2006
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3

Компьютерный форум Ru.Board » Интернет » Web-программирование » нагрузка на сайт и базу


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru