Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Hardware » Общие вопросы » Быстродействие расчётов БД на разных ПК

Модерирует : Akam1, Dr_StandBy, vertex4

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

ploom

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
В общем, есть у нас одна БД которая написана на FoxPro. Туда подгружаются исходные данные с фалов .bdf производятся расчеты и получается на выходе .dbf
Сначала производили расчеты на сервере и проблем вроде не было, то есть ни кто не замечал, сколько это занимало времени, так как ставили вечером на ночь с утра - готово. Сервер в общем перепрофилировали, специалисты начали расчеты делать у себя. У спеца на компе c конфигурацией i3-3220, мать b75ma-p45 и 4гб оперативки (винда 32бит) расчет занимал 5.5+ часов. Попробовали на новом ноуте i7-4700 и расчет занимает 2.5часа. Попробовали на другом мощном компе у i5-4600, z97-k, 8 гигов - там еще меньше 2.5-.
Посмотрели по всем тестам, используется при расчетах только одно ядро. Решили спецам обновить  проц, купили i7-3770 поставили и шиш. Уменьшение времени расчета составило менее 10%, то есть чуть менее 5 часов...
 
Есть у кого советы?
 
Ps
Ради интереса попробовали расчет на серваке 1с, который по всем листам производительности выше остальных xeon e3-1245, 16 гигов, ссдшки в рейде. Так там 4.5+-
Вообще ничего не понимаем.

Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 12:52 17-03-2016
komandor

Platinum Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ploom

Цитата:
Вообще ничего не понимаем.

Аналогично. Попробуем разобраться.  
Есть несколько вопросов.  
  • Версия FoxPro?
  • Объем оперативки на ноуте?
  • Размер БД?
  • БД локальная или удаленная?
  • расчет на серваке 1с был в хост-системе?
     
    Вообще-то, в винде есть потрясающий инструмент - монитор ресурсов. Зачастую одного взгляда хватает, чтобы разобраться.

  • Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 18:24 17-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    1) Фокс-про 9.0
    2) 8
    3) Целиком папка занимает 1 гиг, всё ли там под БД не знаю, программеров спрашивать надо. Но думаю 1 гиг далеко не критический размер.
    4) Локально, во всех вариантах
    5) Не совсем понял вопроса. Там нет виртуалок, обычный сервак, операционка стоит win7 64, не стали покупать серверную =) для экономии.
     
    Во всех случаях это было единственное запущенное приложение
    Так на всех компах вроде под нагрузкой 1 ядро, память не забита при расчете

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 19:52 17-03-2016 | Исправлено: ploom, 19:54 17-03-2016
    PrintScreen

    Gold Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    ploom
    Вы, если приводите результаты испытаний, сообщайте более подробные данные по железу и софту, объём оперативной памяти, наличие/отсутствие SSD, тип ОС, наличие/отсутствие антивируса, запущенные параллельно приложения и т.п. Корректное сравнение получится только на системах с одинаковым софтом.

    Всего записей: 5054 | Зарегистр. 14-06-2004 | Отправлено: 21:07 17-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    SSD был только на серваке 1с, там же отсутствовал антивирус.
    Очевидно, что проблема не в софте. Про приложения - написал же, что расчет БД был единственным процессом.

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 22:25 17-03-2016
    komandor

    Platinum Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    У меня есть два предположения.
    Первое - это просто не хватает памяти.
    Второе - FoxPro каким-то чудесным образом использует AVX2. Или OpenCL 1.2
    ploom, что проще сделать - снять одну планку памяти с ноута или добавить еще памяти к i7-3770? Для сравнения результатов.
    Ну и, конечно, хотелось бы скриншотов монитора ресурсов хотя бы на 2-х разных компах. "Загрузка процессора", "Загрузка памяти", "Загрузка диска".  Естественно, во время тестового расчета. А лучше - и вхолостую.

    Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 23:58 17-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Я попробую всё предложенное, но смогу только в понедельник.
    Самое простое это вынуть планку y i5-4600 так как это ПК, правда память тогда будет работать не в двухканальном режиме.
     
    Памяти полно на серваке 1с, там 16, но расчеты не на уровне i5 и i7. Но всё равно проверю.
     
    PS
    может банально камень новый с браком? его бы на место i5 поставить и проверить, такая первая мысль была, но там сокеты разные 1150 и 1155

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 00:40 18-03-2016 | Исправлено: ploom, 00:42 18-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Итак, БД 50000 записей. В каждой записи входящих 250 параметров и 250 исходящих +-
    Папка с БД весит 1.1 гиг, там 49 файлов БД, между которыми они данные таскают.
    Для работы используется APM constructor (не знаю существенно или нет), но для расчета вроде не используется он.
     
    Вот новый комп i5-4600 (ноут не стал делать) с нагрузкой и монитор ресурсов (в подтверждение тому, что хард почти не используется)


     
     
    Так вот комп специалиста без нагрузки, с нагрузкой и с нагрузкой без антивируса на i3-3200



     
    вот тот же комп, но уже с i7-3770 без нагрузки, с нагрузкой и с нагрузкой с пропатченным биосом и отключенным hyper-thre



     
     

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 19:34 21-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Может на это сокет как то влиять?
    На двух компах специалистов 1155, на серваке 1с (самым мощным по ттх) тоже 1155, а на компах на которых нет проблем 1150 и bga1364 (который аналог 1150 для ноутбуков)

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 09:52 22-03-2016
    komandor

    Platinum Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    ploom
    Сам по себе сокет ни на что не влияет, кроме выбора процессора.
    А по поводу "что влияет, процессор или память" мы договорились проверить:
    Цитата:
    вынуть планку y i5-4600

    Все равно расчет в один поток, так что старшие в линейке процессоры получают прибавку только за счет большего кэша.

    Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 19:08 22-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Я вынимал планку, но скринов не наделал. И там оказалось 16 гигов, так что вынув получил 8, 1000 записей обработало примерно 1 в 1 по времени что и на 16 гигах
     
    Надо дома на расчет поставить базу, у меня i5-3570 в 1155, если будет тоже медленно, то видимо предположение что проблема в сокете будет очевидна =) Так как у меня вроде помощней будет комп, чем i5 на работе

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 22:51 22-03-2016 | Исправлено: ploom, 00:02 23-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    В общем дома на 3570 тоже медленно и что самое интересное примерно одно время что и у i3, что и i7. Получается чипсет...

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 14:11 23-03-2016
    komandor

    Platinum Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    ploom

    Цитата:
    Получается чипсет...

    Причем тут чипсет? Дисковой активности нет!
    Скорее всего
    Цитата:
    FoxPro каким-то чудесным образом использует AVX2. Или OpenCL 1.2


    Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 17:25 23-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Я посмотрю, фишка в том, что 3 винды из списка ставили с одного диска. Вот i5-4600 на 1150 абсолютно чистый образ и считает быстро.
    Я взял чистый образ на ссдшке, воткнул на комп специалиста и результата нет.
    Винда моя домашняя такая же.
     
    Opencl я поставлю, а что с avx делать? И вообще как я понимаю avx довольно новая штука, а базе этой лет 10. Так что слабо представляю что база может avx этот использовать

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 17:34 23-03-2016 | Исправлено: ploom, 17:39 23-03-2016
    komandor

    Platinum Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Opencl я поставлю


    Это как? Конечно, старый процессор так вот сходу не отвергнет новые инструкции, но возиться с ними будет долго. Хасвелл, Бродвелл, Скайлайк - они уже могут аппаратно, не эмуляцией.

    Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 18:02 23-03-2016
    ploom

    Junior Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Так подожди, я уже просто таких тонкостей не понимаю. Ты имеешь ввиду, что Хасвелл, Бродвелл, Скайлайк в отличии от Иви бридж  всё это умеют по умолчанию. И проблема по твоему именно  в этом?
     
    Я просто вот тоже самое предполагал, под словами про чипсет, так как все новые процы с этими технологиями именно по 1150 делаются в отличии от Иви который под 1155.

    Всего записей: 51 | Зарегистр. 26-08-2009 | Отправлено: 09:36 24-03-2016
    komandor

    Platinum Member
    Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    ploom

    Цитата:
    Я просто вот тоже самое предполагал, под словами про чипсет

    Давайте пользоваться устоявшейся терминологией. "Микроархитектура процессора". Иначе говоря, поколение процессоров. Или - семейство процессоров.  
     
    Кстати, Intel любит урезать какие-то ненужные людям функции в пределах одной микроархитектуры, но в бюджетных решениях. Так что я, например, не уверен, что Целерон Хасвелл повторит результат I5 Хасвелл. Несмотря на то, что Фокспро всего один поток задействует.

    Всего записей: 10963 | Зарегистр. 11-09-2002 | Отправлено: 23:02 24-03-2016
    Открыть новую тему     Написать ответ в эту тему

    Компьютерный форум Ru.Board » Hardware » Общие вопросы » Быстродействие расчётов БД на разных ПК


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.B0ard
    © Ru.B0ard 2000-2024

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru