Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Embarcadero RAD Studio

Модерирует : ShIvADeSt

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323

Открыть новую тему     Написать ответ в эту тему

V1s1ter



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
         
Обсуждаем новые возможности и баги
 
Просьба писать про Embarcadero RAD Studio XE5, XE6, XE7, XE8, 10.x (Seattle, Berlin,Tokyo)
  По вопросам скачивания - Тема в Варезнике (lite-версии тут)
  Вопросы по неюникодным версиям Delphi — шестая бумага
  Бесплатные Компоненты и утилиты для Delphi/BCB/FreePascal/Lazarus
  Коммерческие компоненты и утилиты для Delphi/BCB
  Вопросы по компонентам для Delphi, C++ Builder разных версий
  Новые языковые возможности, начиная с Delphi 2005 по XE4 — здесь, и New!здесь еще
  Англоязычный официальный форум Embarcadero — здесь
  Embarcadero Quality Central, веб интерфейс — здесь, новый Quality Portal тут
  Программирование на Delphi — викиверситет
  Другие ресурсы
   Предыдущие бумаги
 
     Вопросы ..XE4       Вопросы ..XE3    Вопросы ..XE2      
  Вопросы ..2009-XE    Вопросы ..<2009 / ч.5    Вопросы ..<2009 / ч.4      
  Вопросы ..<2009 / ч.3    Вопросы ..Delphi 2 / ч.2    Вопросы ..Delphi  

  Выключение встроенного эксперта Castalia  для XE8 (иногда помогает при вылетах и тормозах)  
  Полезные плагины(эксперты)

Всего записей: 948 | Зарегистр. 06-02-2007 | Отправлено: 15:25 11-09-2013 | Исправлено: Komandor, 15:49 31-03-2024
qwertEHOK

Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
подскажите пожалуйста как быстро и построчно прочитать огромный (от 500мб) текстовый файл?
желательно еще организовать Progresbar что бы пользователь видел что процесс идет

Всего записей: 454 | Зарегистр. 13-09-2006 | Отправлено: 09:05 04-08-2016
apnss

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
qwertEHOK
 CreateFileMapping и MapViewOfFile тебе в помощь

Всего записей: 708 | Зарегистр. 26-02-2002 | Отправлено: 09:17 04-08-2016
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
apnss
Над ними кстати должны существовать какие то обертки. Потому что напрямую их дергать весьма сомнительное удовольствие.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 12:20 04-08-2016
apnss

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Frodo_Torbins
 я направление задал    
да и юзал его еще на XP и каком-то  древнем сабже  тогда такой  вариативности апишек не было  
хотел у себя  найти код, для примера - нету  
вроде на торринет чтото было  

Всего записей: 708 | Зарегистр. 26-02-2002 | Отправлено: 12:47 04-08-2016 | Исправлено: apnss, 12:49 04-08-2016
NeoAnomaly

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Можно глянуть в сторону TGpTextFile

Всего записей: 418 | Зарегистр. 23-03-2010 | Отправлено: 13:42 04-08-2016
qwertEHOK

Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
уж послали так послали
 
нашел вот такой unit
http://muonium.rgho.st/6sTnJK5pl
 
но на  
  var
    b:TMappedMemoryStream;
    line:string;
  begin
    b:=TMappedMemoryStream.Create(filename);
    result:=0;
    while not (b.EOF) do
    begin
      line:=b.ReadString;
      inc(result);
    end;
    b.Free;
  end;
 
ругается человеческим голосом. посмотрите своим опытным взглядом функцию ReadString
 
 
 
Добавлено:
кстати, пока самым быстрым идет обычный FileStream (правда в одном файле - за 800мб он самый последний)
 
в 10,1 добавили TBufferedFileStream http://docwiki.embarcadero.com/Libraries/Berlin/en/System.Classes.TBufferedFileStream
 
жаль пока не могу потестить ((

Всего записей: 454 | Зарегистр. 13-09-2006 | Отправлено: 13:44 04-08-2016
Cryogen2003



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
qwertEHOK
Поддержку NeoAnomaly, посоветую TGpTextFile.
Умеет читать и писать через буфер - по скорости очень нравится

----------
Холодильники мы

Всего записей: 745 | Зарегистр. 08-12-2004 | Отправлено: 14:40 04-08-2016
qwertEHOK

Full Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
вот результаты по скорости
   
 
первый файл 150 мб, с адресами (длинные строки)
второй файл - 320 мб, с цифрами
 
первое число это gettickcount
второе - количество строк
 
Добавлено:
NeoAnomaly
Cryogen2003
у TGpTextFile использует OTL
я поставил последний OTL, но что-то не то. тестовое приложение TGpTextFile работает
 
ругается OTL
[dcc32 Error] OtlCommon.pas(2904): E2003 Undeclared identifier: 'TSystemLogicalProcessorInformationArr'
[dcc32 Error] OtlCommon.pas(2908): E2003 Undeclared identifier: 'DSiGetLogicalProcessorInfo'
[dcc32 Fatal Error] GpHugeF.pas(373): F2063 Could not compile used unit 'OtlCommon.pas'
 
хотя все демо примеры работают

Всего записей: 454 | Зарегистр. 13-09-2006 | Отправлено: 14:49 04-08-2016 | Исправлено: qwertEHOK, 15:43 04-08-2016
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
qwertEHOK
Попробуйте TSharedSream, а поверх него TStringStream. Кстати TStringStream можно использовать поверх любого наследника TStream.
 
Добавлено:
Вот блин, сейчас вчитался в код, а TSharedSream не напрямую файлы с диска мапит. Так что использовать из него можно только маленькую обертку над системным АПИ. Но замечание на счет TStringStream остается верным, его можно с любым стримом использовать.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 18:19 04-08-2016
SolidSnakeRU

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Cryogen2003
Dronton2
http://fracton.rgho.st/8XHbpfzHM
Это старый код, но исполняемый файл работает, но после компиляции в XE6 не работает.
Я думаю требуется адаптация под современную среду и возможно переписка фрагментов.
Но зато какой потенциал  
Сам отложил сурсы на будущее, когда будет время ковырять.
 
reenoip
Где-то 28 мегабайт, точно не помню, но помню что целиком попал в память.
Тогда как без запаковки пара мегов загрузилась.

Всего записей: 248 | Зарегистр. 27-08-2008 | Отправлено: 23:30 04-08-2016 | Исправлено: SolidSnakeRU, 23:31 04-08-2016
reenoip



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SolidSnakeRU, понятно. Ну, лично я бы тридцаткой смело пренебрёг: лет 10 назад, глядя на аппетиты современных ("современных" - тогда ещё, не говоря уже о нынешних временах) приложений, предпочёл не выбиваться из общей картины, и сделал ставку на UPX. И время показало, что я не прогадал. Один хрен на все мои ухищрения и оптимизации всем плевать (это только мне и сисадминам видно, что полста мегабайт - будьте добры), всем клиентам/заказчикам нужен требуемый функционал в более-менее приличном внешнем виде. Ещё заметил такое: даже если вдруг ПК не справляется - все начинают винить ПК, но никак не приложение. Так что да - я давным-давно дал слабину и убил в себе перфекциониста, досконально вылизывающего каждую строку кода в погоне за видимой только мне экономией. С другой стороны, время работает на меня - парки ПК рано или поздно обновляют, причём обновляют даже те, кто постоянно мне твердит "смилуйся, сжалься, пощади - у нас нет денег!".
 
 
Разумеется, это не руководство к действию. Каждый делает свой личный выбор

Всего записей: 1768 | Зарегистр. 10-03-2006 | Отправлено: 06:19 05-08-2016
Cryogen2003



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
reenoip
Поддерживаю, сейчас перфекционизм в моде только для очень часто выполняемых кусков кода. Для всего остального не очень нужно, да и пользователю не видно.
Я мучался надавно с кодом только в случае трехзвенки - там должно быть все быстренько, да и ликов памяти никаких не должно быть (ну крайней мере постарался, чтобы в моем коде ликов не было)
 
SolidSnakeRU
Оке, буду смотреть что это за зверь такой. Осталось только понять, как его запустить в новых средах.

----------
Холодильники мы

Всего записей: 745 | Зарегистр. 08-12-2004 | Отправлено: 07:31 05-08-2016
SolidSnakeRU

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Cryogen2003
Вообще-то утечек памяти быть не должно в любом софте, особенно в постоянно запущенном.
Другое дело оптимизации размера ехе и скорости исполнения, тут я согласен и давно считаю, что гнаться за килобайтами или секундами смысла нет. Если посмотреть как работает инсталлер абракадабры - они тоже придерживаются этой концепции, даже злоупотребляя.
 
Я наверно очевидные вещи сейчас напишу.
 
В современным реалиях, размер приложения может быть любым.
Главное чтобы приложение работало, выполняло свои функции, можно пожать инсталлятор и предусмотреть умное обновление, если необходимо.
А сколько там занимает на диске ехе в распакованном виде - никому дела до этого нет.
Если пользователю жалко забивать ssd - поставит на hdd.
 
Всегда смотрю общую производительность своих приложений и сервисов.
Если она не достаточно высокая, можно инвестировать время в исследования и оптимизацию.
В противном случае, зачем тратить время просто так.
Чем дальше лезешь в оптимизацию, тем сложнее становится.. никто не оценит и не поймет.

Всего записей: 248 | Зарегистр. 27-08-2008 | Отправлено: 11:44 05-08-2016 | Исправлено: SolidSnakeRU, 11:46 05-08-2016
NeoAnomaly

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
у TGpTextFile использует OTL  

qwertEHOK, OTL stable, на сколько я понял, поддерживает пока только Seattle. Попробуй без OTL, смотри юнит HugeF.pas
 
 

Всего записей: 418 | Зарегистр. 23-03-2010 | Отправлено: 12:18 05-08-2016
Cryogen2003



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
SolidSnakeRU
да, очевидные, но к сожалению бывает приходится извращаться с кодом. Иногда требуется скорость (некоторые мелкие процедуры даже в inline приходится переводить), иногда бывает думаешь о трафике (пришлось вводить трехзвенку с сжатием, чтобы регионам жилось полегче, к сожалению ODAC (как в обычном режиме, так и в прямом режиме) очень любит посылать огромное количество информации и посылает к сожалению маленькими пакетами). И из-за всех этих дум бывает думаешь не только о нужном для бизнеса функционале.

----------
Холодильники мы

Всего записей: 745 | Зарегистр. 08-12-2004 | Отправлено: 12:57 05-08-2016
Dronton2

Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Cryogen2003
Можете вкратце описать, с помощью чего среднее звено сжимает данные для ODACа, работающего в прямом режиме? Трехзвенку на дельфи писать не приходилось. Хочу понять, в какую сторону копать, и насколько это напряжно.

Всего записей: 460 | Зарегистр. 27-06-2005 | Отправлено: 13:11 05-08-2016
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Кому там бинарный диф нужен был, посмотрите Updater & UpdateMaker тут: http://bonanzas.rinet.ru/r_tools.htm

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 13:31 05-08-2016 | Исправлено: Frodo_Torbins, 13:32 05-08-2016
Cryogen2003



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Dronton2
Написал все через RealThinClient, сжатие и шифрацию можно в нем же делать. Все данные и серверная, и клиентская часть сама все сжимает и разжимает, можно сделать либо через http подобное (сильно надежнее, но чуть меньше скорости), либо через udp (тут самому следить за данными и насколько верно они передались).  
 
Постарался сделать максимально универсально для всех своих программ, которые используют ODAC и подобные компоненты (для каждого типа компонент для получения и отправки серверных данных сделано примерно 10 процедур-функций).  
Из-за универсальности пришлось сделать дополнительную передачу параметров.
Зато теперь в итоге программа умеет без необходимости ребилда коннектится и на трехзвенку, и напрямую в оракл, mssql, firebird и так далее в зависимости от приложения), куда именно коннектится решается из ini файла и настроек внутри самого приложения.
 
Если будете писать трехзвенку, то обратите внимание на RealThinClient, только все поместите в сервис. Были проблемы, когда программа была с гуи мордой. А когда морду вынес в отдельное приложение, стало сильно надежнее.
 
 
Добавлено:
Frodo_Torbins
я что-то не совсем понял, а хранит ли он в себе все различия всех версий перед текущей? Ну например сотрудник ушел в отпуск, а за это время несколько обновлений было подготовлено.  
Чтобы у него точно обновилась его версия до текущей с минимальным количеством трафа.

----------
Холодильники мы

Всего записей: 745 | Зарегистр. 08-12-2004 | Отправлено: 13:46 05-08-2016
Frodo_Torbins

Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Cryogen2003
Тогда нужно будет скачать файлы всех выпущенных апдейтов и накатывать по очереди. Пока версия приложения не вырастет до текущей. Если вы хотите делать апдейты, которые будут увеличивать версию сразу на несколько единиц, то это тоже возможно, но нужно будет как то отдельно это организовывать. Например генерить апдейты увеличивающие версию на 1, 2, 4, 8 и так далее единиц. И потом в клиенте прописывать логику, что если локальная версия 31, а текущая 43, то запросить у сервера апдейты 31->32, 32->40, 40->42 и 42->43.

Всего записей: 2318 | Зарегистр. 24-05-2007 | Отправлено: 16:23 05-08-2016
SolidSnakeRU

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Или сделать очень жирный сервер, который будет хранить переходы с любой старой версии до самой новой. Это сильно увеличит требование к месту на сервере, зато у пользователя будет только 1 итерация обновления. Вспоминаю 2000 года, когда почти все патчи на игрушки были дифы.
Сидишь и ждешь по 30 минут пока 6 патчей по очереди отработают перешивая файл вдоль и поперек.

Всего записей: 248 | Зарегистр. 27-08-2008 | Отправлено: 16:57 05-08-2016 | Исправлено: SolidSnakeRU, 16:58 05-08-2016
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 311 312 313 314 315 316 317 318 319 320 321 322 323

Компьютерный форум Ru.Board » Компьютеры » Прикладное программирование » Embarcadero RAD Studio


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru