Различия
Здесь показаны различия между двумя версиями данной страницы.
Предыдущая версия справа и слева Предыдущая версия Следующая версия | Предыдущая версия | ||
unix:progress:dump-load [2015/10/08 17:23] kos [Загрузка] |
unix:progress:dump-load [2021/07/07 22:38] (текущий) kos [Загрузка] |
||
---|---|---|---|
Строка 27: | Строка 27: | ||
Data Definitions (.df file)... <bisquit.df> | Data Definitions (.df file)... <bisquit.df> | ||
User Table Contents... <_user.d> | User Table Contents... <_user.d> | ||
- | Security Authentication Records... <_sec-authentication-*.d> | + | Security Domains... <_sec-authentication-*.d> |
Sequences Current Values... <_seqvals.d> | Sequences Current Values... <_seqvals.d> | ||
Строка 34: | Строка 34: | ||
* Создаем файл со списком всех таблиц исходной базы (''tabs.txt'') по выгруженному ''bisquit.df'': | * Создаем файл со списком всех таблиц исходной базы (''tabs.txt'') по выгруженному ''bisquit.df'': | ||
- | sed -ne 's:^ADD TABLE "\(.*\)":\1:p' bisquit.df | tee tabs.txt | + | sed -ne 's:^ADD TABLE "\(.*\)".*$:\1:p' bisquit.df | tee tabs.txt |
- | Проверяем и фиксируем кол-во таблиц: | + | Проверяем и фиксируем количество таблиц: |
wc -l tabs.txt | wc -l tabs.txt | ||
Строка 43: | Строка 43: | ||
while read TAB; do | while read TAB; do | ||
- | bq41d dump $TAB . || break | + | bq41d dump $TAB . -thread 1 -threadnum 4 || break |
done <tabs.txt | tee dump.log | done <tabs.txt | tee dump.log | ||
Если какую-либо таблицу не надо дампить (например, ''history''), то следует предварительно удалить ее из файла ''tabs.txt''. | Если какую-либо таблицу не надо дампить (например, ''history''), то следует предварительно удалить ее из файла ''tabs.txt''. | ||
После дампа проверяем логи (''dump.log'').\\ | После дампа проверяем логи (''dump.log'').\\ | ||
- | Проверяем кол-во сообщений об успешных дампах (должно соответствовать кол-ву таблиц): | + | Проверяем количество сообщений об успешных дампах (должно соответствовать количеству таблиц): |
grep "(6254)" dump.log | wc -l | grep "(6254)" dump.log | wc -l | ||
Строка 92: | Строка 92: | ||
Data Definitions (.df file)... <bisquit.df> | Data Definitions (.df file)... <bisquit.df> | ||
User Table Contents... <_user.d> | User Table Contents... <_user.d> | ||
- | Security Authentication Records... <_sec-authentication-*.d> | + | Security Domains... <_sec-authentication-*.d> |
Sequences Current Values... <_seqvals.d> | Sequences Current Values... <_seqvals.d> | ||
Строка 106: | Строка 106: | ||
* В этом месте лучше сделать бэкап созданной "пустой" базы с загруженной структурой, чтобы в случае неудачи начинать не с создания базы, а из бэкапа (база еще маленькая и восстановится быстро). | * В этом месте лучше сделать бэкап созданной "пустой" базы с загруженной структурой, чтобы в случае неудачи начинать не с создания базы, а из бэкапа (база еще маленькая и восстановится быстро). | ||
+ | * Для увеличения производительности загрузки можно предварительно выполнить запуск брокера БД и процессов APW а также выключить механизм защиты от сбоя (запись в журнал BI). Внимание: при указании опции "-i" в случае какого-либо сбоя в загрузке необходимо будет начать процесс полностью заново, с пункта создания новой пустой базы либо восстановить ее из предварительно сделанного бэкапа. | ||
+ | |||
+ | bq41d start -i -spin 50000 -L 102400 -bibufs 100 -B 20000 | ||
+ | |||
+ | Запуск нескольких процессов proapw позволит ускорить процесс загрузки данных. Задайте дополнительное их количество в параметрах запускающего скрипта: | ||
+ | |||
+ | RunBIW="yes" | ||
+ | RunAPW="yes" | ||
+ | BQNAPW="5" | ||
+ | |||
+ | Или используйте соответсвующие команды: | ||
+ | |||
+ | bq41d exec probiw \$BQDB | ||
+ | bq41d exec proapw \$BQDB | ||
+ | bq41d exec proapw \$BQDB | ||
+ | bq41d exec proapw \$BQDB | ||
+ | bq41d exec proapw \$BQDB | ||
+ | bq41d exec proapw \$BQDB | ||
+ | |||
* Грузим данные (//может требовать значительного времени!//): | * Грузим данные (//может требовать значительного времени!//): | ||
cd <dump dir> | cd <dump dir> | ||
- | for F in *.bd*; do bq41d load $F || break; done | tee load.log | + | for F in *.bd*; do bq41d load $F -tscope 5000 || break; done | tee load.log |
Если какую-либо таблицу не надо загружать (например, ''history''), то следует | Если какую-либо таблицу не надо загружать (например, ''history''), то следует | ||
Строка 151: | Строка 170: | ||
- Документация БИСквит http://support.bis.ru/prod/bq/core/docs/\\ | - Документация БИСквит http://support.bis.ru/prod/bq/core/docs/\\ | ||
- Документация к патчам БИСквит//\\ | - Документация к патчам БИСквит//\\ | ||
+ | |||
+ | {{tag>progress prodb}} | ||