[firebase-br] Importar dados FB

josauro em casasoft.inf.br josauro em casasoft.inf.br
Qua Jan 4 09:37:48 -03 2006


De todos os problemas o que não consigo aceitar é o problema do processo ir 
ficando lento a medida que se insere registros no BD, tipo (aproximado) 
10,000 na primeira hora 9.000 na segunda e assim por diante, sendo que apos 
finalizar a importação e iniciar novamente mesmo com a base maior o processo 
começa rápido novamente e vai degradando, quer dizer algo fica degradando as 
inserções.
Estou fazendo todas as consistencias sem FK tudo em triggers para pdoer 
desliga-las durante esse processo, então hoje esta assim.

Indices desligados para inserções nas tabelas.
Triggers desligadas.
Inserções atraves de SP.
100.000 registros clientes  (gravando em diversas tabelas 
cliente/endereço/telefone/email/anotações para cada registro )
O processo esta sendo feito em maquina local.

Problema.
+- 30 hrs para importar
Degradação constante a medida que se inser registros, +- 10.000 1a HORA, 
9.000 2a hora e assim por diante.
Consumo de 100% da CPU, mesmo finalizando o processo a CPU fica no máximo.
Quando reinicio o processo, inicia novamente "normal" (mesmo com a base com 
os 100,000 ateriores) e o processo de degradação se repete.


----- Original Message ----- 
From: "Carlos H. Cantu (TeamFB)" <listas em warmboot.com.br>
To: "FireBase" <lista em firebase.com.br>
Sent: Tuesday, January 03, 2006 8:23 PM
Subject: Re: [firebase-br] Importar dados FB


> Se vc tiver triggers de insert definidos para as tabelas, desligue-os
> antes de fazer a importação.
>
> []s
> Cantu (Membro do TeamFB - FireBase)
> http://www.warmboot.com.br
> FireBase - http://www.FireBase.com.br
>
> jcib> Ja tentei a cada registro, a um bloco de N registros, mas muda 
> pouco, eu nao
> jcib> entendo o porque de ir ficando lento e CPU do micro fica em 100% ate 
> depois
> jcib> de terminar
>
> jcib> ----- Original Message ----- 
> jcib> From: "samuel ferreira" <samuel.peres.ferreira em gmail.com>
> jcib> To: "FireBase" <lista em firebase.com.br>
> jcib> Sent: Tuesday, January 03, 2006 3:57 PM
> jcib> Subject: Re: [firebase-br] Importar dados FB
>
>
> jcib> vc esta fazendo a transacao com qts registros?
>
> jcib> Em 03/01/06, josauro em casasoft.inf.br <josauro em casasoft.inf.br> 
> escreveu:
>>>
>>>
>>> Estou precisando migrar os dados de um sistema antigo (paradox) para FB,
>>> (estrutura totalmente diferente).
>>> Ocorre que ao importar uma tabela de clientes/enderecos/anotacoes 
>>> 100,000
>>> registros clientes (leva 30 horas) e o sistema vai degradando a medida 
>>> que
>>> importa mais registros, qdo finaliza o acesso aos dados e novas 
>>> inclusões
>>> são rapidos.
>>> Como não preciso dos indices para inclusão, desativo todos eles, toda
>>> inclusao de registros feitas com Stored Procedure.
>>> Alguem saberia dizer se isso é normal no FB, ou existe algo que devo 
>>> estar
>>> esquecendo de fazer correto.?
>>>
>>> Josauro
>
>
>
> ______________________________________________
> FireBase-BR (www.firebase.com.br) - Hospedado em www.bavs.com.br
> Para editar sua configuração na lista, use o endereço 
> http://mail.firebase.com.br/mailman/listinfo/lista_firebase.com.br
> Para consultar mensagens antigas: http://firebase.com.br/pesquisa
> 





Mais detalhes sobre a lista de discussão lista