Contexto do Problema

Baixe o csv ao lado e explore após a leitura dos dados.

data.csv

A InnovaTech Solutions, uma empresa de tecnologia em crescimento, está enfrentando um desafio crítico de integração de dados. O departamento de TI recebeu um arquivo CSV do cliente MegaCorp Industries contendo dados de relacionamentos entre entidades do seu sistema legado. Estes dados precisam ser migrados para o novo sistema ERP da empresa, mas existe um problema: o ERP possui regras rigorosas de integridade e validação que impedem a carga direta dos dados no formato atual.

O arquivo recebido contém informações sobre relacionamentos entre nós (entidades) do sistema, com as seguintes características:

• 34 registros de relacionamentos
• Campos: fk_a_node_id, fk_b_node_id, type, created_at, updated_at
• Período: Janeiro a Junho de 2019
• Tipo de relacionamento: Todos marcados como tipo "3"

Fluxo de integração de dados cliente-ERP com validações

O Desafio

O sistema ERP da InnovaTech possui regras de negócio específicas que impedem a carga dos dados na forma atual:

1. Validação de Integridade Referencial: Todos os IDs de nós devem existir previamente no sistema
2. Regras de Relacionamento: Não são permitidos relacionamentos duplicados ou circulares
3. Validação Temporal: As datas devem seguir padrões específicos e estar em ordem lógica
4. Classificação de Tipos: O sistema ERP usa uma codificação diferente para tipos de relacionamento
5. Auditoria Completa: Todos os registros devem passar por validação de qualidade antes da carga

Estrutura dos Dados Recebidos

Os dados apresentam a seguinte estrutura:

• fk_a_node_id: Identificador da entidade origem (range: 1.938.045 a 1.960.039)