Contexto Empresarial

A Netflix, gigante global de streaming com mais de 270 milhões de assinantes distribuídos em mais de 190 países, enfrenta um dos maiores desafios de extração de dados do mundo. A empresa processa trilhões de eventos por dia e precisa integrar informações de fontes extremamente heterogêneas para alimentar seu sistema de recomendações, que é responsável por 80% de todo o conteúdo assistido na plataforma.promptcloud+1

Arquitetura complexa das múltiplas fontes de dados da Netflix

O Problema: Fragmentação Extrema das Fontes de Dados

Fontes de Dados Diversificadas e Desconectadas

A Netflix coleta dados de múltiplas fontes independentes que não foram projetadas para trabalhar em conjunto:milvus+1

1. Bancos de Dados Relacionais (Estruturados)

• PostgreSQL e MySQL: Armazenam dados de usuários, assinaturas, catálogo de conteúdo, metadados de filmes/séries
• Amazon RDS: Dados de cobrança, pagamentos, informações de conta
• Cassandra: Dados de preferências de usuários e histórico de visualizações
• Problemas: Esquemas rígidos, diferentes versões, inconsistências entre ambientes de produção

2. APIs REST em Tempo Real (Semi-estruturados)

• Smart TVs, dispositivos móveis, browsers: Dados de interação em tempo real (play, pause, skip, rewind)
• Plataformas de pagamento: APIs de processamento de transações
• Serviços de CDN: Métricas de performance de streaming
• Problemas: Rate limiting, timeouts, formatos JSON inconsistentes, autenticação complexa

3. Arquivos Planos Heterogêneos (Múltiplos Formatos)

• Logs de aplicação: Arquivos CSV e JSON com eventos de usuários
• Relatórios de dispositivos: XML com dados de qualidade de streaming