Perguntei @JacquelineSYC19 sobre o problema de dados da IA: "Mover dados parece algo aparentemente simples. Mas você está trabalhando com sistemas heterogêneos. Postgres é construído de forma diferente do Snowflake. Existem diferentes tipos de dados e comprimentos de caracteres. Há pequenas conversões que você precisa construir ao longo do caminho para manter os dados consistentes. À medida que você constrói o sistema, precisa garantir que todos os dados copiados estejam corretos. E que nada é descartado pelo caminho. A maioria dos sistemas pode ter centenas de terabytes ou até petabytes de dados. Toda vez que você chama um Uber, faz check-in em um hotel, envia uma mensagem ou até abre um app, tudo isso está armazenado. Todos esses casos extremos vão se acumulando conforme você cresce. À medida que você acumula dados, algumas empresas fragmentam seus bancos de dados. E isso torna tudo ainda mais complicado. Algumas empresas possuem centenas de bancos de dados que fluem para um data warehouse central. E algumas empresas até têm múltiplos data warehouses. Isso torna o simples armazenamento e trabalho com grandes volumes de dados um problema muito difícil que resolvemos em @artie_labs."