Ik vroeg @JacquelineSYC19 naar het dataprobleem van AI: "Gegevens verplaatsen lijkt een deceptief eenvoudige zaak. Maar je werkt met heterogene systemen. Postgres is anders opgebouwd dan Snowflake. Er zijn verschillende gegevenstypen en tekenlengtes. Er zijn kleine conversies die je onderweg moet maken om de gegevens consistent te houden. Als je het systeem opbouwt, moet je ervoor zorgen dat alle gekopieerde gegevens nauwkeurig zijn. En dat er onderweg niets verloren gaat. De meeste systemen kunnen honderden terabytes of zelfs petabytes aan gegevens bevatten. Elke keer dat je een Uber oproept, incheckt in een hotel, een bericht verstuurt of zelfs een app opent, wordt dat allemaal opgeslagen. Al deze randgevallen stapelen zich op naarmate je groeit. Naarmate je gegevens verzamelt, shard sommige bedrijven hun databases. En dit maakt het nog ingewikkelder. Sommige bedrijven hebben honderden databases die naar een centrale datawarehouse stromen. En sommige bedrijven hebben zelfs meerdere datawarehouses. Dit maakt het simpelweg opslaan en werken met grote hoeveelheden gegevens een zeer moeilijk probleem dat we hebben opgelost bij @artie_labs."