Zapytałem @JacquelineSYC19 o problem z danymi AI: "Przenoszenie danych wydaje się być pozornie prostą sprawą. Ale pracujesz z heterogenicznymi systemami. Postgres jest zbudowany inaczej niż Snowflake. Są różne typy danych i długości znaków. Musisz zbudować małe konwersje w trakcie, aby utrzymać spójność danych. Podczas budowania systemu musisz upewnić się, że wszystkie skopiowane dane są dokładne. I że nic nie zostaje utracone po drodze. Większość systemów może mieć setki terabajtów, a nawet petabajty danych. Za każdym razem, gdy zamawiasz Ubera, meldunek w hotelu, wysyłasz wiadomość lub nawet otwierasz aplikację, to wszystko jest przechowywane. Wszystkie te przypadki brzegowe kumulują się w miarę rozwoju. W miarę gromadzenia danych niektóre firmy dzielą swoje bazy danych. I to sprawia, że sytuacja staje się jeszcze bardziej skomplikowana. Niektóre firmy mają setki baz danych wpływających do centralnego magazynu danych. A niektóre firmy mają nawet wiele magazynów danych. To sprawia, że proste przechowywanie i praca z dużymi ilościami danych staje się bardzo trudnym problemem, który rozwiązaliśmy w @artie_labs."