Zeptal jsem se @JacquelineSYC19 na problém s daty AI: "Přesouvat data se zdá být klamavě jednoduchá věc. Ale pracujete s heterogenními systémy. Postgres je postavený jinak než Snowflake. Existují různé typy dat a délky znaků. Jsou tam malé konverze, které je potřeba během cesty vybudovat, aby data zůstala konzistentní. Při budování systému musíte zajistit, aby všechna data přepisovaná byla přesná. A že se po cestě nic neodkládá. Většina systémů může mít stovky terabajtů nebo dokonce petabajty dat. Pokaždé, když zavoláte Uber, ubytujete se v hotelu, pošlete zprávu nebo otevřete aplikaci, všechno je uloženo. Všechny tyto okrajové případy se s růstem stále hromadí. Jak shromažďujete data, některé firmy rozdělují své databáze. A to to ještě komplikuje. Některé firmy mají stovky databází, které proudí do centrálního datového skladu. A některé firmy dokonce mají více datových skladů. To činí samotné ukládání a práci s velkým množstvím dat velmi obtížným problémem, který jsme vyřešili @artie_labs."