Case: Codento auttoi finanssialan SaaS-yritystä hyödyntämään Google Cloud -alustaa ulkoisten tietojen integrointiin
Haaste
Asiakas vie ja tuottaa tietoja CRM/ERP-järjestelmästä ja halusi tuoda tiedot Google Cloud BigQueryyn. JSON-tiedostot tarvitsivat tietojen esikäsittelyn ja validoinnin, ennen kuin ne voitiin lisätä BigQueryyn. Ratkaisun tuli olla skaalautuva, koska ensimmäisissä tuontierissä voi olla tuhansia tiedostoja. Ratkaisun täytyisi käynnistyä automaattisesti uusien tiedostojen saapuessa.
Ratkaisumme
Alustaksi käsillä olevan tehtävän hoitamiseksi ehdotettiin Google Cloud Cloud Dataflow -alustaa, koska se on palveliton ja skaalautuva.
Cloud Storage Bucket otettiin käyttöön tallennusratkaisuksi uusille tiedostoille. Trigger käynnistää pilvitoiminnon, jossa Dataflow Template prosessoi uuden tiedoston. Dataflow prosessoi tiedot ja kirjoittaa datan BigQuery-viikkotauluun sisäänrakennettuja rajapintoja hyödyntäen. BigQuery Stored Procedure päivittää perustiedot viikoittain viikkotaulusta master-tauluun. Kokonaisuus koostuu useista BigQuery-päätauluista sekä niihin liittyvistä viikkotauluista.
Codenton data-alueen konsulttipalveluilla toteutettiin ratkaisu lyhyessä kalenteriajassa nopeasti ja tehokkaasti.
Miksi Codento?
Toinen organisaatio suositteli Codentoa toimittajaksi Google Cloud -datakonsultointiin. Codento reagoi nopeasti ja teki ratkaisuehdotuksen, sovittaen sen alkuperäisiin tarpeisiin.
Mitkä olivat tulokset?
Asiakas pystyi prosessoimaan Dataflow Pipeline -eräajoja Google Cloud Cloud Shell -komentorivin kautta. Dataflow-mallit ja pilvitoiminnot päivitettiin ajantasalle.
Asiakas vaikuttui eräajojen nopeudesta: Kun testattiin 480 tiedostolla (keskimääräinen koko noin 4 Mt kukin), ajo kesti alle 15 minuuttia yhden viikoittaisen taulun osalta. Asiakas sai tietoa Dataflow- ja BigQuery-virheenkorjauksesta ja -kirjauksesta ja koki voivansa edetä kehittämään jotain vastaavaa nyt myös talon sisällä.
Asiakkaan omin sanoin
”Toinen organisaatio suositteli Codentoa toimittajaksi Google Cloud -datakonsultointiin. Codento reagoi nopeasti ja teki asianmukaisen ehdotuksen ja toisti sen sopimaan alkuperäisiin tarpeisiimme. Olemme tyytyväisiä heidän tähänastiseen työhönsä yhteistyön aikana.”
Kysy lisää Codenton data ja AI -palveluista.
