G2 Ocean - Dataplattform

Om G2Ocean

G2 Ocean er et joint venture av to av verdens største open hatch-rederiselskaper Gearbulk og Grieg Maritime Group. Siden selskapet ble lansert i 2017, har G2 Ocean blitt en av verdens største skipsoperatører innenfor open hatch-segmentet.

G2 Ocean opererer en flåte på over 120 bulkfartøyer fra Handysize til Ultramax. De viktigste varene som fraktes på fartøyer er tremasse og andre skogprodukter, aluminium, stål, granitt og industrielle mineraler.

G2ocean hadde et behov for å:

1. planlegge, sette opp og forvalte deres dataplattform. Utfordringen var å knytte datastrøm fra flere kildesystemer inn til en plattform som lot seg administrere og ikke minst skalere på en god måte.
2. tilpasse spørringer mellom databaser og konsolidere data fra ulike andre datakilder til et felles system for visualisering og innsikt.
3. tilgjengeliggjøre nøkkelinformasjon for egne ansatte, spesielt regnskapsavdelingen i Grieg Maritime Group, uten særlig teknisk bakgrunn.

Våre konsulenter hadde roller som henholdsvis arkitekter, data engineers, UX, utviklere og testledere.

Valgt tilnærming og prosess

Formålet med hovedprosjektet var å etablere en plattform for innovasjon i rederiene. Plattformen skulle hente data fra en rekke kildesystemer på forskjellige lokasjoner og fra forskjellige selskaper. Løsningen måtte støtte uthenting og transformasjoner av data fra flere forskjellige databaseteknologier, samt uthenting av data fra både interne og eksterne APIer. Løsningen skulle være en sammenstilt plattform for distribusjon av data. Det skulle gjøre det enkelt å benytte nye digitale tjenester og lede organisasjonen mot en mer datadreven strategi.

Azure ble brukt som skyplattform ettersom kunden allerede hadde flere av sine eksisterende kjernesystemer der. Prosesser rundt dataflyt ble organisert i Azure Data Factory og data ble lagret i MS SQL databaser.

For visualisering og innsikt ble Power BI benyttet, noe som tillater god skalering og enkel administrering av brukertilgang. Rutiner for håndtering av kildekode og et REST API mot Power BI ble satt opp for å kunne administrere de mange rapportene og deres brukere.

For å kunne tilgjengeliggjøre nøkkelinformasjon for egne ansatte ble det benyttet en stor språkmodell fra Azure OpenAI. Modellen ble eksponert for ulike kilder som:

a) interne dokumenter fra Sharepoint

b) proprietær informasjon fra interne SQL databaser

c) offentlig informasjon fra Brønnøysund

Modellen ble satt opp i Azure, og ble tilgjengeliggjort via en Python-basert web-applikasjon. Data ble eksponert ut via Azure AI Search eller direkte via spørringer mot de ulike systemene.

Resultat og effekt

Den ferdigstilte dataplattformen inneholder data fra en rekke kildesystemer og APIer. Den muliggjør sammenstilling av data på tvers av systemer som tidligere har vært adskilt og gjør det enkelt å se f.eks. regnskaps og ruteplanleggingsdata i sammenheng med eksternt innhentet data som vær og kartdata. Det gjøres også nødvendige og helautomatiserte transformasjoner av data underveis, typisk ved hjelp av mellomlagring i Azure Data Lake og beregninger i Python Notebooks.

Dataplattformen brukes som kilde for rapporter i Power BI. Power BI distribuerer informasjon gjennom organisasjonene på en mer effektiv og pålitelig måte enn tidligere. Rapportene har innebygd brukerstyrt tilgangskontroll som sikrer at sensitiv informasjon ikke spres utenfor selskapet. Samtidig er rapportene til en hver tid oppdatert siden data flyter kontinuerlig og sømløst fra kildesystemene gjennom dataplattformen og ut til sluttbruker.

Dataplattformen brukes også som hovedkilde for APIer utviklet for å muliggjøre webutvikling. Gjennom flere pågående initiativ utvikles en brukerportal der eksterne brukere kan logge inn og få tilgang til data fra dataplattformen gjennom en nettleser. Dermed kan utvalgte data fra kildesystemene publiseres helt ut til eksterne brukere, noe som ikke ville vært mulig med mange av de opprinnelige (proprietære) kildesystemene.

Resultatet av oppgaven med å tilgjengeliggjøre informasjon (basert på OpenAI)ble en applikasjon hvor ansatte i Grieg Maritime Group kan stille spørsmål og få svar som i hovedsak baserer seg på intern kompetanse i selskapet. Alt i fra spesifikk informasjon tilknyttet skip eller informasjon om interne retningslinjer. Prosjektet ble fullført på 5 uker og ble regnet som en suksess.

Hvilke teknologier er brukt?

Azure, Azure Data Factory, Azure SQL Database, Azure Functions, Azure Event Hub, Azure Logic Apps, Azure Key Vault, Python Notebooks, Microsoft Fabric, Power BI, Power BI REST API, Oracle DB, Git, Confluence, Jira, Azure OpenAI, Python, Azure AI Search, Generativ AI, Azure App Service, Streamlit