Tietoa ei maailmasta puutu, mutta se on monesti eri lähteissä tai formaateissa, jotka eivät ole suoraan ohjelmallisesti hyödynnettävissä. Avuksi tulevat tiedonhaun automaatiot ja niiden lisäksi tai pariksi rakentuvat ETL eli extract, transform & load -ratkaisut.
Tiedonhaun automaatio
Extract » Transform » Load
Tietoa on mahdollista hakea esimerkiksi verkkosivuilta tai tiedostomuotoisesta aineistosta ohjelmallisesti algoritmin tai suoranaisen ohjelmistorobotin avulla. Tyypillisesti kohde on listaus tai taulukko esimerkiksi kunnan viranhaltijapäätöksistä, tuotteiden hinta toimittajan tai kilpailijan sivuilla hintarobotin käyttöön, tai kiinnostavien uutisosumien suodatus. Yhteistä kaikille on, että tieto on saatavilla, mutta sen hyödyntäminen ohjelmallisesti on haastavaa. Tämä on termin ETL extract osuus.
Tiedon validointi, rikastaminen ja formaatin muutokset onnistuvat prosessin seuraavassa vaiheessa. Tieto on harvoin suoraan yhteensopivaa, eli se vaatii ohjelmallista työstämistä. Päivämääräformaatit ovat tyypillinen muunnoksen kohde, mutta yhtälailla kohteena voivat olla tekstien pituudet, linkkien formaatit, valuutat tai ulkopuolisen tiedon lisääminen kuten yritysten osoitetietojen lisääminen listaukseen y-tunnuksen perusteella toisesta datalähteestä. Tekoälyllä ja koneoppimisella on mahdollista kouluttaa neuroverkko tekemään luokitteluita määrällisten kriteerien perusteella, tai hyödyntää generatiivista tekoälyä laadulliseen luokitteluun. Tämä kaikki on ETLn transform eli muunnososaa – tiedon tekemistä yhteensopivaksi.
Viimeinen tiedonhaun automaation vaihe on tiedon tuominen osaksi organisaation nykyistä omaa tietovarantoa. Tieto on mahdollista tallentaa esimerkiksi SQL tietokantaan, tallentaa csv- tai excel-muodossa, tai syöttää jonkin pilvipalvelun tietovarastojärjestelmään. Vaihe on yksinkertaisin, sillä tietoa on jo vaiheen alkaessa yhteensopivaa ja validoitua. Tämä kuvastaa ETLn load eli lataus- tai tallennusosaa.
Tiedonhaun automaation ja ETL hyödyt
Tiedon hakemista esimerkiksi käsin Hilman hankintaportaalista tai hintojen vertailua kilpailijoiden sivustoilla on tehty niin kauan kuin on ollut liiketoimintaa tai hankintojakin. Edelleen työtä tehdään monin paikoin manuaalisesti, joka vie osaavan asiantuntijan aikaa paljon. Tämän ajan voisi käyttää myös tuottavaan, asiantuntijan osaamista paremmin hyödyntävään tekemiseen.
Automaation hyödyt tulevat esiin myös virheiden vähenemisenä. On täysin inhimillistä, että tietoa käsin siirrettäessä kirotusviheitä voi joksus satua. Automatisoidun prosessin avulla inhimilliset virheet jäävät toteutumatta. Automatisoitu prosessi on myös aina käytössä, myös viikonloppuisin ja lomakautena. Tarvittaessa haettu tieto voidaan jopa koneellisesti oikolukea, tallentaa löydetyt virheet, ja hyväksyä jo lähteessä esiintyneiden virheiden korjaukset kertaheitolla.
Viimeisenä ja kenties tärkeimpänä: automaatio on tavallaan myös osoitus arvostuksesta työntekijän ammattitaitoa kohtaan. Koulutetun ja kokeneen osaajan lahjat valuvat hukkaan, mikäli aikaa kuluu töihin, jotka olisi jopa verrattain helppo automatisoida.
Automaatiot ja ETL
nopeus, tarkkuus, toistettavuus, väsymättömyys
Tiedonhaun automaatioprojektit eivät aina ole suuria ja kalliita, vaan ne voivat olla hyvin yksinkertaisiakin ratkaisuja, joilla edellä kuvattu prosessi automatisoidaan. Ammattilainen vapautuu tekemään valmiilla datalla esimerkiksi parempia päätöksiä.
Palveluni tiedonhaun automaation ja ETL-ratkaisuihin.
Pitkällisen ohjelmointi ja analyytikkokokemukseni turvin voin toteuttaa eri tasoisia automaatioita ja datan muokkausta hyvinkin sujuvasti. Aina ei edes tarvita raskaita ohjelmistoja tai koodausta, vaan riittää että työkaluista kuten excelin omista ominaisuuksista otetaan kaikki hyöty irti. Valmiiden ominaisuuksien käytön konsultoinnissa on asiakkaalle sekin hyöty, että esimerkiksi Excelin toiminnallisuuksien toiminnasta huolehtii pääosin Microsoft, joten ratkaisun luotettavuus ja siirrettävyys säilyy myös järjestelmien päivitysten yhteydessä.
- Täysiä ETL-ratkaisuja, esimerkiksi tiedonhakua julkisista lähteistä sovittuu formaattiin tai tallennettuna omaan datalähteeseenne.
- ETL-ratkaisun osia, kuten saadun raakadatan, esimerkiksi tuotelistauksen tai paikkatiedon muuntamisen järjestelmänne kanssa yhteensopivaan muotoon.
- Prosessikehitystä, jossa nykyisistä työkaluista kuten Excelistä on mahdollista itsestään tehdä kevyelle automaatioratkaisulle riittävä työkalu.
Miksi minuun kannattaa olla yhteydessä?
Tarjoan käyttöönne aidosti pienyritys- tai kuntalähtöisen toimintamallin, jossa asioita ei ratkaista aina myyjän kannalta järeimmällä työkalulla, vaan katsotaan ensin riittäisikö vähempikin. Kun säästän asiakkaan rahaa, saan itsekin pitkällä aikavälillä vakaampaa tulovirtaa asiakkuuksien säilyessä eli molempien voittaessa. Tarjoan
- Pitkän kokemuksen datan parissa työskentelystä ja rakenteellisista dataformaateista
- Liiketoimintaymmärryksen siitä kuinka dataa käytetään
- Kokemuksen työkaluista kuten Excel, Power Platform sekä kielistä kuten Python, Php, sekä eri SQL-kielet.
Ole yhteydessä, niin kartoitetaan voinko auttaa organisaatiotasi automaation parissa.