Ei ole ensimmäinen kerta kun minua lähestytään Yle:ssä datajournalismin saralla ja yhä useammin kyseeseen tulee osaajien suositteleminen. Motivaatio ja mielihalu olisi tietysti olla itse mukana toteuttamassa jokaista datajournalismi/visualisointiprojektia, mutta liian monet yhtäaikaiset projektit alkavat näkyä helposti myös työnjäljessä, joka on mielestäni tärkeää pitää korkeana.
Etenkin halu toteuttaa www-pohjaisia, interaktiivisia ja saavutettavia applikaatioita on suuri. Huomaan, että tarvittavia osaajia on vaikeaa löytää ja eikä sellaisten ehdottaminen myöskään minulle ole helppoa. Kirjoitin kuitenkin tänään sähköpostivastauksena hieman kattavamman ohjeistuksen datajournalismiosaajien löytämiseen, jonka voisin kuvitella helpottavan nykyisen suomalaisen datajournalismikentän havainnollistamista, joten jaan sen nyt näin suodatettuna ja siistittynä eteenpäin.
Merkittävimpiä suomalaisia datajournalistisia tapahtumia, jotka toistuvat, ovat HSOpen ja Hacks & Hackers. Nämä tapahtumat toimivat hyvinä lähteinä osaavien ihmisten löytämiseen ja etenkin HSOpen:ssa näkee, että osaavia henkilöitä kyllä löytyy. Myös H&H-tapahtumaan osallistujat ovat datajournalistisestivalveutuneita ihmisiä, mutta H&H:ssa tunnelma on enemmän keskustelupainotteinen, kun taas HSOpen on enemmän workshop-henkinen.
Seuraava Hacks/Hackers Helsinki, jossa muuten olen myös itse paikalla puhumassa, järjestetään ensi viikon keskiviikkona 15.8. Tapahtuman Facebook-sivu, jossa lisätietoja, löytyy täältä:
https://www.facebook.com/events/390933390961199/
Hyviä osaajia on mahdollista pongata myös esimerkiksi Apps4Finland-kilpailuun osallistuneiden töiden tekijöiden joukosta:
- http://apps4finland.fi/kilpailutyot/kilpailutyot-2011/
- http://apps4finland.fi/kilpailutyot/kilpailutyot-2010/
Ja tosiaan jo mainitussakin HSOpen:ssa tämän osaamisalueen ammattilaisia käy ja HSNext-blogissa on esitelty tapahtumassa syntyneitä tuloksia, joten myös tätä voi pitää yhtenä osaajien löytymisen lähteenä:
http://blogit.hs.fi/hsnext/aihe/hs-open
Esimerkiksi viimeisimmän HSOpen:n tuotokset löytyvät tästä viestistä:
http://blogit.hs.fi/hsnext/tallaista-datajournalismia-syntyi-hs-open-5ssa.
Tosiaan itselleni tiettyjen henkilöiden suositteleminen on vaikeaa (ja näin julkisesti jopa epäreilua), mutta erinomaisia tyyppejä, jotka tekevät etenkin www:ssä toimivia toteutuksia ovat mm:
- Lauri Vanhala, joka on Suomen Kuvalehdelle tehnyt paljon hienoa jälkeä (http://wanhala.net/).
- Jens Finnäs, joka on varmasti yksi alan johtavista tekijöistä (http://jensfinnas.com/).
- Juuso Koponen, joka omaa etenkin hyvää graafista näkemystä (http://informaatiomuotoilu.fi/).
Eli mikäli koet olevasi HTML5-osaaja ja olet kiinnostunut visualisointien tekemisestä Yle:ssä töitä olisi tarjolla. Yhteyttä voi ottaa esimerkiksi minuun niin voin tarjota tarkempia yhteystietoja.
tiistai 7. elokuuta 2012
torstai 12. heinäkuuta 2012
Hjälp Calle!
Viime perjantaina tein yhteistyössä Svenska YLE uutisten:n kanssa joukkoistus/verkkokysely -kokeilun, jonka tarkoituksena oli kerätä tietoa kansalaisilta siitä minkälaista linjaa uuden puolustusministerimme Carl Haglund:n tulisi politiikassaan ajaa.
Toteutimme kyselyn Google Form -työkalulla, joka löytyy yhtenä komponenttina Google Drive -palvelusta. Google Form:lla on mahdollista helposti ja nopeasti tuottaa yksinkertaisia kyselykaavakkeita, joissa on erilaisia komponentteja. Esimerkiksi valintalaatikko, vapaatekstikenttä, pudotusvalikko ja muut tavalliset lomakkeiden komponentit ovat käytettävissä. Monimutkaisempia ehdollisia kyselylomakkeita, jotka mukautuvat käyttäjän valintojen mukaan, ei työkalulla kuitenkaan ymmärrykseni mukaan ole mahdollista toteuttaa.
Kyselymme sisälsi viisi toimittajan valitsemaa kysymystä, joissa kussakin oli kaksi vastausvaihtoehtoa, joten Google Form toimi tarkoitukseemme hyvin (Kuva 1). Myöskin käytettävissä ollut aika ja resurssit puolsivat Google Form:n kaltaisen valmiin työkalun käyttämistä. Käytännössä koko juttu toteutettiin tekniseltä osuudeltaan vajaassa tunnissa.
Laajempana tarkoituksenamme oli myös kokeilla tämänkaltaisen journalismin toimivuutta. Erilaiset joukkoistusprojektit ovat ottaneet yhä suurempaa roolia eri mediataloissa ja ne tuntuvat myös kiinnostavan ihmisiä. Joukkoistamisen voima piilee siinä, että onnistuessaan ne sitouttavat ihmisiä, joka vaikuttaa positiivisesti sisältöjen kulutukseen.
Google Form toimii periaatteessa Google Spreadsheet -työkalun (taulukkolaskentaohjelma) päällä, joten vastausdatan visualisoinnissa voidaan hyödyntää samoja visualisointikomponentteja, jotka ovat käytössä myös tehtäessä normaalia taulukkolaskentaa. Vaihtoehdoista löytyy siis mm. piirakka-, viiva- ja pylväsdiagrammit, joihin data syötetään taulukkolaskentaohjelmistoista tutulla tavalla määrittelemällä solut, joista data on saatavilla.
Google Form kerää datan taulukkoon tekstimuotoisena, joten jotta datan syöttäminen visualisointikomponentteihin onnistuu tulee kerätty data muuntaa numeeriseen muotoon. Tämä on suhteellisen helppoa, koska käytössä ovat tutut taulukkolaskentafunktiot, joten seuraavankaltaisella käskyllä kerätty data on mahdollista koostaa lukuarvoiksi:
Käsky laskee B-sarakkeesta löytyvien "Gör en gir åt höger" -vastausten lukumäärän. Vastaavalla tavalla kyseinen kaava voidaan kirjoittaa myös toiselle vastausvaihtoehdolle, jolloin näihin perustuen on esimerkiksi mahdollista piirtää piirakkadiagrammi (Kuva 2). Kaikki yksittäisten kysymysten tulokset ovat nähtävissä alkuperäisestä artikkelista.
Kysely keräsi hyvin vastauksia ja maanantaina kun kysely oli ollut avoinna perjantaista viikonlopun yli oli vastauksia kertynyt n. 500kpl:tta (lopulta 594 vastausta). Minulla oli mielenkiintona selvittää minkälaista korrelaatiota kysymysten väliltä oli löydettävissä. Entuudestaan minulle on tuttu käsite rinnakkaiskoordinaatistoista, mutta usein tähän ajattelutapaan perustuvat toteutukset vaativat käyttöönsä numeerista dataa. Meidän tapauksessamme data oli periaatteessa mahdollista kuvata numeerisesti antamalla vastausvaihtoehdoille numeeriset vastineet, mutta tämä olisi tuonut mukanaan ylimääräistä kompleksisuutta.
Löysin kuitenkin D3.js:n sivuilta esimerkin, jossa kuvattiin Titanic:n matkustajien kategorisia ominaisuuksia rinnakkaiskoordinaatistossa. Otin tämän esimerkkitoteutuksen oman analyysini pohjaksi ja sainkin melko nopeasti vaihdettua datan haluamaani (Kuva 3).
Intekaktiivinen versio visualisoinnista on käytettävissä täällä ja vastausdata on ladattavissa .csv-muodossa siitä kiinnostuneille. Visualisoinnista nähdään, että vastausrivi:
Emme kuitenkaan lähteneet viemään uutisoinnissa tulosten arviointia näin pitkälle, koska Google Form:ssa kuten ei kyselyissä yleensäkään ole kovin helppoa varmistua, ettei tuloksia ole manipuloitu vastaamalla useita kertoja. Tuloksista kirjoitettiin kyllä juttu, mutta siihen ei otettu mukaan esimerkiksi tätä vastausten korrelaatiota esittävää visualisointia, koska sen nähtiin esittävän asia liian pelkistetysti.
Journalismissa on usein vaarallista väittää asioita, joille ei ole mahdollista määritellä yksikäsitteisesti lähdettä. Gallup-kyselyiden tapauksessa pidetään huolta, että yksittäinen vastaaja voi vaikuttaa kyselyyn vain kerran, mutta Google Form:lla toteutussa Internetlomakekyselyssä yksittäiset henkilöt pystyvät vääristämään helposti tuloksia, joka täytyy ottaa huomioon johtopäätöksiä tehtäessä.
Loppukaneettina sanottakoon, että koimme tämän positiivisena kokeiluna ja tulemme oletettavasti tekemään vastaavanlaisia adhoc-tyyppisiä joukkoistusprojekteja myös tulevaisuudessa.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA).
Lomakkeen toteutus
Toteutimme kyselyn Google Form -työkalulla, joka löytyy yhtenä komponenttina Google Drive -palvelusta. Google Form:lla on mahdollista helposti ja nopeasti tuottaa yksinkertaisia kyselykaavakkeita, joissa on erilaisia komponentteja. Esimerkiksi valintalaatikko, vapaatekstikenttä, pudotusvalikko ja muut tavalliset lomakkeiden komponentit ovat käytettävissä. Monimutkaisempia ehdollisia kyselylomakkeita, jotka mukautuvat käyttäjän valintojen mukaan, ei työkalulla kuitenkaan ymmärrykseni mukaan ole mahdollista toteuttaa.
Kyselymme sisälsi viisi toimittajan valitsemaa kysymystä, joissa kussakin oli kaksi vastausvaihtoehtoa, joten Google Form toimi tarkoitukseemme hyvin (Kuva 1). Myöskin käytettävissä ollut aika ja resurssit puolsivat Google Form:n kaltaisen valmiin työkalun käyttämistä. Käytännössä koko juttu toteutettiin tekniseltä osuudeltaan vajaassa tunnissa.
 |
| Google Form on usein riittävän monipuolinen työkalu kyselylomakkeiden toteuttamiseen. (Kuva 1) |
Laajempana tarkoituksenamme oli myös kokeilla tämänkaltaisen journalismin toimivuutta. Erilaiset joukkoistusprojektit ovat ottaneet yhä suurempaa roolia eri mediataloissa ja ne tuntuvat myös kiinnostavan ihmisiä. Joukkoistamisen voima piilee siinä, että onnistuessaan ne sitouttavat ihmisiä, joka vaikuttaa positiivisesti sisältöjen kulutukseen.
Datan visualisoinnit
Google Form toimii periaatteessa Google Spreadsheet -työkalun (taulukkolaskentaohjelma) päällä, joten vastausdatan visualisoinnissa voidaan hyödyntää samoja visualisointikomponentteja, jotka ovat käytössä myös tehtäessä normaalia taulukkolaskentaa. Vaihtoehdoista löytyy siis mm. piirakka-, viiva- ja pylväsdiagrammit, joihin data syötetään taulukkolaskentaohjelmistoista tutulla tavalla määrittelemällä solut, joista data on saatavilla.
Google Form kerää datan taulukkoon tekstimuotoisena, joten jotta datan syöttäminen visualisointikomponentteihin onnistuu tulee kerätty data muuntaa numeeriseen muotoon. Tämä on suhteellisen helppoa, koska käytössä ovat tutut taulukkolaskentafunktiot, joten seuraavankaltaisella käskyllä kerätty data on mahdollista koostaa lukuarvoiksi:
=COUNTIF(B2:B2592, "Gör en gir åt höger")Käsky laskee B-sarakkeesta löytyvien "Gör en gir åt höger" -vastausten lukumäärän. Vastaavalla tavalla kyseinen kaava voidaan kirjoittaa myös toiselle vastausvaihtoehdolle, jolloin näihin perustuen on esimerkiksi mahdollista piirtää piirakkadiagrammi (Kuva 2). Kaikki yksittäisten kysymysten tulokset ovat nähtävissä alkuperäisestä artikkelista.
 |
| Google Form:n keräämä data on mahdollista visualisoida ja jakaa kuvana tai interaktiisena toteutuksena. (Kuva 2) |
Kysely keräsi hyvin vastauksia ja maanantaina kun kysely oli ollut avoinna perjantaista viikonlopun yli oli vastauksia kertynyt n. 500kpl:tta (lopulta 594 vastausta). Minulla oli mielenkiintona selvittää minkälaista korrelaatiota kysymysten väliltä oli löydettävissä. Entuudestaan minulle on tuttu käsite rinnakkaiskoordinaatistoista, mutta usein tähän ajattelutapaan perustuvat toteutukset vaativat käyttöönsä numeerista dataa. Meidän tapauksessamme data oli periaatteessa mahdollista kuvata numeerisesti antamalla vastausvaihtoehdoille numeeriset vastineet, mutta tämä olisi tuonut mukanaan ylimääräistä kompleksisuutta.
Löysin kuitenkin D3.js:n sivuilta esimerkin, jossa kuvattiin Titanic:n matkustajien kategorisia ominaisuuksia rinnakkaiskoordinaatistossa. Otin tämän esimerkkitoteutuksen oman analyysini pohjaksi ja sainkin melko nopeasti vaihdettua datan haluamaani (Kuva 3).
 |
| Vastausdatan esittäminen rinnakkaiskoordinaatistossa paljastaa vastausrivien keskinäisen suosituimmuuden. (Kuva 3) |
Intekaktiivinen versio visualisoinnista on käytettävissä täällä ja vastausdata on ladattavissa .csv-muodossa siitä kiinnostuneille. Visualisoinnista nähdään, että vastausrivi:
- Gör en gir åt höger
- Stoppa pengaflödet från städerna till landsbygden
- Gör SFP till ett sant tvåspråkigt parti
- Se till att snuset blir lagligt
- Flytta utbildningen till Obbnäs och gör det till ett tvåspråkigt truppförband
Emme kuitenkaan lähteneet viemään uutisoinnissa tulosten arviointia näin pitkälle, koska Google Form:ssa kuten ei kyselyissä yleensäkään ole kovin helppoa varmistua, ettei tuloksia ole manipuloitu vastaamalla useita kertoja. Tuloksista kirjoitettiin kyllä juttu, mutta siihen ei otettu mukaan esimerkiksi tätä vastausten korrelaatiota esittävää visualisointia, koska sen nähtiin esittävän asia liian pelkistetysti.
Journalismissa on usein vaarallista väittää asioita, joille ei ole mahdollista määritellä yksikäsitteisesti lähdettä. Gallup-kyselyiden tapauksessa pidetään huolta, että yksittäinen vastaaja voi vaikuttaa kyselyyn vain kerran, mutta Google Form:lla toteutussa Internetlomakekyselyssä yksittäiset henkilöt pystyvät vääristämään helposti tuloksia, joka täytyy ottaa huomioon johtopäätöksiä tehtäessä.
Loppukaneettina sanottakoon, että koimme tämän positiivisena kokeiluna ja tulemme oletettavasti tekemään vastaavanlaisia adhoc-tyyppisiä joukkoistusprojekteja myös tulevaisuudessa.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA).
perjantai 6. heinäkuuta 2012
Esittelyssä datajournalistin työkalut, Osa 1
Datajournalismi kuten tekniikka usein vaatii tuekseen oikeat ja tehokkaat työkalut.
SharedCount on yksinkertainen palvelu, joka mahdollistaa linkkien sosiaalisen median näkyvyyden tutkimisen. Palveluun on mahdollista linkittää mikä tahansa www-sivun osoite ja palvelu kertoo kuinka monta kertaa sivu on jaettu Facebook:ssa, Twitter:ssä, LinkedIn:ssä, Google+:ssa jne. Esimerkiksi Youtube-videota "The Canucks of Vancouver" on jaettu sosiaalisissa medioissa seuraavasti.
Palvelu on siis hyvin yksinkertainen käyttää ja siihen nähden se tarjoaa hyvin arvokasta tietoa sisältöjen leviämisestä sosiaalisessa mediassa. Sosiaalinen media on tärkeä osa datajournalismia ja siten myös sosiaalisen median toiminnan ymmärtäminen kuuluu siihen tärkeä osana. Toisaalta myös omien blogikirjoitusten ja vastaavien tuotosten leviämisen seuraaminen on SharedCount:n avulla kätevää.
Huomiotavaa etenkin kehittäjille on, että palvelu tarjoaa myös JSON-rajapinnan.
Mentäessä esiteltäviä palveluita eteenpäin tällä helppokäyttöisyysperiaatteella tulee seuraavaksi eteen Google Trends. Google Trends on nimensä mukaisesti Google:n työkalu, jolla on mahdollista tutkia hakusanojen suosiota. Palvelu ei ole kovinkaan tunnettu etenkään verrattuna Google:n muihin tuotteisiin, mutta ehdottomasti tutustumisen arvoinen. Palvelu toimii niin, että hakukenttään syötetään haluttu lista sanoja pilkuilla eroteltuna, jonka jälkeen palvelu kertoo kuinka paljon kyseisiä hakusanoja on Google:n avulla etsitty. Esimerkkinä tein haun suomalaisista kaupunkien nimistä, joissa on 2000-luvulla tapahtunut ampumistapauksia. (Kuva 1)
Google Trends:stä ovat selkeästi nähtävissä ampumistapauksien ajankohdat ja niiden vaikutus hakusanojen suosioon. Mielenkiintoinen kuriositeetti on, että kaupunginnimen suosio hakusanana on pienentynyt vuosien saatossa.
Google Trends on oiva työkalu tarkoitukseensa, joskin siltä ei kovin paljon enempää tule odottaa.
CometDocs:iin törmäsimme tässä blogissa edellisen viestin yhteydessä. Kyseessä on työkalu, joka muuntaa palveluun lähetetyt .pdf-dokumentit helpommin käsiteltäviin Excel tai Word -muotoihin. Palveluun on siis mahdollista lähettää taulukkodataa sisältävä .pdf-dokumentti ja palvelu muuntaa dokumentin parhaansa mukaan taulukkolaskentaohjelmien ymmärtämään .xls-muotoon.
Muunnokset eivät aina ole täydellisiä, koska .pdf-dokumenttien rakenteen tulkitseminen ei ole yksikäsitteistä. Esimerkiksi välilyönnit ja askelsarkaimet (tab) sekoittavat etenkin taulukkodatan tulkintaa. Yksittäisten virheiden korjaaminen jälkikäteen Excel:ssä on kuitenkin nopeampaa kuin koko datan siirtäminen käsin .pdf-dokumentista taulukkolaskentaohjelmaan. Vastaavanlaisia palveluita löytyy Google:lla useita ja myös esimerkiksi Acrobat Reader Pro -versiosta löytyy tämä vastaava toiminnallisuus.
CometDocs-palvelun huonona puolena pitäisin sitä, että palveluun joutuu antamaan sähköpostiosoitteensa, joka ei aina ole järkevää ja tätäkin palvelua käytettäessä suosittelen käyttämään jotain ei-niin-tärkeää sähköpostiosoitetta.
Keskusteltaessa datajournalismista kuulee usein puhuttavan erilaisten raapijoiden, skreippereiden ja ryömijöiden toteuttamisesta. Erilaisia ryömijöitä ja keräimiä on tämänkin blogin yhteydessä käsitelty. Keräimet toteuteutaan usein ohjelmoimalla etenkin jos tekijällä on tähän kompetenssia ja kiinnostusta, mutta olemassa on myös työkaluja, joilla tietoa voidaan kerätä Internetistä ilman kovaa insinööritaustaa.
Erittäin näppärä työkalu tiedon keräämiseen löytyy Google Chrome -lisäosana ja on nimeltään Scraper. Scraper:n käyttämiseksi tarvet siis Google Chrome -selaimen, jota suosittelen muutenkin pääasialliseksi selaimeksi kenelle tahansa. Scraper:n asentamisen jälkeen toiminnallisuutta voi käyttää millä tahansa www-sivulla klikkaamalla haluaamaansa kohdetta ja valitsemalla kontekstivalikosta "Scrape Similar...", jonka jälkeen ruudulle aukeavasta ikkunasta ovat nähtävissä kaikki muut sivulta löytyvät vastaavankaltaiset sisällöt (Kuva 2).
Olen itse käyttänyt Scraper:a mm. ihmisten Facebook-kavereiden hakemiseen ja tallentamiseen, koska Facebook ei suoraan tätä toiminnallisuutta tarjoa. Facebook-kavereiden tapauksessa lataan ensin kaikki halutun käyttäjän Facebook-kaverit selaimeni sivulle, jonka jälkeen klikkaan yhtä heistä ja valitsen "Scrape Similar...", jolloin Scraper tunnistaa kaikki sivulta löytyvät vastaavat sisällöt eli juuri nämä halutut kaverit. Scraper:lla haetut tiedot on mahdollista viedä Google Docs -palveluun, josta ne voi ladata edelleen vaikka omalle koneelle Excel:ssä käsiteltäväksi.
Scraper Similar -toiminto ei aina suoraan toimi oikein vaan "polkua", jonka takaa samankaltaista sisältöä haetaan voi joutua muokkaamaan. Haettava sisältö määritellään XPath-kielen (pikaopas) avulla, joka vaatii hieman teknisempää ajattelua, mutta jota ei välttämättä siis tarvitse käyttää jos "Scrape Similar..." -toiminnallisuus osaa suoraan palauttaa haluttavat sisällöt.
Tämänkaltaista listaa tehdessä ei varmaan voi ohittaa Google Fusion Tables:a. Kyseessä on Google:n toteuttama palvelu, joka on erikoistunut taulukkomuotoisen datan visualisoimiseen sekä eri datakokoelmien yhdistämiseen. Palvelusta löytyvät komponentit mm. perinteisten viiva-, piirakka- ja pylväsdiagrammien tekoon, mutta palvelulla on myös mahdollista luoda kartta- sekä verkostovisualisointeja.
Palvelu toimii osana Google Drive -palvelua ja uusia Fusion Tables -taulukoita pääsee luomaan Uusi -> Lisää -> Taulukko -polun takaa, jonka jälkeen palvelu pyytää lataamaan palveluun taulukkotiedoston. Tietoa voidaan syöttää mm. .csv ja .kml-muodoissa, joista jälkimmäinen on etenkin pinta-alojen esittämiseen tarkoitettu tiedostomuoto. (Kuva 3)
On huomioitavaa, että Fusion Tables on nimenomaan valmiin datan visualisointityökalu. Datan muokkausmahdollisuudet palvelussa ovat hyvin rajalliset, joten data kannattaa rakentaa mahdollisimman valmiiksi paikallisessa taulukkolaskentaohjelmassa tai Google Spreadsheet:ssä.
Loistava itseopiskelumateriaali Google Fusion Tables:n käyttöön (Tekijä: Tommy Kaas).
Tässä muutamia sovelluksia ja ohjelmia, joista itselleni on ollut hyötyä ja joiden käyttäminen ei lähtökohtaisesti vaadi koodaamista. Toivottavasti tästä on hyötyä.
Vasarallakin saa laudan poikki, mutta saha toimii tarkoitukseen paremmin.Ajattelin tuoda esiin viisi sellaista työkalua, joita itse käytän ja joiden käyttämisen koen olevan jokaisen datajournalismista kiinnostuneen opeteltavissa. Aloitan kuitenkin helppokäyttöisimmästä, jotteivät ei-teknisimmät henkilöt putoa heti matkasta.
SharedCount
SharedCount on yksinkertainen palvelu, joka mahdollistaa linkkien sosiaalisen median näkyvyyden tutkimisen. Palveluun on mahdollista linkittää mikä tahansa www-sivun osoite ja palvelu kertoo kuinka monta kertaa sivu on jaettu Facebook:ssa, Twitter:ssä, LinkedIn:ssä, Google+:ssa jne. Esimerkiksi Youtube-videota "The Canucks of Vancouver" on jaettu sosiaalisissa medioissa seuraavasti.
Palvelu on siis hyvin yksinkertainen käyttää ja siihen nähden se tarjoaa hyvin arvokasta tietoa sisältöjen leviämisestä sosiaalisessa mediassa. Sosiaalinen media on tärkeä osa datajournalismia ja siten myös sosiaalisen median toiminnan ymmärtäminen kuuluu siihen tärkeä osana. Toisaalta myös omien blogikirjoitusten ja vastaavien tuotosten leviämisen seuraaminen on SharedCount:n avulla kätevää.
Huomiotavaa etenkin kehittäjille on, että palvelu tarjoaa myös JSON-rajapinnan.
Google Trends
Mentäessä esiteltäviä palveluita eteenpäin tällä helppokäyttöisyysperiaatteella tulee seuraavaksi eteen Google Trends. Google Trends on nimensä mukaisesti Google:n työkalu, jolla on mahdollista tutkia hakusanojen suosiota. Palvelu ei ole kovinkaan tunnettu etenkään verrattuna Google:n muihin tuotteisiin, mutta ehdottomasti tutustumisen arvoinen. Palvelu toimii niin, että hakukenttään syötetään haluttu lista sanoja pilkuilla eroteltuna, jonka jälkeen palvelu kertoo kuinka paljon kyseisiä hakusanoja on Google:n avulla etsitty. Esimerkkinä tein haun suomalaisista kaupunkien nimistä, joissa on 2000-luvulla tapahtunut ampumistapauksia. (Kuva 1)
 |
| Suomalaisten kaupunkien hakusanojen suosiossa näkyvät selkeästi traagiset tapahtumat. (Kuva 1) |
Google Trends:stä ovat selkeästi nähtävissä ampumistapauksien ajankohdat ja niiden vaikutus hakusanojen suosioon. Mielenkiintoinen kuriositeetti on, että kaupunginnimen suosio hakusanana on pienentynyt vuosien saatossa.
Google Trends on oiva työkalu tarkoitukseensa, joskin siltä ei kovin paljon enempää tule odottaa.
CometDocs
CometDocs:iin törmäsimme tässä blogissa edellisen viestin yhteydessä. Kyseessä on työkalu, joka muuntaa palveluun lähetetyt .pdf-dokumentit helpommin käsiteltäviin Excel tai Word -muotoihin. Palveluun on siis mahdollista lähettää taulukkodataa sisältävä .pdf-dokumentti ja palvelu muuntaa dokumentin parhaansa mukaan taulukkolaskentaohjelmien ymmärtämään .xls-muotoon.
Muunnokset eivät aina ole täydellisiä, koska .pdf-dokumenttien rakenteen tulkitseminen ei ole yksikäsitteistä. Esimerkiksi välilyönnit ja askelsarkaimet (tab) sekoittavat etenkin taulukkodatan tulkintaa. Yksittäisten virheiden korjaaminen jälkikäteen Excel:ssä on kuitenkin nopeampaa kuin koko datan siirtäminen käsin .pdf-dokumentista taulukkolaskentaohjelmaan. Vastaavanlaisia palveluita löytyy Google:lla useita ja myös esimerkiksi Acrobat Reader Pro -versiosta löytyy tämä vastaava toiminnallisuus.
CometDocs-palvelun huonona puolena pitäisin sitä, että palveluun joutuu antamaan sähköpostiosoitteensa, joka ei aina ole järkevää ja tätäkin palvelua käytettäessä suosittelen käyttämään jotain ei-niin-tärkeää sähköpostiosoitetta.
Scraper
Keskusteltaessa datajournalismista kuulee usein puhuttavan erilaisten raapijoiden, skreippereiden ja ryömijöiden toteuttamisesta. Erilaisia ryömijöitä ja keräimiä on tämänkin blogin yhteydessä käsitelty. Keräimet toteuteutaan usein ohjelmoimalla etenkin jos tekijällä on tähän kompetenssia ja kiinnostusta, mutta olemassa on myös työkaluja, joilla tietoa voidaan kerätä Internetistä ilman kovaa insinööritaustaa.
Erittäin näppärä työkalu tiedon keräämiseen löytyy Google Chrome -lisäosana ja on nimeltään Scraper. Scraper:n käyttämiseksi tarvet siis Google Chrome -selaimen, jota suosittelen muutenkin pääasialliseksi selaimeksi kenelle tahansa. Scraper:n asentamisen jälkeen toiminnallisuutta voi käyttää millä tahansa www-sivulla klikkaamalla haluaamaansa kohdetta ja valitsemalla kontekstivalikosta "Scrape Similar...", jonka jälkeen ruudulle aukeavasta ikkunasta ovat nähtävissä kaikki muut sivulta löytyvät vastaavankaltaiset sisällöt (Kuva 2).
 |
| Valitsemalla kontekstivalikosta "Scrape similar..." voit hakea ja tallentaa tietoa www-sivulta. (Kuva 2) |
Olen itse käyttänyt Scraper:a mm. ihmisten Facebook-kavereiden hakemiseen ja tallentamiseen, koska Facebook ei suoraan tätä toiminnallisuutta tarjoa. Facebook-kavereiden tapauksessa lataan ensin kaikki halutun käyttäjän Facebook-kaverit selaimeni sivulle, jonka jälkeen klikkaan yhtä heistä ja valitsen "Scrape Similar...", jolloin Scraper tunnistaa kaikki sivulta löytyvät vastaavat sisällöt eli juuri nämä halutut kaverit. Scraper:lla haetut tiedot on mahdollista viedä Google Docs -palveluun, josta ne voi ladata edelleen vaikka omalle koneelle Excel:ssä käsiteltäväksi.
Scraper Similar -toiminto ei aina suoraan toimi oikein vaan "polkua", jonka takaa samankaltaista sisältöä haetaan voi joutua muokkaamaan. Haettava sisältö määritellään XPath-kielen (pikaopas) avulla, joka vaatii hieman teknisempää ajattelua, mutta jota ei välttämättä siis tarvitse käyttää jos "Scrape Similar..." -toiminnallisuus osaa suoraan palauttaa haluttavat sisällöt.
Google Fusion Tables
Tämänkaltaista listaa tehdessä ei varmaan voi ohittaa Google Fusion Tables:a. Kyseessä on Google:n toteuttama palvelu, joka on erikoistunut taulukkomuotoisen datan visualisoimiseen sekä eri datakokoelmien yhdistämiseen. Palvelusta löytyvät komponentit mm. perinteisten viiva-, piirakka- ja pylväsdiagrammien tekoon, mutta palvelulla on myös mahdollista luoda kartta- sekä verkostovisualisointeja.
Palvelu toimii osana Google Drive -palvelua ja uusia Fusion Tables -taulukoita pääsee luomaan Uusi -> Lisää -> Taulukko -polun takaa, jonka jälkeen palvelu pyytää lataamaan palveluun taulukkotiedoston. Tietoa voidaan syöttää mm. .csv ja .kml-muodoissa, joista jälkimmäinen on etenkin pinta-alojen esittämiseen tarkoitettu tiedostomuoto. (Kuva 3)
 |
| Uusien Fusion Tables -dokumenttien luominen löytyy More -painikkeen takaa. (Kuva 3) |
On huomioitavaa, että Fusion Tables on nimenomaan valmiin datan visualisointityökalu. Datan muokkausmahdollisuudet palvelussa ovat hyvin rajalliset, joten data kannattaa rakentaa mahdollisimman valmiiksi paikallisessa taulukkolaskentaohjelmassa tai Google Spreadsheet:ssä.
Loistava itseopiskelumateriaali Google Fusion Tables:n käyttöön (Tekijä: Tommy Kaas).
Tässä muutamia sovelluksia ja ohjelmia, joista itselleni on ollut hyötyä ja joiden käyttäminen ei lähtökohtaisesti vaadi koodaamista. Toivottavasti tästä on hyötyä.
tiistai 3. heinäkuuta 2012
Alkoholinmyyntitiedon visualisointia
Julkaisimme n. kuukausi sitten Eva Koskisen ja Radar:n kanssa jutun alkoholin myyntitiedoista. Ajattelin hieman valaista taustoja tarinan takaa, koska kyseessä oli lukijoita ja kuulijoita kiinnostanut datajournalistinen juttu, joka levisi myös muihin tiedostusvälineisiin.
Tilastojen ja datan hankkimisen ei useinkaan tarvitse poiketa luonteeltaan ns. normaalista tiedon hausta (kuten piirakkareseptien etsiminen) eikä alkoholinmyyntitilastojen etsiminen tehnyt tähän poikkeusta. Google on erinomainen työkalu ja hakulauseella "alkoholijuomien kulutus" löytää nopeasti Tilastokeskuksen sivuille, josta käy ilmi, että alkoholijuomien myyntitilastoa ylläpitää Terveyden ja hyvinvoinnin laitos (THL).
THL kerää erinäisiä terveyteen ja ihmisten hyvinvointiin liittyviä tilastoja, joihin kuuluvat mm. alkoholinmyyntitilastot. Tilastot pitävät sisällään kunnittaiset alkoholinmyyntimäärät litroittain juomatyyppikohtaisesti, puhtaana alkoholina sekä suhteutettuna asukasta kohden. Tilastot löytyvät THL:n sivuilta vuositasolla vuosittaisten raporttien yhteydestä (Valvivan sivut antavat ymmärtää, että tilastoja kerättäisiin myös kuukausitasolla).
Ainoa ongelma THL:n sivuilta saatavassa datassa oli, että se on .pdf-muodossa. PDF-muotoista dataa ei usein mielletä koneluettavaksi tai helposti automaattisesti käsiteltäväksi, mutta myös .pdf-dokumenttien käsittely on mahdollista. Mm. Acrobat Readerin Pro -versiosta löytyy toiminnallisuus, jonka avulla .pdf-muotoinen dokumentti on mahdollista muuntaa Excel-muotoiseksi, mutta saatavilla on myös ilmaisia työkaluja kuten esimerkiksi Cometdocs-palvelu, jota itse käytin. Vaikka muunnos ei ollutkaan täydellinen oli yksittäiset virheet helppo korjata käsin.
Myöhemmin ottaessani yhteyttä THL:ään sain myös selville, että THL ylläpitää Sotkanet-nimistä palvelua, josta on mahdollista hakea kaikkia THL:n tuottamia tilastoja monipuolisten rajaustyökalujen avulla ja datat ovat ladattavissa tietokoneluettavassa muodossa. Palvelu mahdollistaa myös suoraan yksinkertaiset datan visualisoinnit mm. karttojen muodossa. Tämänkaltaisten loistavien palveluiden markkinointiin voisi panostaa enemmänkin aikaa ja rahaa.
Google Fusion Tables on datan visualisointityökalu, joka on osa, nykyisin Google Drive nimellä, tunnettua palvelua (aiemmin Google Docs). Fusion Tablesiin on mahdollista ladata omia datataulukoita tai palvelusta on mahdollista hakea käyttöönsä muiden käyttäjien julkisia taulukoita. Fusion Tables mahdollistaa datan näyttämisen mm. kartta-, verkosto-, viiva-, piirakka- sekä pylväsvisualisulisoinnin muodossa. Kaikki komponentit ovat muutaman hiiren klikkauksen ulottuvissa.
Alkoholinmyyntitietodata oli kuntakohtaista, joten mielekästä oli kuvata data kunnittain Suomen kartalle. Fusion Tables:ssa kuntiin (ja yleensäkin paikkatietoon) perustuvan visualisoinnin toteuttaminen on helppoa, koska palvelusta on mahdollista hakea kuntanimiin perustuen paikkojen sijainnit. Sijainnin merkitään oletuksena ns. "täpillä" (marker), joille on dataan perustuen mahdollista esimerkiksi määrittää arvoa kuvaava väri.
Google Maps -komponentti, jota käytetään kartan piirtoon osaa kuitenkin tulkita myös kuntarajoja (maantieteellisiä alueita) kun ne syötetään KML-muodossa. Näin on mahdollista käyttää yksittäisten täppien sijaan kunnan pinta-alaa datan esittämiseen. Lopputulos on myös paljon miellyttävämmän näköinen visuaalisesti kuin käytettäessä täppiä. Toki tässä tapauksessa datan luonne ei myöskään tue täppien käyttöä, koska ilmiö ei tapahdu spatiaalisesti yhdessä pisteessä vaan data kuvaa suuremman pinta-alan käyttäytymisen keskiarvoa. Toisissa datoissa tietysti taas täpät ovat luontevia datan kuvaamiselle. (Kuva 1)
Google Fusion Tablesissa erilaisten hypoteesien kokeileminen on helppoa, koska mm. värivalintojen tekeminen onnistuu suoraan käyttöliittymäkomponenttien avulla. Tämä mahdollistaa isojenkin muutosten tekemisen nopeasti, joka esimerkiksi omassa toteutuksessa vaatii aina koodaustyötä. Fusion Tables:n ongelmia ovat, että tuotokset eivät erotu, koska ne näyttävät Google:n tuotteilta ja toisaalta, että datan joutuu luovuttamaan Google:lle, joka voi olla arkaluontoisten datojen kohdalla ongelma.
Goole Maps:n ja Google Fusion Tables:n ymmärtämä KML-muotoinen Suomen kuntarajat vuodelta 2011 sisältävä data on ladattavissa täältä.
Kuten olen tässä blogissa aikaisemminkin maininnut on Helsingin Sanomat ollut aktiivinen toimija suomalaisen datajournalismin saralla. Tähän toimintaan on kuulunut mm., että HS julkaisi toukokuussa toteuttamansa kuntakoneen avoimena lähdekoodina HS Next -blogissa. Kuntakonetta hyödynnettiin laajasti seuranneessa HS Open -tapahtumassa, jossa se näytti toimivuutensa erilaisten datojen esittämiseen.
Alkuperäinen HS:n toteutus kuntakoneesta oli tehty kuntaliitoksia silmällä pitäen, joten karttaa käyttääksemme jouduimme hieman muuntamaan sitä tarpeeseemme. Poistimme kartasta mahdollisuuden yhdistellä kuntia keskenään, mutta mahdollistimme samalla helpomman kunnan uudelleenvalitsemisen. Lisäksi teimme kartan kaksikielisenä sekä toteutimme siihen mahdollisuuden rajata piirron pelkkiin ruotsinkielisiin kuntiin. (Kuva 2)
Toteutimme siis lopullisen ja julkaistun karta Helsingin Sanomien kuntakarttaan perustuen Google Fusion Tables toteutuksen sijaan, koska kuntakarttaan perustuva toteutus osoittautui visuaalisesti paremman näköiseksi ja lisäksi näimme, että omassa toteutuksessa pystyimme paremmin hallitsemaan sitä miten karttaa käytetään. Pyrkimys riippumattomuuteen ulkopuolisesta toimijasta ei sinällään ollut merkittävä tekijä päätöstä tehtäessä.
Radar teki keväällä useampia alkoholiin liittyviä juttuja radioon sekä nettiin ja siten tämä alkoholinmyyntikartta oli osa suurempaa juttujen kokonaisuutta. Lisäksi on huomioitavaa, että Radar:ssa päätuote on radio-ohjelma, jolle netti pyrkii tarjoamaan täydentävää sisältöä. Tässä tapauksessa nähtiin, että nettiin tehty uutinen keräsi hyvin paljon sivulatauksia ja että sisällöt tukivat hyvin toisiaan, koska radiossa pystyttiin keskittymään tiettyihin toimittajan valitsemiin näkökulmiin kun taas netissä pystyttiin tarjoamaan kohdennettua sisältöä kaikille siitä kiinnostuneille.
Saman alkoholinmyyntitiedon uutisointia nähtiin myös muilta suomalaisilta media-alan toimijoilta ja myös YLE Uutiset julkaisi oman uutisensa asiasta rikastettuna samalla kartalla, jota me olimme käyttäneet.
Risuja saimme lähinnä siitä, että kuntakartassa oli otettu huomioon vuoden 2013 kuntaliitokset, jotka eivät kuitenkaan olleet vielä varmistuneita. Esimerkiksi Siuntio oli liitetty Lohjaan ennenaikaisesesti, koska prosessi on vielä kesken. Pyrimme kuitenkin palvelemaan myös heitä, jotka olivat kokeneet itsensä väärin kohdelluiksi antamalla heille THL:n tarjoaman datan keskustelussa.
Yhteenvetona todettakoon, että kyseessä oli erittäin suosittuun aihealueeseen tehty datan karttavisualisointi, joka toi tehdylle jutulle huomattavaa lisäarvoa. Toteutus tuki päätuotetta eli radio-ohjelmaa ja toi myös sille lisäkuuntelijoita.
Datan hankinta
Tilastojen ja datan hankkimisen ei useinkaan tarvitse poiketa luonteeltaan ns. normaalista tiedon hausta (kuten piirakkareseptien etsiminen) eikä alkoholinmyyntitilastojen etsiminen tehnyt tähän poikkeusta. Google on erinomainen työkalu ja hakulauseella "alkoholijuomien kulutus" löytää nopeasti Tilastokeskuksen sivuille, josta käy ilmi, että alkoholijuomien myyntitilastoa ylläpitää Terveyden ja hyvinvoinnin laitos (THL).
THL kerää erinäisiä terveyteen ja ihmisten hyvinvointiin liittyviä tilastoja, joihin kuuluvat mm. alkoholinmyyntitilastot. Tilastot pitävät sisällään kunnittaiset alkoholinmyyntimäärät litroittain juomatyyppikohtaisesti, puhtaana alkoholina sekä suhteutettuna asukasta kohden. Tilastot löytyvät THL:n sivuilta vuositasolla vuosittaisten raporttien yhteydestä (Valvivan sivut antavat ymmärtää, että tilastoja kerättäisiin myös kuukausitasolla).
Ainoa ongelma THL:n sivuilta saatavassa datassa oli, että se on .pdf-muodossa. PDF-muotoista dataa ei usein mielletä koneluettavaksi tai helposti automaattisesti käsiteltäväksi, mutta myös .pdf-dokumenttien käsittely on mahdollista. Mm. Acrobat Readerin Pro -versiosta löytyy toiminnallisuus, jonka avulla .pdf-muotoinen dokumentti on mahdollista muuntaa Excel-muotoiseksi, mutta saatavilla on myös ilmaisia työkaluja kuten esimerkiksi Cometdocs-palvelu, jota itse käytin. Vaikka muunnos ei ollutkaan täydellinen oli yksittäiset virheet helppo korjata käsin.
Myöhemmin ottaessani yhteyttä THL:ään sain myös selville, että THL ylläpitää Sotkanet-nimistä palvelua, josta on mahdollista hakea kaikkia THL:n tuottamia tilastoja monipuolisten rajaustyökalujen avulla ja datat ovat ladattavissa tietokoneluettavassa muodossa. Palvelu mahdollistaa myös suoraan yksinkertaiset datan visualisoinnit mm. karttojen muodossa. Tämänkaltaisten loistavien palveluiden markkinointiin voisi panostaa enemmänkin aikaa ja rahaa.
Kokeilut Google Fusion Tables -työkalulla
Google Fusion Tables on datan visualisointityökalu, joka on osa, nykyisin Google Drive nimellä, tunnettua palvelua (aiemmin Google Docs). Fusion Tablesiin on mahdollista ladata omia datataulukoita tai palvelusta on mahdollista hakea käyttöönsä muiden käyttäjien julkisia taulukoita. Fusion Tables mahdollistaa datan näyttämisen mm. kartta-, verkosto-, viiva-, piirakka- sekä pylväsvisualisulisoinnin muodossa. Kaikki komponentit ovat muutaman hiiren klikkauksen ulottuvissa.
Alkoholinmyyntitietodata oli kuntakohtaista, joten mielekästä oli kuvata data kunnittain Suomen kartalle. Fusion Tables:ssa kuntiin (ja yleensäkin paikkatietoon) perustuvan visualisoinnin toteuttaminen on helppoa, koska palvelusta on mahdollista hakea kuntanimiin perustuen paikkojen sijainnit. Sijainnin merkitään oletuksena ns. "täpillä" (marker), joille on dataan perustuen mahdollista esimerkiksi määrittää arvoa kuvaava väri.
Google Maps -komponentti, jota käytetään kartan piirtoon osaa kuitenkin tulkita myös kuntarajoja (maantieteellisiä alueita) kun ne syötetään KML-muodossa. Näin on mahdollista käyttää yksittäisten täppien sijaan kunnan pinta-alaa datan esittämiseen. Lopputulos on myös paljon miellyttävämmän näköinen visuaalisesti kuin käytettäessä täppiä. Toki tässä tapauksessa datan luonne ei myöskään tue täppien käyttöä, koska ilmiö ei tapahdu spatiaalisesti yhdessä pisteessä vaan data kuvaa suuremman pinta-alan käyttäytymisen keskiarvoa. Toisissa datoissa tietysti taas täpät ovat luontevia datan kuvaamiselle. (Kuva 1)
 |
| Google Fusion Tables:ssa hypoteesien erilaisten testaaminen on lähtökohtaisesti näppärää. (Kuva 1) |
Google Fusion Tablesissa erilaisten hypoteesien kokeileminen on helppoa, koska mm. värivalintojen tekeminen onnistuu suoraan käyttöliittymäkomponenttien avulla. Tämä mahdollistaa isojenkin muutosten tekemisen nopeasti, joka esimerkiksi omassa toteutuksessa vaatii aina koodaustyötä. Fusion Tables:n ongelmia ovat, että tuotokset eivät erotu, koska ne näyttävät Google:n tuotteilta ja toisaalta, että datan joutuu luovuttamaan Google:lle, joka voi olla arkaluontoisten datojen kohdalla ongelma.
Goole Maps:n ja Google Fusion Tables:n ymmärtämä KML-muotoinen Suomen kuntarajat vuodelta 2011 sisältävä data on ladattavissa täältä.
Lopullinen toteutus HS:n kuntakoneella
Kuten olen tässä blogissa aikaisemminkin maininnut on Helsingin Sanomat ollut aktiivinen toimija suomalaisen datajournalismin saralla. Tähän toimintaan on kuulunut mm., että HS julkaisi toukokuussa toteuttamansa kuntakoneen avoimena lähdekoodina HS Next -blogissa. Kuntakonetta hyödynnettiin laajasti seuranneessa HS Open -tapahtumassa, jossa se näytti toimivuutensa erilaisten datojen esittämiseen.
Alkuperäinen HS:n toteutus kuntakoneesta oli tehty kuntaliitoksia silmällä pitäen, joten karttaa käyttääksemme jouduimme hieman muuntamaan sitä tarpeeseemme. Poistimme kartasta mahdollisuuden yhdistellä kuntia keskenään, mutta mahdollistimme samalla helpomman kunnan uudelleenvalitsemisen. Lisäksi teimme kartan kaksikielisenä sekä toteutimme siihen mahdollisuuden rajata piirron pelkkiin ruotsinkielisiin kuntiin. (Kuva 2)
 |
| Kartan värit perustuivat YLE:n uuteen ilmeeseen. Toteutus mahdollisti kartan näkökulman muokkauksen. (Kuva 2) |
Toteutimme siis lopullisen ja julkaistun karta Helsingin Sanomien kuntakarttaan perustuen Google Fusion Tables toteutuksen sijaan, koska kuntakarttaan perustuva toteutus osoittautui visuaalisesti paremman näköiseksi ja lisäksi näimme, että omassa toteutuksessa pystyimme paremmin hallitsemaan sitä miten karttaa käytetään. Pyrkimys riippumattomuuteen ulkopuolisesta toimijasta ei sinällään ollut merkittävä tekijä päätöstä tehtäessä.
Jälkipyykki; mitä näimme, mitä opittiin
Radar teki keväällä useampia alkoholiin liittyviä juttuja radioon sekä nettiin ja siten tämä alkoholinmyyntikartta oli osa suurempaa juttujen kokonaisuutta. Lisäksi on huomioitavaa, että Radar:ssa päätuote on radio-ohjelma, jolle netti pyrkii tarjoamaan täydentävää sisältöä. Tässä tapauksessa nähtiin, että nettiin tehty uutinen keräsi hyvin paljon sivulatauksia ja että sisällöt tukivat hyvin toisiaan, koska radiossa pystyttiin keskittymään tiettyihin toimittajan valitsemiin näkökulmiin kun taas netissä pystyttiin tarjoamaan kohdennettua sisältöä kaikille siitä kiinnostuneille.
Saman alkoholinmyyntitiedon uutisointia nähtiin myös muilta suomalaisilta media-alan toimijoilta ja myös YLE Uutiset julkaisi oman uutisensa asiasta rikastettuna samalla kartalla, jota me olimme käyttäneet.
Risuja saimme lähinnä siitä, että kuntakartassa oli otettu huomioon vuoden 2013 kuntaliitokset, jotka eivät kuitenkaan olleet vielä varmistuneita. Esimerkiksi Siuntio oli liitetty Lohjaan ennenaikaisesesti, koska prosessi on vielä kesken. Pyrimme kuitenkin palvelemaan myös heitä, jotka olivat kokeneet itsensä väärin kohdelluiksi antamalla heille THL:n tarjoaman datan keskustelussa.
Yhteenvetona todettakoon, että kyseessä oli erittäin suosittuun aihealueeseen tehty datan karttavisualisointi, joka toi tehdylle jutulle huomattavaa lisäarvoa. Toteutus tuki päätuotetta eli radio-ohjelmaa ja toi myös sille lisäkuuntelijoita.
tiistai 26. kesäkuuta 2012
Twiittien kertomaa: #Juhannusjuna
Päivitys 28.6. klo 20:30: Twiittien aikaleimatietoja oli tulkittu väärin, koska ne olivat GMT+0 aikaa eivätkä Suomen aikaa. Tämä on korjattu tekstiin, mutta jaettu data on edelleen GMT+0.
Sain hyvää palautetta edellisestä viestistäni #SuomiTop100-ilmiö ja osittain sen myötä päädyin tällä kertaa tutkimaan #juhannusjuna Twitter-keskustelua.
Juhannusjuna oli Yleisradion tuotanto, joka seurasi juhannusyönä 2012 Helsinki-Rovaniemi-junan matkaa suorana televisiossa, radiossa ja netissä. Lähestys oli 13 tunnin mittainen ja se televisioitiin Suomen lisäksi myös Saksaan, Ranskaan sekä Norjaan. Tuotanto noudatti ns. Slow TV -formaattia, joka määritelmänsä mukaan seuraa maratoonin omaisesti arkipäiväistä tapahtumaa suorana alusta loppuun.
Tarkoituksenani oli ilmentää Juhannusjunan tekijöille heidän pyynnöstään #juhannusjuna-hashtagin alla käytyä keskustelua.
Twitter-rajapinta eli API on hyvin monipuolinen ja helppokäyttöinen. Rajapinnan kautta on mahdollista hakea kaikki Twitter:ssä muutenkin julkisesti saatavilla oleva data (tietyin rajoituksin). Esimerkiksi search-metodi mahdollistaa viimeisimpien twiittien hakemisen hakuehtoihin perustuen. Rajapinta on laajasti dokumentoitu ja tarjolla on myös runsaasti esimerkkejä siitä miten rajapintaa kutsutaan.
Normaalisti rajapintoja käytetään ohjelmallisesti, mutta koska Twitter:n osalla kyse on REST-rajapinnasta on kyselyitä mahdollista tehdä myös suoraan selaimen avulla. Esimerkiksi yksittäinen #juhannusjuna-hashtagin sisältävä twiitti ja sen tiedot on mahdollista hakea syöttämällä selaimen osoiteriville kysely:
http://search.twitter.com/search.json?q=%23juhannusjuna&rpp=1,
missä q=%23juhannusjuna rajaa hakua niin, että haetaan vain twiitit joissa on sana #juhannusjuna ja rpp=1 rajaa tulosten määrän yhteen sivua kohden (results per page). Kuten huomataan erotellaan useat parametrit osoiterivillä &-merkillä. Huomioitavaa on myös, että risuaita (#) on merkittävä osoiterivillä sen koodatussa muodossa "%23", koska sillä on erityismerkityksensä URL-osoitteissa.
Rajapinta palauttaa JSON-muotoista dataa, jota on helppo tulkita koneellisesti. Ihmiselle Twitter:n palauttama vaste on hankalalukuista etenkin, koska tietoja ei ole rivitetty. Vaste on kuitenkin mahdollista kopioida esimerkiksi JSONLint-nimiseen palveluun, joka muuntaa datan helpommin luettavaan muotoon (joskin edelleen on kyse koodista).
Kuten sanottua on rajapintoja usein mielekästä käsitellä ohjelmallisesti. Itse kirjoitin yksinkertaisen, n. 10 riviä pitkän, Python-koodipätkän, jonka avulla hain kaikki #juhannusjuna sekä #midsummertrain -aiheiset twiitit Twitter-rajapinnasta (n. 1600 kpl) ja tallensin ne MondoDB -tietokantaan. Lokiikaltaan kyse on siis hyvin suoraviivaisesta ohjelmasta, joka hakee twiittejä rajapinnasta yksi kerrallaan ja tallentaa uudet vielä hakemattomat twiitit lokaaliin tietokantaan, josta niiden käsittely ei enää riipu Twitter:stä.
#SuomiTop100-hashtagin tapauksessa kiinnostavia näkökulmia olivat se ketkä asiasta keskustelivat ja miten he linkittyivät toisiinsa sekä toisaalta millaisia lopulliselle listalle päässeet olivat Twitter-käyttäjinä. #Juhannusjuna:n tapauksessa kiinnostavia kysymyksiä taas olivat etenkin se milloin twiittejä lähetettiin, koska kyse oli suorasta lähetyksestä sekä se ketkä olivat aktiivisimpia keskustelijoita. Slow TV:n luonteesta johtuen (pitkä yön yli kestävä lähetys) erityisen kiinnostavaa ajallisesti oli se miten twiitit jakautuivat tunneittain yön aikana.
Onnistuin tallentamaan twiittejä ajalta 18.6. - 26.6. yhteensä hieman vajaa 1600 kpl:tta. Tässä luvussa olivat mukana #juhannusjuna ja #midsummertrain hashtagin sisältäneet twiitit. Yhteensä hashtagejä käytti 318 käyttäjää ja heitä oli kaikilta kielialueilta, joilla lähetys näkyi (FR: 2, EN: 150, NO: 5, DE: 5, SV: 18, DE: 3, IN: 2, FI: 1388). Huomioitavaa on, että kielialue määritellään siitä mitä kieltä käyttäjä käyttää palvelussa eli suuri osa EN-kielikoodin omaavista twiittaajista on varmasti suomalaisia.
Aktiivisin twiittausjakso koettiin juhannusjunan lähdön aikaan kun 19:00-20:00 välisenä aikana Twitter:iin lähetettiin yhteensä 401 juhannusjuna-aiheista twiittiä. Iltaa ja yötä myöden twiittien määrät tippuivat ensin 268:een tunnissa ja sitten 171:een tunnissa. Kuitenkin vielä aamulla klo 01:00-02:00 välillä hashtagit keräsivät 86 twiittiä, joka on keskimäärin enemmän kuin yksi twiitti minuutissa. Koko data on saatavilla tästä .csv-muodossa (avattavissa Excelissä).
Aktiivisimmaksi twiittaajaksi ylsi @MikaPirhonen 173:lla juhannusjuna-aiheisella twiitillään. Kakkoseksi kipusi @digikim ennen Juhannusjunan virallista Twitter-tiliä @Juhannusjuna. Lähetettyjen twiittien keskiarvo käyttäjää kohden oli 4.9 (1573/318). Twiittimäärien mediaani oli 1 eli suurin osa käyttäjistä lähetti vain yhden #juhannusjuna tai #midsummertrain -aiheisen twiitin. Koko data on saatavilla tästä .csv-muodossa.
Lisäys 27.6.2012 klo 11:30:
Twitterissä heräsi kysymys siitä ovatko mukana myös retwiitit. Tutkittuani dataa selvitin, että kyllä ovat ja eniten retwiittejä eli 12 sai @Iirorantala:n twiitti:
Ps. jos sinä olet kiinnostunut oman hashtagisi takana käytävästä keskustelusta, mutta tämän toteuttaminen tuntuu ylitsepääsemättömältä ota yhteyttä esimerkiksi Twitterissä niin katsotaan mitä voimme tehdä. Kannattaa kuitenkin ottaa huomioon, että Twitteristä on mahdollista hakea vain n. 1500 viimeisintä twiittiä ja maksimissaaan 6-8 päivän takaa.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA) ja data on tarkoituksenmukaisesti jätetty visualisoimatta, jotta datan käyttöönottaminen olisi siten mielekkäämpää kun pääsee tekemään tyhjältä pöydältä.
Sain hyvää palautetta edellisestä viestistäni #SuomiTop100-ilmiö ja osittain sen myötä päädyin tällä kertaa tutkimaan #juhannusjuna Twitter-keskustelua.
Juhannusjuna oli Yleisradion tuotanto, joka seurasi juhannusyönä 2012 Helsinki-Rovaniemi-junan matkaa suorana televisiossa, radiossa ja netissä. Lähestys oli 13 tunnin mittainen ja se televisioitiin Suomen lisäksi myös Saksaan, Ranskaan sekä Norjaan. Tuotanto noudatti ns. Slow TV -formaattia, joka määritelmänsä mukaan seuraa maratoonin omaisesti arkipäiväistä tapahtumaa suorana alusta loppuun.
Tarkoituksenani oli ilmentää Juhannusjunan tekijöille heidän pyynnöstään #juhannusjuna-hashtagin alla käytyä keskustelua.
Teknisen toteutuksen kuvaus
Twitter-rajapinta eli API on hyvin monipuolinen ja helppokäyttöinen. Rajapinnan kautta on mahdollista hakea kaikki Twitter:ssä muutenkin julkisesti saatavilla oleva data (tietyin rajoituksin). Esimerkiksi search-metodi mahdollistaa viimeisimpien twiittien hakemisen hakuehtoihin perustuen. Rajapinta on laajasti dokumentoitu ja tarjolla on myös runsaasti esimerkkejä siitä miten rajapintaa kutsutaan.
Normaalisti rajapintoja käytetään ohjelmallisesti, mutta koska Twitter:n osalla kyse on REST-rajapinnasta on kyselyitä mahdollista tehdä myös suoraan selaimen avulla. Esimerkiksi yksittäinen #juhannusjuna-hashtagin sisältävä twiitti ja sen tiedot on mahdollista hakea syöttämällä selaimen osoiteriville kysely:
http://search.twitter.com/search.json?q=%23juhannusjuna&rpp=1,
missä q=%23juhannusjuna rajaa hakua niin, että haetaan vain twiitit joissa on sana #juhannusjuna ja rpp=1 rajaa tulosten määrän yhteen sivua kohden (results per page). Kuten huomataan erotellaan useat parametrit osoiterivillä &-merkillä. Huomioitavaa on myös, että risuaita (#) on merkittävä osoiterivillä sen koodatussa muodossa "%23", koska sillä on erityismerkityksensä URL-osoitteissa.
Rajapinta palauttaa JSON-muotoista dataa, jota on helppo tulkita koneellisesti. Ihmiselle Twitter:n palauttama vaste on hankalalukuista etenkin, koska tietoja ei ole rivitetty. Vaste on kuitenkin mahdollista kopioida esimerkiksi JSONLint-nimiseen palveluun, joka muuntaa datan helpommin luettavaan muotoon (joskin edelleen on kyse koodista).
Kuten sanottua on rajapintoja usein mielekästä käsitellä ohjelmallisesti. Itse kirjoitin yksinkertaisen, n. 10 riviä pitkän, Python-koodipätkän, jonka avulla hain kaikki #juhannusjuna sekä #midsummertrain -aiheiset twiitit Twitter-rajapinnasta (n. 1600 kpl) ja tallensin ne MondoDB -tietokantaan. Lokiikaltaan kyse on siis hyvin suoraviivaisesta ohjelmasta, joka hakee twiittejä rajapinnasta yksi kerrallaan ja tallentaa uudet vielä hakemattomat twiitit lokaaliin tietokantaan, josta niiden käsittely ei enää riipu Twitter:stä.
Tulokset
#SuomiTop100-hashtagin tapauksessa kiinnostavia näkökulmia olivat se ketkä asiasta keskustelivat ja miten he linkittyivät toisiinsa sekä toisaalta millaisia lopulliselle listalle päässeet olivat Twitter-käyttäjinä. #Juhannusjuna:n tapauksessa kiinnostavia kysymyksiä taas olivat etenkin se milloin twiittejä lähetettiin, koska kyse oli suorasta lähetyksestä sekä se ketkä olivat aktiivisimpia keskustelijoita. Slow TV:n luonteesta johtuen (pitkä yön yli kestävä lähetys) erityisen kiinnostavaa ajallisesti oli se miten twiitit jakautuivat tunneittain yön aikana.
Onnistuin tallentamaan twiittejä ajalta 18.6. - 26.6. yhteensä hieman vajaa 1600 kpl:tta. Tässä luvussa olivat mukana #juhannusjuna ja #midsummertrain hashtagin sisältäneet twiitit. Yhteensä hashtagejä käytti 318 käyttäjää ja heitä oli kaikilta kielialueilta, joilla lähetys näkyi (FR: 2, EN: 150, NO: 5, DE: 5, SV: 18, DE: 3, IN: 2, FI: 1388). Huomioitavaa on, että kielialue määritellään siitä mitä kieltä käyttäjä käyttää palvelussa eli suuri osa EN-kielikoodin omaavista twiittaajista on varmasti suomalaisia.
Aktiivisin twiittausjakso koettiin juhannusjunan lähdön aikaan kun 19:00-20:00 välisenä aikana Twitter:iin lähetettiin yhteensä 401 juhannusjuna-aiheista twiittiä. Iltaa ja yötä myöden twiittien määrät tippuivat ensin 268:een tunnissa ja sitten 171:een tunnissa. Kuitenkin vielä aamulla klo 01:00-02:00 välillä hashtagit keräsivät 86 twiittiä, joka on keskimäärin enemmän kuin yksi twiitti minuutissa. Koko data on saatavilla tästä .csv-muodossa (avattavissa Excelissä).
Aktiivisimmaksi twiittaajaksi ylsi @MikaPirhonen 173:lla juhannusjuna-aiheisella twiitillään. Kakkoseksi kipusi @digikim ennen Juhannusjunan virallista Twitter-tiliä @Juhannusjuna. Lähetettyjen twiittien keskiarvo käyttäjää kohden oli 4.9 (1573/318). Twiittimäärien mediaani oli 1 eli suurin osa käyttäjistä lähetti vain yhden #juhannusjuna tai #midsummertrain -aiheisen twiitin. Koko data on saatavilla tästä .csv-muodossa.
Lisäys 27.6.2012 klo 11:30:
Twitterissä heräsi kysymys siitä ovatko mukana myös retwiitit. Tutkittuani dataa selvitin, että kyllä ovat ja eniten retwiittejä eli 12 sai @Iirorantala:n twiitti:
@IiroRantala: Spread this link of #juhannusjuna #midsummertrain. The show is available world wide live from a night train in Finland. Starts in one hour.Kakkoseksi twiittien suosituimmuudessa retwiittien osalta pääsi @TuomasEnbuske, jonka twiittiä:
@TuomasEnbuske: Don't tell mamassa on kuulemma tänä iltana todellinen #juhannusjuna.jaettiin edelleen 6 kertaa. Suurin osa twiiteistä aiheilla #juhannusjuna ja #midsummertrain ei saanut yhtään retwiittiä, koska vain 82 twiittiä 1573:sta jaettiin eteenpäin kerran tai useammin ja suurin osa näistäkin twiitattiin uudelleen vain kertaalleen.
Ps. jos sinä olet kiinnostunut oman hashtagisi takana käytävästä keskustelusta, mutta tämän toteuttaminen tuntuu ylitsepääsemättömältä ota yhteyttä esimerkiksi Twitterissä niin katsotaan mitä voimme tehdä. Kannattaa kuitenkin ottaa huomioon, että Twitteristä on mahdollista hakea vain n. 1500 viimeisintä twiittiä ja maksimissaaan 6-8 päivän takaa.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA) ja data on tarkoituksenmukaisesti jätetty visualisoimatta, jotta datan käyttöönottaminen olisi siten mielekkäämpää kun pääsee tekemään tyhjältä pöydältä.
maanantai 25. kesäkuuta 2012
#SuomiTop100-ilmiö
Keskiviikkona 20.6. suomalaisessa Twitterissä alkoi kuohua (Kuva 1). Niku Hooli ja Antti Hirvonen olivat Foreign Policy -lehden esimerkin innoittamina ryhtyneet joukkoistamalla keräämään listaa 100:sta suomalaisesta tai Suomessa vaikuttavista Twitter-aktiivista.
Nopeasti, aiheesta hashtagilla #SuomiTop100 keskustelleiden keskuudessa, kasvoi tarve ilmentää ilmiötä visualisoinnin keinoin ja keskiviikkoiltapäivällä sainkin useampia vihjailuja (1, 2, 3) asiaa koskien. Sinällään ongelma oli, etten ennen ollut kerännyt Twitteristä dataa hashtageihin perustuen, joten jouduin hieman improvisoimaan lähtiessäni toteuttamaan tarvetta täyttävää visualisointia. Aikaisemmat Twitter-pohjaiset visualisointini ovat perustuneet yksittäisten Twitter-tilien seuraajien ja seurattavien visualisointiin. Sain kuitenkin nopeasti aikaan ensimmäisen version #SuomiTop100-hashtagin maininneiden käyttäjien keskinäisestä verkostosta (Kuva 2).
Verkostossa ovat siis mukana #SuomiTop100-hashtagin Twitterissä maininneet henkilöt, eivät listalla olleet tai sinne päätyneet, joskin toki osa asiasta keskustelijoista listalle myös päätyi. Toteutus oli kuitenkin siinä määrin nopeasti kasattu, että en ehtinyt huomioimaan mm., että versioon tulivat mukaan vain hashtagin 100 viimeisintä twiittiä eikä data siten ollut täydellistä.
Mitä tästä kuvassa 2 näkyvästä verkostosta pystyttiin kuitenkin jo näkemään oli, että aiheesta keskustelleiden verkosto on hyvin tiheä. Näytti siis siltä, että asiasta keskusteltiin ns. kaveriporukassa toisensa tuntevien ihmisten kesken. Sain kuitenkin siinä määrin palautetta ihmisiltä, jotka olivat asian maininneet, mutta eivät verkostosta löytyneet, että keskiviikkoiltana toteutin twiittien hakuskriptistä parannetun version.
Torstaina 21.6. aamulla julkaisin päivitetyn toteutuksen #SuomiTop100-hashtagin maininneiden verkostosta. Tällä kertaa luulen saaneeni mukaan todella kaikki asiasta keskustelleet ja heidän väliset yhteydet. Ainakin datan määrä kasvoi merkittävästi ja näytti oikeammalta twiittien määrään nähden (>500). Verkoston rakenteeseen tämä päivitys ei kuitenkaan juuri tuonut muutosta. Edelleen näytti siltä, että asiasta kiinnostuneet eli asiasta keskustelleet ovat myös kiinnostuneet keskenään toisistaan (Kuva 3).
Kuvissa 2 ja 3 näkyvien verkostojen rakenteen ja värityksen merkitystä on kuvattu mm. aikaisemmassa viestissäni: "Twitter-verkostoanalyysia Gephi:llä". Lyhyesti kuvattuna ihmiset asettuvat verkostossa lähelle niitä ihmisiä, jotka seuraavat toisiaan ja värit on asetettu verkostosta matemaattisesti tunnistettujen ryhmittymien mukaan. Solmun eli henkilöä kuvaavan pallon koko määräytyy sen mukaan miten keskeinen hän on verkoston kannalta. Latasin myöhemmin torstaina myös interaktiivisen version kuvassa 3 nähtävästä verkostosta ja annoin hakemani datan verkostomuodossa (.gexf) jatkokäsiteltäviksi siitä kiinnostuneille.
Torstaina iltapäivällä lopullinen lista julkistettiin YLE Uutisten toimesta. Laskin, että listalle päätyneistä ihmisistä 13% (37/284) osallistui aiheeseen liittyvään keskusteluun. Aiheesta keskustelleet löytyvät oheisesta .csv-tiedostosta, joka on mahdollista avata esimerkiksi Excelissä. Keskustelleet, jotka päätyivät myös listalle löytyvät tästä Google Fusion Tables -taulukosta.
Myös muut olivat aktivoituneet asian tiimoilta ja tehneet analyysia ilmiöstä. Mm. MikroPC:stä tuttu Ossi Jääskeläinen oli rakentanut PHP-ohjelman, jolla hän oli hakenut listalle päätyneiden numeeriset metatiedot (twiittejä, seuraajia, seurattavia, listojen jäsenyyksiä, omia listoja). Ossi tarjosi datan .csv-muodossa vapaasti käytettäväksi ja tästä innoittuneena aktivoiduin myös tämän osalta tekemään hieman visualisointityötä.
Toteutin D3.js kirjaston tarjoamaan Parallers Coordinates esimerkkiin perustuen visualisoinnin, jonka avulla on mahdollista tutkia korreloivatko #SuomiTop100-listalla olevien numeeriset ominaisuudet, jollain tavalla. Onko esimerkiksi niin, että twiittauksien määrä on suoraan verrannollinen käyttäjän seuraajien määrään tai ovatko käyttäjät, jotka itse käyttävät listoja todennäköisimpiä myös itse päätymään niille. (Kuva 4)
Kuten kuvasta 4 nähdään muutamat käyttäjät sokaistavat visualisoinnin melko tehokkaasti. Esimerkiksi Heikki Kovalaisen yli 150 000 seuraajaa on Suomen tasolla siinä määrin poikkeuksellinen määrä, että muut vain n. 1000 seuraajaa omaavat eivät erottaudu akselilla. Olisi ollut mahdollista toteuttaa hieman monipuolisemmat ominaisuudet omaava toteutus visualisoinnista, mutta päädyin helpompaan ratkaisuun ja poistin datasta manuaalisesti nämä muumat käyttäjät (@Haloefekti, 94 502 twiittiä @H_Kovalainen, 154 445 seuraajaa; @ptarkkonen, 108 793 seurattavaa), jotka omaavat suurimmat ääriarvot. Tällä ei kuitenkaan merkittävää vaikutusta ollut vaan data ilmentyi edelleen visualisoinnissa samankaltaisesti eikä kovinkaan merkittäviä korrelaatioita numeeristen ominaisuuksen välillä löytynyt. Listalle päätyneet suomalaiset Twitter-vaikuttajat ovat numeroiden valossa hyvin samankaltaisia. (Kuva 5)
Toteuttamani verkostovisualisoinnit #SuomiTop100-hashtagin maininneista keskustelijoista aiheutti myös muutamia epäselvyyksiä. Visualisoinnin luultiin olevan tehty lopulliselle listalle päätyneiden keskinäisestä verkostosta (1, 2, 3). Tätä väärinkäsitystä jouduin oikomaan muutamaankin otteeseen ja lisätäkseni hämmennystä toteutin nyt jälkikäteen myös verkoston tästä listalle päätyneiden keskinäisestä verkostosta (Kuva 6). Verkosto löytyy myös interaktiivisena versiona ja data on saatavilla .gexf-muodossa.
Kuten kuvassa 3 nähtävä #SuomiTop100-aiheesta keskustelijoiden verkosto on kuvassa 6 nähtävä lopulliselle listalle päätyneiden verkosto hyvin tiivis. Ainoastaan, pääosin urheilijoista ja urheiluvaikuttajista koostuva, joukko vasemmalla erottuu selkeästi omaksi saarekkeekseen. Yhteensä kuvassa 6 nähtävässä verkostossa on 100 solmua ja 3296 yhteyttä. Verkoston keskeisin henkilö on Tuija Aalto, joka myös seuraa eniten verkostossa olevia henkilöitä (96). Tuija myös kiinnostaa, koska 99:stä mahdollisesta häntä seuraa 64 verkoston jäsentä. Muut verkoston keskeisimmät henkilöt ovat järjestyksessä Mikael Jungner, Jyrki Kasvi ja Mikko Hyppönen.
Tässä oma näkökulmani #SuomiTop100-ilmiöön, joka vavisutti mielipiteitä näin juhannuksen alla puolesta ja vastaan.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA).
 |
| @suomitrendit on suosittuja suomalaisia hashtageja twiittaava Twitter-tili. (Kuva 1) |
Nopeasti, aiheesta hashtagilla #SuomiTop100 keskustelleiden keskuudessa, kasvoi tarve ilmentää ilmiötä visualisoinnin keinoin ja keskiviikkoiltapäivällä sainkin useampia vihjailuja (1, 2, 3) asiaa koskien. Sinällään ongelma oli, etten ennen ollut kerännyt Twitteristä dataa hashtageihin perustuen, joten jouduin hieman improvisoimaan lähtiessäni toteuttamaan tarvetta täyttävää visualisointia. Aikaisemmat Twitter-pohjaiset visualisointini ovat perustuneet yksittäisten Twitter-tilien seuraajien ja seurattavien visualisointiin. Sain kuitenkin nopeasti aikaan ensimmäisen version #SuomiTop100-hashtagin maininneiden käyttäjien keskinäisestä verkostosta (Kuva 2).
 |
| Verkostossa on 66 solmua (keskustelijaa) ja 744 yhteyttä (seuraa tai on seurattavana). (Kuva 2) |
Verkostossa ovat siis mukana #SuomiTop100-hashtagin Twitterissä maininneet henkilöt, eivät listalla olleet tai sinne päätyneet, joskin toki osa asiasta keskustelijoista listalle myös päätyi. Toteutus oli kuitenkin siinä määrin nopeasti kasattu, että en ehtinyt huomioimaan mm., että versioon tulivat mukaan vain hashtagin 100 viimeisintä twiittiä eikä data siten ollut täydellistä.
Mitä tästä kuvassa 2 näkyvästä verkostosta pystyttiin kuitenkin jo näkemään oli, että aiheesta keskustelleiden verkosto on hyvin tiheä. Näytti siis siltä, että asiasta keskusteltiin ns. kaveriporukassa toisensa tuntevien ihmisten kesken. Sain kuitenkin siinä määrin palautetta ihmisiltä, jotka olivat asian maininneet, mutta eivät verkostosta löytyneet, että keskiviikkoiltana toteutin twiittien hakuskriptistä parannetun version.
Torstaina 21.6. aamulla julkaisin päivitetyn toteutuksen #SuomiTop100-hashtagin maininneiden verkostosta. Tällä kertaa luulen saaneeni mukaan todella kaikki asiasta keskustelleet ja heidän väliset yhteydet. Ainakin datan määrä kasvoi merkittävästi ja näytti oikeammalta twiittien määrään nähden (>500). Verkoston rakenteeseen tämä päivitys ei kuitenkaan juuri tuonut muutosta. Edelleen näytti siltä, että asiasta kiinnostuneet eli asiasta keskustelleet ovat myös kiinnostuneet keskenään toisistaan (Kuva 3).
 |
| Verkostossa on 284 solmua (keskustelijaa) ja 10556 yhteyttä (seuraa tai on seurattavana). (Kuva 3) |
Kuvissa 2 ja 3 näkyvien verkostojen rakenteen ja värityksen merkitystä on kuvattu mm. aikaisemmassa viestissäni: "Twitter-verkostoanalyysia Gephi:llä". Lyhyesti kuvattuna ihmiset asettuvat verkostossa lähelle niitä ihmisiä, jotka seuraavat toisiaan ja värit on asetettu verkostosta matemaattisesti tunnistettujen ryhmittymien mukaan. Solmun eli henkilöä kuvaavan pallon koko määräytyy sen mukaan miten keskeinen hän on verkoston kannalta. Latasin myöhemmin torstaina myös interaktiivisen version kuvassa 3 nähtävästä verkostosta ja annoin hakemani datan verkostomuodossa (.gexf) jatkokäsiteltäviksi siitä kiinnostuneille.
Torstaina iltapäivällä lopullinen lista julkistettiin YLE Uutisten toimesta. Laskin, että listalle päätyneistä ihmisistä 13% (37/284) osallistui aiheeseen liittyvään keskusteluun. Aiheesta keskustelleet löytyvät oheisesta .csv-tiedostosta, joka on mahdollista avata esimerkiksi Excelissä. Keskustelleet, jotka päätyivät myös listalle löytyvät tästä Google Fusion Tables -taulukosta.
Myös muut olivat aktivoituneet asian tiimoilta ja tehneet analyysia ilmiöstä. Mm. MikroPC:stä tuttu Ossi Jääskeläinen oli rakentanut PHP-ohjelman, jolla hän oli hakenut listalle päätyneiden numeeriset metatiedot (twiittejä, seuraajia, seurattavia, listojen jäsenyyksiä, omia listoja). Ossi tarjosi datan .csv-muodossa vapaasti käytettäväksi ja tästä innoittuneena aktivoiduin myös tämän osalta tekemään hieman visualisointityötä.
Toteutin D3.js kirjaston tarjoamaan Parallers Coordinates esimerkkiin perustuen visualisoinnin, jonka avulla on mahdollista tutkia korreloivatko #SuomiTop100-listalla olevien numeeriset ominaisuudet, jollain tavalla. Onko esimerkiksi niin, että twiittauksien määrä on suoraan verrannollinen käyttäjän seuraajien määrään tai ovatko käyttäjät, jotka itse käyttävät listoja todennäköisimpiä myös itse päätymään niille. (Kuva 4)
 |
| Suurin hajonta lopullisen #SuomiTop100 listan jäsenissä syntyy numeerisesti twiittien määrässä. Avaa visualisointi. (Kuva 4) |
Kuten kuvasta 4 nähdään muutamat käyttäjät sokaistavat visualisoinnin melko tehokkaasti. Esimerkiksi Heikki Kovalaisen yli 150 000 seuraajaa on Suomen tasolla siinä määrin poikkeuksellinen määrä, että muut vain n. 1000 seuraajaa omaavat eivät erottaudu akselilla. Olisi ollut mahdollista toteuttaa hieman monipuolisemmat ominaisuudet omaava toteutus visualisoinnista, mutta päädyin helpompaan ratkaisuun ja poistin datasta manuaalisesti nämä muumat käyttäjät (@Haloefekti, 94 502 twiittiä @H_Kovalainen, 154 445 seuraajaa; @ptarkkonen, 108 793 seurattavaa), jotka omaavat suurimmat ääriarvot. Tällä ei kuitenkaan merkittävää vaikutusta ollut vaan data ilmentyi edelleen visualisoinnissa samankaltaisesti eikä kovinkaan merkittäviä korrelaatioita numeeristen ominaisuuksen välillä löytynyt. Listalle päätyneet suomalaiset Twitter-vaikuttajat ovat numeroiden valossa hyvin samankaltaisia. (Kuva 5)
 |
| Vaikka listalta poistetaan äärimmäisimmät käyttäjät ei data esiinny juurikaan erilaisempana. Avaa visualisointi. (Kuva 5) |
Toteuttamani verkostovisualisoinnit #SuomiTop100-hashtagin maininneista keskustelijoista aiheutti myös muutamia epäselvyyksiä. Visualisoinnin luultiin olevan tehty lopulliselle listalle päätyneiden keskinäisestä verkostosta (1, 2, 3). Tätä väärinkäsitystä jouduin oikomaan muutamaankin otteeseen ja lisätäkseni hämmennystä toteutin nyt jälkikäteen myös verkoston tästä listalle päätyneiden keskinäisestä verkostosta (Kuva 6). Verkosto löytyy myös interaktiivisena versiona ja data on saatavilla .gexf-muodossa.
 |
| Listalle päätyneet ovat keskenään tiiviisti verkostoituneita Twitterissä. (Kuva 6) |
Kuten kuvassa 3 nähtävä #SuomiTop100-aiheesta keskustelijoiden verkosto on kuvassa 6 nähtävä lopulliselle listalle päätyneiden verkosto hyvin tiivis. Ainoastaan, pääosin urheilijoista ja urheiluvaikuttajista koostuva, joukko vasemmalla erottuu selkeästi omaksi saarekkeekseen. Yhteensä kuvassa 6 nähtävässä verkostossa on 100 solmua ja 3296 yhteyttä. Verkoston keskeisin henkilö on Tuija Aalto, joka myös seuraa eniten verkostossa olevia henkilöitä (96). Tuija myös kiinnostaa, koska 99:stä mahdollisesta häntä seuraa 64 verkoston jäsentä. Muut verkoston keskeisimmät henkilöt ovat järjestyksessä Mikael Jungner, Jyrki Kasvi ja Mikko Hyppönen.
Tässä oma näkökulmani #SuomiTop100-ilmiöön, joka vavisutti mielipiteitä näin juhannuksen alla puolesta ja vastaan.
Tässä viestissä jaetut datasetit ovat lisensoitu Nimeä-Tarttuva (CC BY-SA).
maanantai 18. kesäkuuta 2012
Näkökulma: Datajournalismi ennen, nyt ja tulevaisuudessa
Käsittelen tällä kertaa blogille epätyypillisesti datajournalismia konseptuaalisesti ilman konkreettista käyttötapausta. Motivaationa tähän on, etten mielestäni ole nähnyt tarpeeksi useita datajournalismia käsitteenä selittäviä kirjoituksia tai datajournalismin taustoja avaavia tekstejä.
Ja kuten hyvän draamankaareen kuuluu aloitan tämänkin tarinan alusta; kun datajournalismi syntyi.
Kuten etenkin asiasta kiinnostuneet ovat huomanneet on dataan perustuva journalismi, ns. datajournalismi, noussut viime aikoina erittäin kuumaksi puheenaiheeksi. Datajournalismi käsitteenä on uusi, mutta ilmiön taustat ulottuvat paljon kauemmaksi ja itseasiassa dataan perustuvan ja tietokoneavusteisen journalismin juuret ja aikaisimmat käytännön esimerkit löytyvät jo 1950- ja 1960-luvuilta.
Erään lähteen mukaan tietokoneavusteisen journalismin ensimmäisenä merkkipaaluna nähdään vuoden 1952 USA:n presidentin vaalien tuloksen ennustaminen. Tuolloin Walter Cronkite hyödynsi UNIVAC I -nimistä tietokonetta ja käytettävissä olevaa äänestysdataa ennustamaan, että Dwight D. Eisenhower tulisi voittamaan vaalit vastoin ennakko-odotuksia.
Toisaalla merkittävämpänä mainitaan tapaus, jossa Philip Meyer vuonna 1967 näytti dataan perustuen miten Detroitin mielenosoituksiin osallistuneiden koulutustausta oli heterogeeninen eikä osallistuminen korreloinut ihmisten koulutustaustaan. Yleinen oletus oli, että mielenosoituksiin osallistuneet olisivat olleet matalasti koulutettuja, mutta Meyerin data-analyysi osoitti toisin. (Kuva 1)
Kuten nämä esimerkit osoittavat on dataa hyödynnetty journalismissa jo pitkään ja voidaan sanoa, että jo 1980-luvulta lähtien tietokoneavusteinen journalismismi on toiminut toimittajien työvälineenä.
Tämän hetkinen datajournalismi-aalto siis kumpuaa historiasta, mutta pitää sisällään toki uusia elementtejä. Esimerkiksi avoimen tiedon ja ilmaisten sekä avoimien työkalujen lisääntyminen on merkittävästi suoraviivaistanut dataan perustuvan journalismin toteuttamista. Lisäksi merkittävä uusi näkökulma nykyisessä datajournalismissa on tekniikan osaajien tuleminen mukaan prosessiin. Dataan perustuvan journalismin yleistymistä on osaltaan edesauttanut myös Internetin yleistymisen myötä eteen tullut median murros ja ettei journalismia tehdä enää vain toimituksellisena työnä suurissa mediataloissa vaan osaajat ympäri maailmaa ja yli koulutusalojen pystyvät ottamaan osaa tiedon välittämiseen ihmisiltä toisille.
Avoimen tiedon lisääntymistä ovat edesauttaneet mm. useiden valtioiden toimet sen eteen, että julkisin varoin tuotettu tieto tulisi olla avointa ja kansalaisten hyödynnettävissä. Myös Suomessa nykyiseen hallitusohjelmaan on kirjattu, että kaikki julkisin varoin tuotettu tieto tulisi olla avoimesti kansalaisten saatavilla.
Yksittäiset tapaukset kuten tietovuodot ja kiinnostavat datan avaukset ovat tuottaneet hyviä dataan perustuvia visualisointeja ja applikaatioita. Esimerkkitapaukset ovat vieneet datajournalismia kohti konkretiaa, joka on johtanut siihen, että esimerkiksi mediataloissa datajournalismin tekemisestä saatavat hyödyt ovat tulleet näkyviksi.
Mitä muuten on datajournalismi, miten se linkittyy esimerkiksi tiedon visualisointiin, infografiikkaan, pelillisyyteen, journalismiin, sosiaalisen verkostojen analyysiin ja toisaalta datan analysointiin. (Kuva 2)
Datajournalismi, kuten käsitteet usein, voidaan määritellä usealla eri tavalla ja datajournalismi-käsitteen alle on mahdollista mieltää kuuluvan hyvinkin monta aihealuetta. Toisaalta datajournalismi voidaan rajata hyvin tarkastikin tarkoittamaan vain tiettyä rajattua alaa. Mielestäni sanojen määrittely ei useinkaan ole kovin hedelmällistä vaan tärkeämpää on eri osaajien välinen yhteisymmärrys ja keskustelu. Nostaisin esiin kaksi sellaista näkökulmaa, jotka ohjaavat ajattelua oikeaan suuntaan.
1) Infografiikka ei ole datajournalismia
Mielestäni on hyvä erottaa datajournalismi pelkästä infografiikasta, joka esittää esimerkiksi yksittäisiä lukuja tai muuta tietoa grafiikan keinoin. Datajournalismi-käsitteessä oleellista on, että taustalla on tietoaineisto, jota on käsitelty sekä analysoitu ja joka esitetään journalistisesta näkökulmasta esimerkiksi visualisoinnin keinoin.
2) Data on journalismin työkalu
Datajournalismia tuottavat henkilöt omaavat usein teknistä osaamista, jolloin unohtuu helposti, että tavoitteena journalismissa on tuottaa kuluttajia kiinnostavia sisältöjä. Journalismin ei tulisi olla sivutuote, joka mahdollistetaan datan tai visualisointien avulla vaan journalistisen työn tulisi olla ohjaava voima. Datan ja visualisointien tehtävä on sekä a) tehdä kiinnostavista tarinoista vielä rikkaampia että b) mahdollistaa uudenlaisten tarinoiden löytäminen.
Mielestäni datajournalismi on yhteinen nimitys mm. sellaisille käsitteille kuin tietokoneavusteinen journalismi, visuaalinen tarinan kerronta ja dataan perustuva journalismi.
Maailmalla datajournalismia tehdään jo paljon ja mm. BBC, Guardian, La Times ja Ny Times ovat globaaleja edelläkävijöitä. Suomessa datajournalismia tehdään edelleen paljon yksityisin ja jopa vapaaehtoisin voimin muutamia poikkeuksia lukuunottamatta. Kuitenkin, jotta nykyinen liikehdintä muuttuisi pysyväksi ja palkitsevaksi on työstä pidemmän päälle mielekästä saada myös korvaus. Osa suomalaisista mediataloista onkin lähtenyt viemään toimintaansa enemmän datajournalismin suuntaan.
Suomessa Helsingin Sanomat on epäilemättä ollut alan edelläkävijänä. Maaliskuussa 2011 ensimmäistä kertaa järjestetty HSOpen on lyhyessä ajassa paaluttanut itsensä suomalaisen datajournalismin merkkitapahtumaksi. HSOpen on yksipäiväinen tapahtuma, joka kokoaa yhteen datajournalismista kiinnostuneet tekniikan, journalismin ja graafisen alan osaajat. Tapahtuma on tarjonnut alasta kiinnostuille mahdollisuuden keskinäiseen kommunikointiin sekä toisiinsa tutustumiseen ja antanut samalla Helsingin Sanomille hyvin eksplisiittisen näköalan suomalaisiin datajournalismin tekijöihin. Varmasti HSOpen tapahtumista saatujen hyvien kokemusten perusteella Helsingin Sanomat on myös perustanut erityisen vain datajournalismiin keskittyvän toimituksen, jonka itseoikeutetuksi tuottajaksi valittu Esa Mäkinen on ollut alan suomalainen hengillistymä.
Suomen Kuvalehti on toinen aktiivisesti datajournalismin viittaa Suomessa ylläpitänyt taho. Suomen Kuvalehti on toteuttanut datajournalismia Helsingin Sanomia enemmän sisäisesti, mutta tulokset ovat olleet hienoja sekä ja niitä on mahdollista seurata erityisesti datajournalismiin keskittyneeltä teemasivulta.
Myös muissa suomalaisissa mediataloissa datajournalismia on tehty, mutta tapaukset ovat olleet enemmän yksittäisiä tuotoksia.
Disclaimer: Tämän kohdan tarkoitus on antaa kuva siitä piilevästä ja vielä paljolti realisoimattomasta kiinnostuksesta, joka journalismissa on dataan ja sen käyttämiseen.
Oma henkilökohtainen taustani on, että olen tietotekniikan diplomi-insinööri Tampereen teknillisestä yliopistosta. Pääaineenani luin hypermediaa ja olin myös töissä Hypermedialaboratoriossa tutkijana kolmen vuoden ajan ennen ja jälkeen valmistumiseni vuosina 2009-2011. Vuoden vaihteessa 2011/12 siirryin töihin Yleisradioon nimikkeellä Web-suunnittelija.
Jo työskennellessäni Hypermedialaboratoriossa olin kiinnostunut visuaalisesta tarinan kerronnasta sekä datan näkyväksi tekemisestä visualisointien avulla ja seurasin mielenkiinnolla aihealueeseen liittyvää uutisointia ja kehitystä. Tapahtumat kuten Helsingin Sanomien HSOpen, Open Govenment Data Camp Varsovassa ja avoimen datan talkoot Tampereella sekä tietysti omassa tutkimustyössäni eteen tulleet datan visualisointitapaukset tuntuivat todella mielekkäiltä ja motivoivilta.
Näiden tekijöiden myötä siirtyminen Tampereelta Helsinkiin ja Yleisradioon oli luonteva ratkaisu eikä vähiten siksi, että YLE:ssä oli mahdollisuus päästä lähelle niitä ihmisiä, joilla on mahdollisuus kertoa tarinoita ja hyödyntää dataa yleisölle näkyvällä tavalla. Tarve tekniselle osaamiselle journalismin tekemisessä yllätti kuitenkin minut täysin enkä osannut ennakoida, että jo ensimmäisen 6kk:n aikana minuun oltaisi henkilökohtaisesti ehditty ottaa yhteyttä pääosin kaikista Yleisradion ajankohtais- tai tutkivaa journalismia tekevistä ohjelmista kuten MOT, A-Studio, A-Studio: Stream, YLE Uutiset, Spotlight ja Radar joitakin mainitakseni.
Konkreettisesti olen jo ehtinyt olla mukana mm. Spotlight:ssa tekemässä verkostoanalyysiä Perussuomalaisten yhteyksistä äärijärjestöihin, Radar:ssa tekemässä alkoholin myyntiä kuvaavaa interaktiivista karttaa (Kuva 3) ja YLE Uutisissa tekemässä Hyvinkään ampumistapauksesta epäillyn Facebook-kaveriverkostoa kuvaavaa analyysiä. Lisäksi olen mukana puolen kymmenessä meneillään olevassa hankkeessa, joissa fokuksena on datajournalismin toteuttaminen.
Piilevää tarvetta ja halua datajournalismin tekemiseen siis on ja ilmiö ei varmasti ole vain Yleisradioon rajoittuva. Uskoisin, että esimerkiksi paikallisissa printtimedioissa olisi samankaltaista kiinnostusta tekniikan käyttämiseen journalismissa ja kyse on vain priorisoinnista ja oikeiden ihmisten löytymisestä.
Tulevaisuudessa näkisin, että yhä useammat suomalaiset mediatalot tulevat perustamaan enemmän tai vähemmän pelkästään datajournalismiin keskittyviä toimituksia ja palkkaamaan henkilöitä, jotka pystyvät tuottamaan interaktiivisia ja kuluttajia sitouttavia visualisointeja. Tämänkaltaista kehitystä on esimerkiksi nähtävissä Yleisradiossa ja kuten mainittua Helsingin Sanomat on oman datajournalismi-toimituksensa jo perustanut.
Maailmalla datajournalismi on jo arkipäivää ja esimerkiksi USA:ssa pienilläkin paikallislehdillä on omia datajournalismi-osastoja. Myös muissa pohjoismaissa suuntaus on ollut dataan perustuvan journalismin kannalta myönteistä, joten näyttää siltä, että on vain ajankysymys kun Suomessakin liikehdintään todella herätään.
Ja kuten hyvän draamankaareen kuuluu aloitan tämänkin tarinan alusta; kun datajournalismi syntyi.
Datajournalismin lyhyt historia, 1950-l tähän päivään
Kuten etenkin asiasta kiinnostuneet ovat huomanneet on dataan perustuva journalismi, ns. datajournalismi, noussut viime aikoina erittäin kuumaksi puheenaiheeksi. Datajournalismi käsitteenä on uusi, mutta ilmiön taustat ulottuvat paljon kauemmaksi ja itseasiassa dataan perustuvan ja tietokoneavusteisen journalismin juuret ja aikaisimmat käytännön esimerkit löytyvät jo 1950- ja 1960-luvuilta.
Erään lähteen mukaan tietokoneavusteisen journalismin ensimmäisenä merkkipaaluna nähdään vuoden 1952 USA:n presidentin vaalien tuloksen ennustaminen. Tuolloin Walter Cronkite hyödynsi UNIVAC I -nimistä tietokonetta ja käytettävissä olevaa äänestysdataa ennustamaan, että Dwight D. Eisenhower tulisi voittamaan vaalit vastoin ennakko-odotuksia.
Toisaalla merkittävämpänä mainitaan tapaus, jossa Philip Meyer vuonna 1967 näytti dataan perustuen miten Detroitin mielenosoituksiin osallistuneiden koulutustausta oli heterogeeninen eikä osallistuminen korreloinut ihmisten koulutustaustaan. Yleinen oletus oli, että mielenosoituksiin osallistuneet olisivat olleet matalasti koulutettuja, mutta Meyerin data-analyysi osoitti toisin. (Kuva 1)
 |
| Detroitissa oli vuonna 1967 laajoja mellakoita, joiden ymmärtämisessä data-analyysi oli tärkeässä asemassa. (Kuva 1) |
Kiinnostus ja mahdollisuudet datajournalismiin kasvavat
Tämän hetkinen datajournalismi-aalto siis kumpuaa historiasta, mutta pitää sisällään toki uusia elementtejä. Esimerkiksi avoimen tiedon ja ilmaisten sekä avoimien työkalujen lisääntyminen on merkittävästi suoraviivaistanut dataan perustuvan journalismin toteuttamista. Lisäksi merkittävä uusi näkökulma nykyisessä datajournalismissa on tekniikan osaajien tuleminen mukaan prosessiin. Dataan perustuvan journalismin yleistymistä on osaltaan edesauttanut myös Internetin yleistymisen myötä eteen tullut median murros ja ettei journalismia tehdä enää vain toimituksellisena työnä suurissa mediataloissa vaan osaajat ympäri maailmaa ja yli koulutusalojen pystyvät ottamaan osaa tiedon välittämiseen ihmisiltä toisille.
Avoimen tiedon lisääntymistä ovat edesauttaneet mm. useiden valtioiden toimet sen eteen, että julkisin varoin tuotettu tieto tulisi olla avointa ja kansalaisten hyödynnettävissä. Myös Suomessa nykyiseen hallitusohjelmaan on kirjattu, että kaikki julkisin varoin tuotettu tieto tulisi olla avoimesti kansalaisten saatavilla.
“Julkisin varoin tuotettuja tietovarantoja avataan kansalaisten ja yritysten käyttöön. Tavoitteena on julkisen sektorin hallinnoimien digitaalisten tietoaineistojen saattaminen helposti uudelleenkäytettävässä muodossa tietoverkkojen kautta kansalaisten, yritysten ja yhteisöjen, viranomaisten, tutkimuksen ja koulutuksen hyödynnettäväksi.”Hyvät ja helppokäyttöiset työkalut kuten Google Fusion Tables, Google Charts, Highcharts, D3/Protovis ja Raphaël mahdollistavat Internetissä jaettavien interaktiivisten sovellusten toteuttamisen suhteellisen pienellä vaivalla ja tämä on osaltaan motivoinut osaajia tuottamaan datajournalismia. Osa työkaluista kuten Google Fusion Tables yhistettynä Excel-osaamiseen ovat myös siinä määrin helppoja oppia, että niiden käyttäminen onnistuu myös ilman suurempaa teknistä harjaantuneisuutta.
Yksittäiset tapaukset kuten tietovuodot ja kiinnostavat datan avaukset ovat tuottaneet hyviä dataan perustuvia visualisointeja ja applikaatioita. Esimerkkitapaukset ovat vieneet datajournalismia kohti konkretiaa, joka on johtanut siihen, että esimerkiksi mediataloissa datajournalismin tekemisestä saatavat hyödyt ovat tulleet näkyviksi.
Välisoitto: Mitä on datajournalismi
Mitä muuten on datajournalismi, miten se linkittyy esimerkiksi tiedon visualisointiin, infografiikkaan, pelillisyyteen, journalismiin, sosiaalisen verkostojen analyysiin ja toisaalta datan analysointiin. (Kuva 2)
 |
| Datajournalismiin liittyy useita eri vaiheita ja osaamista. (Kuva 2) |
1) Infografiikka ei ole datajournalismia
Mielestäni on hyvä erottaa datajournalismi pelkästä infografiikasta, joka esittää esimerkiksi yksittäisiä lukuja tai muuta tietoa grafiikan keinoin. Datajournalismi-käsitteessä oleellista on, että taustalla on tietoaineisto, jota on käsitelty sekä analysoitu ja joka esitetään journalistisesta näkökulmasta esimerkiksi visualisoinnin keinoin.
2) Data on journalismin työkalu
Datajournalismia tuottavat henkilöt omaavat usein teknistä osaamista, jolloin unohtuu helposti, että tavoitteena journalismissa on tuottaa kuluttajia kiinnostavia sisältöjä. Journalismin ei tulisi olla sivutuote, joka mahdollistetaan datan tai visualisointien avulla vaan journalistisen työn tulisi olla ohjaava voima. Datan ja visualisointien tehtävä on sekä a) tehdä kiinnostavista tarinoista vielä rikkaampia että b) mahdollistaa uudenlaisten tarinoiden löytäminen.
Mielestäni datajournalismi on yhteinen nimitys mm. sellaisille käsitteille kuin tietokoneavusteinen journalismi, visuaalinen tarinan kerronta ja dataan perustuva journalismi.
HSOpen ja Suomen Kuvalehti suomalaisina päänavaajina
Maailmalla datajournalismia tehdään jo paljon ja mm. BBC, Guardian, La Times ja Ny Times ovat globaaleja edelläkävijöitä. Suomessa datajournalismia tehdään edelleen paljon yksityisin ja jopa vapaaehtoisin voimin muutamia poikkeuksia lukuunottamatta. Kuitenkin, jotta nykyinen liikehdintä muuttuisi pysyväksi ja palkitsevaksi on työstä pidemmän päälle mielekästä saada myös korvaus. Osa suomalaisista mediataloista onkin lähtenyt viemään toimintaansa enemmän datajournalismin suuntaan.
Suomessa Helsingin Sanomat on epäilemättä ollut alan edelläkävijänä. Maaliskuussa 2011 ensimmäistä kertaa järjestetty HSOpen on lyhyessä ajassa paaluttanut itsensä suomalaisen datajournalismin merkkitapahtumaksi. HSOpen on yksipäiväinen tapahtuma, joka kokoaa yhteen datajournalismista kiinnostuneet tekniikan, journalismin ja graafisen alan osaajat. Tapahtuma on tarjonnut alasta kiinnostuille mahdollisuuden keskinäiseen kommunikointiin sekä toisiinsa tutustumiseen ja antanut samalla Helsingin Sanomille hyvin eksplisiittisen näköalan suomalaisiin datajournalismin tekijöihin. Varmasti HSOpen tapahtumista saatujen hyvien kokemusten perusteella Helsingin Sanomat on myös perustanut erityisen vain datajournalismiin keskittyvän toimituksen, jonka itseoikeutetuksi tuottajaksi valittu Esa Mäkinen on ollut alan suomalainen hengillistymä.
Suomen Kuvalehti on toinen aktiivisesti datajournalismin viittaa Suomessa ylläpitänyt taho. Suomen Kuvalehti on toteuttanut datajournalismia Helsingin Sanomia enemmän sisäisesti, mutta tulokset ovat olleet hienoja sekä ja niitä on mahdollista seurata erityisesti datajournalismiin keskittyneeltä teemasivulta.
Myös muissa suomalaisissa mediataloissa datajournalismia on tehty, mutta tapaukset ovat olleet enemmän yksittäisiä tuotoksia.
Oma siirtymiseni Yleisradioon ja tarve tekniikan osaajista
Disclaimer: Tämän kohdan tarkoitus on antaa kuva siitä piilevästä ja vielä paljolti realisoimattomasta kiinnostuksesta, joka journalismissa on dataan ja sen käyttämiseen.
Oma henkilökohtainen taustani on, että olen tietotekniikan diplomi-insinööri Tampereen teknillisestä yliopistosta. Pääaineenani luin hypermediaa ja olin myös töissä Hypermedialaboratoriossa tutkijana kolmen vuoden ajan ennen ja jälkeen valmistumiseni vuosina 2009-2011. Vuoden vaihteessa 2011/12 siirryin töihin Yleisradioon nimikkeellä Web-suunnittelija.
Jo työskennellessäni Hypermedialaboratoriossa olin kiinnostunut visuaalisesta tarinan kerronnasta sekä datan näkyväksi tekemisestä visualisointien avulla ja seurasin mielenkiinnolla aihealueeseen liittyvää uutisointia ja kehitystä. Tapahtumat kuten Helsingin Sanomien HSOpen, Open Govenment Data Camp Varsovassa ja avoimen datan talkoot Tampereella sekä tietysti omassa tutkimustyössäni eteen tulleet datan visualisointitapaukset tuntuivat todella mielekkäiltä ja motivoivilta.
Näiden tekijöiden myötä siirtyminen Tampereelta Helsinkiin ja Yleisradioon oli luonteva ratkaisu eikä vähiten siksi, että YLE:ssä oli mahdollisuus päästä lähelle niitä ihmisiä, joilla on mahdollisuus kertoa tarinoita ja hyödyntää dataa yleisölle näkyvällä tavalla. Tarve tekniselle osaamiselle journalismin tekemisessä yllätti kuitenkin minut täysin enkä osannut ennakoida, että jo ensimmäisen 6kk:n aikana minuun oltaisi henkilökohtaisesti ehditty ottaa yhteyttä pääosin kaikista Yleisradion ajankohtais- tai tutkivaa journalismia tekevistä ohjelmista kuten MOT, A-Studio, A-Studio: Stream, YLE Uutiset, Spotlight ja Radar joitakin mainitakseni.
Konkreettisesti olen jo ehtinyt olla mukana mm. Spotlight:ssa tekemässä verkostoanalyysiä Perussuomalaisten yhteyksistä äärijärjestöihin, Radar:ssa tekemässä alkoholin myyntiä kuvaavaa interaktiivista karttaa (Kuva 3) ja YLE Uutisissa tekemässä Hyvinkään ampumistapauksesta epäillyn Facebook-kaveriverkostoa kuvaavaa analyysiä. Lisäksi olen mukana puolen kymmenessä meneillään olevassa hankkeessa, joissa fokuksena on datajournalismin toteuttaminen.
 |
| Datajournalismi ilmentyy usein visualisointina, josta tämä Radar:lle tehty alkoholinmyyntiä kuvaava kartta on esimerkki. (Kuva 3) |
Tulevaisuuden näkymät
Tulevaisuudessa näkisin, että yhä useammat suomalaiset mediatalot tulevat perustamaan enemmän tai vähemmän pelkästään datajournalismiin keskittyviä toimituksia ja palkkaamaan henkilöitä, jotka pystyvät tuottamaan interaktiivisia ja kuluttajia sitouttavia visualisointeja. Tämänkaltaista kehitystä on esimerkiksi nähtävissä Yleisradiossa ja kuten mainittua Helsingin Sanomat on oman datajournalismi-toimituksensa jo perustanut.
Maailmalla datajournalismi on jo arkipäivää ja esimerkiksi USA:ssa pienilläkin paikallislehdillä on omia datajournalismi-osastoja. Myös muissa pohjoismaissa suuntaus on ollut dataan perustuvan journalismin kannalta myönteistä, joten näyttää siltä, että on vain ajankysymys kun Suomessakin liikehdintään todella herätään.
Tilaa:
Blogitekstit (Atom)