Näytetään tekstit, joissa on tunniste Google Fusion Tables. Näytä kaikki tekstit
Näytetään tekstit, joissa on tunniste Google Fusion Tables. Näytä kaikki tekstit

sunnuntai 19. huhtikuuta 2015

KML to GeoJSON to TopoJSON on Mac OS X

These introductions help you to convert a KML file to TopoJSON which allows you to reduce filesize.

Converting KML to TopoJSON


# Get KML (File -> Download -> KML)
https://www.google.com/fusiontables/DataSource?docid=153JjwSASwB6C4r1o0itwZr7imkDfuedEGIjk4LHr#map:id=3

# Install node via ports or brew (if not yet available)
port install npm
brew install node.js

# Install togeojson (might need admin privilidges)
npm install -g togeojson

# Rename file to data.kml
cd Downloads
mv Kuntarajat\ 2015.kml data.kml

# Convert KML to GeoJson with togeojson
togeojson data.kml > data.json

# Install topojson (might need admin privilidges)
npm install -g topojson

# Convert GeoJson to TopoJson
topojson data.json -o data.tjson -p Name

# Simplify if needed
topojson data.json -o data.tjson --simplify-proportion=0.5 -p Name

# Use tools to determinate appropriate simplify value
http://www.mapshaper.org/
http://shancarter.github.io/distillery/



Implementation guidelines


# Get TopoJSON library
https://github.com/mbostock/topojson

# In your implementation define a map
var map = new google.maps.Map($('.map_container')[0], {
    center:new google.maps.LatLng(60.25, 24.87),
    mapTypeControl:false,
    mapTypeId:google.maps.MapTypeId.ROADMAP,
    minZoom:9,
    overviewMapControl:true,
    panControl:true,
    scaleControl:false,
    streetViewControl:false,
    zoom:yleApp.zoom,
    styles:styler,
    zoomControl:true
});

# Attach polygons to the map
$.getJSON('data.tjson', function (data) {
    yleApp.map.data.addGeoJson(topojson.feature(data, data.objects.data));
});

# Define polygon styles
yleApp.map.data.setStyle(function (feature) {
  return {
    cursor:'pointer',
    fillColor:'#f00',
    fillOpacity:0.6,
    strokeColor:'#666',
    strokeWeight:0.5
  }
});

# Attach listeners
map.data.addListener('mouseover', function (event) {
  yleApp.map.data.overrideStyle(event.feature, {
    fillOpacity:0.8,
    strokeWeight:1
  });
});

map.data.addListener('mouseout', function (event) {
  map.data.revertStyle();
});

keskiviikko 2. lokakuuta 2013

Kuntadata + Google Fusion Tables = kuntakartta

Tämän blogikirjoituksen tehtävä on näyttää askel askeleelta miten yksinkertaisen karttavisualisoinnin toteuttaminen onnistuu Google Fusion Tables -työkalulla.

Ohjeet on alunperin kirjoitettu Metropolia:n opintojakson "Toimittaja verkkomediassa" tarpeisiin, mutta ne on kirjoitettu niin, että kuka vain voi niitä seurata.

1. Hanki kuntadataa


Kuntiin liittyvää dataa on saatavilla hyvin monista eri lähteistä. Esimerkiksi THL:n Sotkanet tarjoaa hyvin monipuolisesti erilaista terveyteen liittyvää tietoa. Toinen laaja tietolähde on tietysti Tilastokeskus.

Esimerkiksi voit ladata kuntadataa Tilastokeskuksen Kuntien avainluvut -aineistosta.
  1. Valitse vasemmalta kaikki kunnat niin, että valituksi tulee 320/321 riviä.
  2. Valitse oikealta haluamasi tunnusluku, voit ottaa esimerkiksi "Väkiluvun muutos, % 2011 - 2012".
  3. Valitse pudotusvalikosta valinta "Pilkkueroteltu otsikolla (.csv)".
  4. Paina "Jatka" ja lataa valitsemasi data tietokoneellesi johonkin mistä löydät sen hetken päästä. 
Lisää Valitse kaikki kunnat, haluamasi tunnusluku sekä haluttu dataformaatti.

Nippelitietoina on hyvä tietää, että vuosina 2011–2012 Suomessa oli 336 kuntaa kun taas vuonna 2013 Suomessa on 320 kuntaa. Aineistossa olevien kuntien määrä kertoo usein siitä miltä ajalta aineisto on. Joskus on myös hyvä tietää, että vuosina 2011–2012 Suomessa oli 320 kuntaa mannersuomessa, koska tämä voi joskus olla hämäävää.

2. Lataa aineistosi Google Drive -palveluun


Seuraavaksi haluat siirtää hankkimasi aineiston Google Drive -pilvipalveluun, koska Fusion Tables on sieltä löytyvä työkalu.

Tätä ennen data täytyy kuitenkin puhdistaa. Käytämme myös tähän puhdistamiseen Google Drive -palvelua.
  1. Mene osoitteeseen http://drive.google.com ja kirjaudu sisään omilla Google-tunnuksillasi.
  2. Näet näkymän jossa ovat kaikki Google Drive -tiedostosi. Jos et ole käyttänyt palvelua aikaisemmin saatat saada tervetulotoivotuksia ja muita viestejä.
  3. Valitse vasemmalta löytyvä punainen upload-painike (nuoli ylöspäin).
  4. Etsi koneellesi aiemmin lataama .csv-tiedosto ja lataa se Google Drive -palveluun.
  5. Avaa tiedosto Google Drive:ssä.
Jos kaikki on tähän asti onnistunut pitäisi lopputuloksen näyttää tältä. Toki jos olet valinnut hyvin eri tyyppisen datan näyttäytyy se tietysti eri tavalla.

Mikäli jotain tuntuu menevän väärin eikä lataamastasi dokumentista synny yllä olevan kaltaista taulukkolaskentadokumenttia kokeile ladata .csv-tiedosto uudelleen ja tarkista latausikkunan asetukset. Haluat, että sinulla on "Conversion; on" -asetus päällä.

Asetettuasi "Conversion" -asetuksen tilaan "on" täytyy sinun ladata tiedosto Google Drive:en vielä kertaalleen, koska vasta tällöin asetus tulee voimaan uusille tiedostoille. Voit huoletta poistaa kaikki turhat tiedostot ja epäonnistuneet siirrot Drive:stä.

3. Puhdista data


Data täytyy puhdistaa ennen kuin sitä voidaan käyttää. Tässä tapauksessa puhdistaminen tarkoittaa, että haluamme muuntaa datan sellaiseen muotoon, että meillä on kaksi saraketta, joista ensimmäisessä sarakkeessa (A) meillä on kunnan nimi ja toisessa sarakkeessa (B) meillä on kuntaan liittyvä lukuarvo, joka siis kuvaa jotain kunnan ominaisuutta. Tässä tapauksessa se siis on kunnan muuttovoitto- tai muuttotappioprosentti.

Haluamme myös, että rivillä yksi (1) meillä on otsikkorivi. Eli rivi joka kuvaa sarakkeiden sisällön. Otsikkoriviä seuraa esimerkiksi suomalaisen kuntadatan tapauksessa 320 riviä, jotka kuvaavat kuntien tiedot. On hyvä tarkistaa rivien määrä sekä ettei mukana ole mitään muuta tarpeetonta.

Nämä toimenpiteet on mahdollista tehdä kuten missä tahansa taulukkolaskentaohjelmassa.

Ensimmäinen rivi on nimeltään otsikkorivi. Se kertoo mitä tietoa sarakkeet pitävät sisällään. Samankaltaista tietoa sisällään pitävät tiedot erotellaan omiksi sarakkeikseen.

4. Tallenna data Fusion Tables -dokumenttina


Käsittelemämme dokumentti on tähän asti ollut Google Spreadsheets -dokumentti. Nyt koska haluamme visualisoida datan Fusion Tables -työkalun avulla kartalle täytyy meidän tallentaa tämä Spreadsheet-dokumentti Fusion Tables -dokumentiksi.
  1. Mene Google Drive -palvelun etusivulle.
  2. Valitse vasemmalta painike "Create".
  3. Valitse "Fusion Table". (Mikäli et löydä "Create"-valikon alta Fusion Tables -valintaa täytyy sinun asentaa kyseinen työkalu "Connect more apps" -valikon kautta).
  4. Valitse avautuvasta ikkunasta vasemmalta Google Spreadsheet, hae oikea dokumentti ja valitse se.
  5. Esikatseltuasi dokumenttia ja annettuasi sille haluamasi tiedot pääset näkemään lataamasi tiedot.
Fusion Tables -dokumentti muistuttaa jossain määrin taulukkolaskentadokumenttia ulkonäöllisesti (sarakkeita ja rivejä), mutta ei kuitenkaan ole sellainen.

Tärkein ero taulukkolaskentadokumentin ja Fusion Tables -dokumentin välillä on, että Fusion Tables on nimenomaisesti tiedon visualisointityökalu. Sen avulla on siis mahdollista suhteellisen helposti visualisoida olemassa olevaa tietoa. Tietojen muokkaaminen sen avulla on kuitenkin melko tuskallista. Fusion Tables:ssa esimerkiksi sarakkeiden summaaminen ja muut funktionaaliset toiminnallisuudet loistavat poissaolollaan. Kannattaa siis ensin muokata data valmiiksi taulukkolaskentaohjelmistossa ja vasta sitten tuoda se Fusion Tables:iin.

5. Hanki aluerajat


Jotta voit tehdä datastasi Suomen kuntarajoihin perustuvan visualisoinnin täytyy sinulla olla datan lisäksi toki myös Suomen kuntarajat. Lataa dataasi sopivat rajat tämän blogin KML-aineistot sivulta. Esimerkkitapauksessamme oikea aineisto on "Suomen kuntarajat 2013".

Voit joko käyttää "Make a copy" -toimintoa tai sitten ladata datan ensin koneellesi ja sitten uutena Fusion Tables -dokumenttina omaan Google Drive:esi. Oleellista on, että saat rajat sisältävän Fusion Tables -dokumentin näkymään omassa Google Drive:ssäsi.

Haluat ladata aluerajat omaan Google Drive:esi.

6. Yhdistä datasi aluerajadataan


Seuraavaksi haluat yhdistää kaksi dokumenttia toisiinsa yhteisen nimittäjän avulla. Yhteinen nimittäjä on tässä tapauksessa kunnan nimi, joka siis on yhteinen molempien dokumenttien kesken.
  1. Avaa kuntadata sisältävä Fusion Tables -dokumenttisi.
  2. Valitse File-valikon alta löytyvä Merge-painike.
  3. Etsi dokumenteistasi aluerajat sisältävä dokumentti ja valitse "Next".
  4. Valitse sarake, jonka perusteella dokumenttien yhdistäminen tehdään.
Valitse sarakkeet joissa on toisiaan vastaavat tiedot.

7. Karttadatan visualisointi


Nyt meillä siis on Fusion Tables -dokumentti, joka pitää sisällään niin datan kuin aluerajat. Seuraavaksi haluamme määrittää miltä kartta näyttää. Eli haluamme muun muassa määrittää alueiden värityksen.
  1. Valitse "Map of geometry" -välilehti.
  2. Näet punaisen Suomen kartan.
  3. Valitse "Tools" -> "Change map styles...".
  4. Valitse vasemmalta Polygons.
  5. Valitse Buckets.
  6. Määrittele haluamasi värien määrä. Kohdasta "Divide into x buckets". Esimerkiksi 4–6 on usein hyvä arvo.
  7. Valitse kohtaan "Column" sarakkeen nimi, jossa on visualisointiin haluamasi data.
  8. Tallenna muutokset ja näet tekemäsi muutokset kartalla.
  9. Voit muuntaa alueita klikkaamalla näkyvän infoikkunan sisältöä valitsemalla "Tools" -> "Change info windon layout...". Voit valita mitkä sarakkeet näytetään ja myös muokata vapaasti osatessasi infoikkunan html-koodia.
Yhdistämisen jälkeen sinulla on uusi Fusion Tables -dokumentti missä on niin hankkimasi data kuin aluerajat. Aluerajat näkyvät kuvassa kohdassa "geometry".

Voit vaihtaa raja-arvoja ja värejä haluamallasi tavalla. Näissä valinnoissa tulisi toki julkaistavassa jutussa olla jokin peruste.

Mahdolliset tyhjät alueet tarkoittavat sitä, että yhdistäminen alkuperäisen datan ja aluerajadatan välillä ei ole onnistunut kaikilta osin. Tässä tapauksessa syynä on, että kuntien nimen eivät olleet aineistoissa yhteneväiset.

8. Julkaisu


Valmiin karttatoteutuksen julkaiseminen onnistuu useimmissa sisällön hallintajärjestelmissä niin sanotun iframe-upotuksen avulla. Saat upotukseen tarvittavan html-koodin valitsemalla "Tools" -> "Publish...".

Ennen julkaisua Fusion Tables -dokumentti tulee asettaa näkyväksi Internetissä. Valinta "Everyone with a link" on usein hyvä vaihtoehto.

Tämä iframe-koodi upotetaan hieman riippuen sisällöntuotantojärjestelmästä osaksi jutun leipätekstiä, jolloin sen pitäisi toimia kuten tässä.



Loppusanat


Nämä ohjeet eivät pyri kuvaamaan prosessia täydellisesti vaan on tarkoituksenmukaista, että niitä läpikolutessa joutuu myös ajattelemaan välillä mitä on tekemässä.

Kaikki palaute on tervetullutta :)

perjantai 28. kesäkuuta 2013

Kesäloma edessä, mitä takana?

Aloitin yhdessä Juha Rissasen, Juho Salmisen, Mika Pippurin ja Stina Tuomisen kanssa työt Yle:n PlusDesk-toimituksessa tammikuun 21. päivä kuluvaa vuotta. Tehtävämme PlusDeskissä on tehdä yhdessä muiden toimitusten kanssa verkonomaisia sisältöjä.

Näin heinäkuun kynnyksellä voidaan sanoa, että ensimmäinen rypistys on takana ja omalta osaltani edessä siintää kesäloma. Kolme viikkoa (toivottavasti) jotain aivan muuta.

Mitä sitten on takana? Kulunutta viittä kuukautta ja viikkoa voidaan katsoa monesta näkökulmasta, mutta eräs mittari jota seuraamme on miten paljon juttuja joiden tekemisessä olemme mukana on luettu. Seuraamme lukijamääriä mm. viikkotasolla missä tavoitteenamme on olla Yle Uutisten top3-luetuimman jutun joukossa. Tähän asti olemme onnistuneet tässä yksitoista kertaa.

Tässä nämä onnistumiset koottuna lukijamääräjärjestyksessä. Mukana on eri tyyppisiä juttuja ja juttutyyppejä sisältäen niin laskureita, karttoja, graafeja kuin myös upeita kuvituskuvia. Keräsin jutuista keskeisimmät metatiedot kuten julkaisuajan, kotiosasto, tekijät, lukijamäärät, käytetyt tekniikat sekä datalähteet. Olen merkinnyt kursiivilla PlusDeskin ulkopuoliset tekijät.

1. Laske uusi painoindeksisi täältä

2. Kuinka rikas olet verrattuna muihin eurooppalaisiin? Kokeile laskurilla

  • Linkki: http://yle.fi/uutiset/6672048
  • Kotiosasto: Talous
  • Julkaistu: Torstaina 6. kesäkuuta 2013 klo 6:25
  • Tekijät: Teemo Tebest, Johan Jaakkola, Juha Rissanen, Juho Salminen
  • Lukijamäärä: 166 548
  • Tekniikka: jQuery UI Slider
  • Data: Tilastokeskus, Eurostat

3. Mistä sinä säästäisit jos olisit ministeri? Kokeile laskurilla

  • Linkki: http://yle.fi/uutiset/6544401
  • Kotiosasto: Kotimaa
  • Julkaistu: Torstaina 21. maaliskuuta 2013 klo 6:28
  • Tekijät: Teemo Tebest, Juha Rissanen, Juho Salminen
  • Lukijamäärä: 107 619
  • Tekniikka: Ei erityistä teknologiaa.
  • Data: Valtiovarainministeriö

4. Täällä punkit aiheuttavat tauteja – katso alueesi tilanne

  • Linkki: http://yle.fi/uutiset/6598455
  • Kotiosasto: Kotimaa
  • Julkaistu: Keskiviikkona 15. toukokuuta 2013 klo 6:18
  • Tekijät: Teemo Tebest, Anne Pirskanen, Juha Rissanen, Juho Salminen
  • Lukijamäärä: 106 528
  • Tekniikka: Raphaël
  • Data: Terveyden ja hyvinvoinnin laitos

5. Pyöräilijä: Testaa osaatko liikennesäännöt

  • Linkki: http://yle.fi/uutiset/6688871
  • Kotiosasto: Liikenne
  • Julkaistu: Maanantaina 17. kesäkuuta 2013 klo 6:29
  • Tekijät: Teemo Tebest, Elina Jämsen, Juho Salminen, Juha Rissanen
  • Lukijamäärä: 87 519
  • Tekniikka: Google Form + kuvitus
  • Data: Liikenneturva

6. Katso paljonko ikäisilläsi sinkuilla on asuntolainaa

7. Kannattaako koulutus? Näin työntekijä pärjää maisterille

  • Linkki: http://yle.fi/uutiset/6696442
  • Kotiosasto: Kotimaa
  • Julkaistu: Maanantaina 24. kesäkuuta 2013 klo 6:13
  • Tekijät: Teemo Tebest, Hanna Hantula, Mika-Matti Taskinen, Stina Tuominen, Juho Salminen 
  • Lukijamäärä: 70 375
  • Tekniikka: Highcharts Line chart + kuvitus
  • Data: Tilastokeskus, ammattiliitot

8. Nouseeko kotiseudullesi jättimäisiä tuulimyllyjä? Katso kartalta

  • Linkki: http://yle.fi/uutiset/6590722
  • Kotiosasto: Ajankohtainen kakkonen
  • Julkaistu: Tiistaina 23. huhtikuuta 2013 klo 7:09
  • Tekijät: Teemo Tebest, Jari Hakkarainen, Pasi Toivonen, Mika Pippuri, Stina Tuominen
  • Lukijamäärä: 54 314
  • Tekniikka: Google Fusion Tables
  • Data: Suomen Tuulivoimayhdistys ry

9. "Jäin eläkkeelle parikymppisenä"

10. Katso, kuka on kuuma Twitterissä – #SuomiTop100 on täällä taas

  • Linkki: http://yle.fi/uutiset/6698234
  • Kotiosasto: Internet
  • Julkaistu: Tiistaina 25. kesäkuuta 2013 klo 6:27
  • Tekijät: Teemo Tebest, Antti Hirvonen, Juha Rissanen, Stina Tuominen
  • Lukijamäärä: 47 884
  • Tekniikka: Tablesorter, kuvitus
  • Data: Twitter, Toni Nummela, Hampus Brynolf

11. Tuoko ryntäys kaivoksen naapuriisi? Katso kartalta

  • Linkki: http://yle.fi/uutiset/6476988
  • Kotiosasto: Yritysvastuu
  • Tekijät: Teemo Tebest, Jaana Kanninen, Juha Rissanen, Juho Salminen
  • Julkaistu: Maanantaina 4. helmikuuta 2013 klo 10:17
  • Lukijamäärä: 33 506
  • Tekniikka: Google Fusion Tables
  • Data: Tukes
Nämä ovat siis juttuja joita PlusDesk on ollut tekemässä ja jotka ovat nousseet Yle Uutisten top3-luetuimmaksi jutuksi julkaisuviikollaan. Lukijamäärät ovat peräisin ComScore:sta ja ne on tarkastettu aamupäivällä 28.6.2013.

Ruutia jätkät, ruutia!

lauantai 13. huhtikuuta 2013

Kuntarajat 2011–2012 leikattuna rantaviivalla KML-formaatissa

Kuukausi pari takaperin kirjoittelin Suomen 2013 kuntarajoista. Tuolloin jaoin Google Fusion Tables dokumentin, joka piti sisällään Suomen kuntarajat vuodelle 2013 KML-formaatissa leikattuna rantaviivalla. Samassa yhteydessä jaoin tiedoston, joka piti sisällään kuntarajat vuosille 2011–2012 samaisessa KML-formaatissa, mutta tässä versiossa kuntarajoja ei oltu leikattu Suomen rantaviivaan. (Kuva 1)

Kun kuntarajat levittyvät merelle näyttää Suomi tavallista muhkeammalta. (Kuva 1)
Sain kollegoiltani Svenska Yle:stä (kiitos Peter Sjöholm ja Alexander Uggla) sittemmin käsiini kuitenkin vuoden 2011–2012 kuntarajat vastaavalla tavalla leikattuna rantaviivaan. (Kuva 2)

Rantaviivaleikatut kuntarajat antavat Suomesta luonnollisemman kuvan. (Kuva 2)
Kuntarajat vuosille 2011–2012 leikattuna rantaviivaan ovat ladattavissa tästä:
Toivottavasti näistä on hyötyä. Ainakin me PlusDesk:ssä käsittelemme vielä usein vuosiin 2011 tai 2012 liittyvää tilastotietoa, koska kuluvan vuoden tilastoja ei vielä useinkaan ole saatavilla.

keskiviikko 27. helmikuuta 2013

Euroopan maiden rajat KML-formaatissa

Kun on kertaalleen päässyt vauhtiin ei kannata lopettaa. Eli tässä aikaisempien Suomen kuntarajat 2013 ja Suomen maakuntarajat datojen rinnalle Euroopan maiden rajat KML-formaatissa:
Rajat eivät noudattele kovinkaan tarkasti rantaviivoja, mutta kaikki maat ovat silti helposti tunnistettavissa ja käytettävissä esimerkiksi datajournalistisissa projekteissa. (Kuva 1)

Euroopan maiden rajat KML-formaatissa. (Kuva 1)
Mukana on 45 maan rajat, joka täsmää Wikipedian "Euroopan valtion" -luokassa olevien sivujen lukumäärään kun huomioidaan, että Venäjän rajat puuttuvat tästä datasta.

tiistai 26. helmikuuta 2013

Maakuntarajat KML-formaatissa

Kirjoitin noin viikko sitten kirjoituksen "Suomen kuntarajat 2013 KML-formaatissa". Tässä olisi nyt jatkoa maakuntarajojen näkökulmasta:
Maakuntarajat eivät ole rantaviivaleikattua, joten Suomi piirtyy kartalle hieman tavallista pyöreämpänä (Kuva 1). Tällä ei kuitenkaan datan käsittelyn kannalta ole sinällään merkitystä vaikka toki visuaalisesti kyllä.

Suomen maakuntarajat visualisoituna Google Fusion Tables:ssa. (Kuva 1)
Data pitää sisällään rajojen lisäksi:
  • Maakuntanumeron
  • Maakunnan suomenkielisen nimen
  • Maakunnan ruotsinkielisen nimen
Toivottavasti tästä on jollekin apua.

Disclaimer: en ole varmistanut ovatko maakuntarajat muuttuneet vuoden 2013 kuntaliitosten myötä.

maanantai 18. helmikuuta 2013

Suomen kuntarajat 2013 KML-formaatissa

Olemme pyörittäneet PlusDesk:ä (eli Yle Uutisten uutta nettisisältöjä tuottavaa toimistusta) nyt muutaman viikon ajan ja olemme tehneet muun muassa useita erilaisia karttoihin perustuvia juttuja ja visualisointeja:
Suomalaisessa kontekstissa karttoihin liittyvä pulma ovat miltein vuosittain muuttuvat kuntarajat. Meille ei ole vielä tullut eteen juttua, jossa meillä olisi ollut vuoden 2013 dataa ja siten tarvetta kyseiselle karttapohjalle, mutta otimme kuitenkin tehtäväksemme muuntaa Maanmittauslaitoksen tarjoama avoin kuntarajadata Google:n tuotteissa käytettyyn .kml-formaattiin. (Kuva 1) 
    Suomen kuntarajat 2013 data pitää rajojen lisäksi sisällään kunnan nimen suomeksi ja ruotsiksi. (Kuva 1)
    Tämä data on nyt tässä kaikkien teidän hyödynnettävissä tästä:
    Muunnoksesta kunnia kuuluu etenkin PlusDesk:n graafikko Juha Rissaselle, joka teki muunnoksen  Quantum GIS -ohjelmistolla näiden ohjeiden avulla. Kuntarajat ovat rantaviivaleikatut ja rantaviivassa esiintyy tiettyä epätarkkuutta johtuen valitusta mittakaavasta. Tässä myös vuosien 2011 ja 2012 kuntarajat samaisessa .kml-formaatissa.
    Vuoden 2011–2012 kuntarajadata ei ole rantaviivaleikattu.

    Toivottavasti näistä on apua.

    ps. SVG-formaatissa Suomen kuntarajat ovat saatavilla ainakin Wikipedia:sta kuitenkin niin, ettei rajoilla ole kuntatietoja. 

    keskiviikko 16. tammikuuta 2013

    Datajournalismi-koulutus Haaga-Heliassa 14.1.2013

    Kävin maanantaina Haaga-Helia:ssa puhumassa journalismin ja tekniikan opiskelijoille datajournalismista. Luennolla kävin läpi esimerkkejä ja pyrin kertomaan mitä datajournalistinen työ esimerkiksi Yle:ssä käytännössä on ja toisaalta miten se jatkossa tulee kehittymään. (Kuva 1)

    Materiaali on toteutettu Impress.js-kirjastolla ja avautuvat selaimessa kuvaa klikkaamalla. (Kuva 1)
    Käsittelemäni esimerkit olivat:
    Lisäksi kävimme läpi vaihevaiheelta miten Wikipedia:sta löytyvä data on mahdollista visualisoida kartalle Google Fusion Tables -työkalulla hyvinkin yksinkertaisesti.

    Kurssin nimi on #dataaeidadaa ja kurssin tarkoituksena on tuoda journalismin ja tekniikan opiskelijoita yhteen ja tuottaa konkreettisesti datajournalismia. Kurssia järjestää Heidi Kähkönen.

    maanantai 5. marraskuuta 2012

    Näin tehtiin: "Tässä ovat Suomen parhaat terveyskeskukset"

    Viime viikolla Yle:llä pitämästäni datajournalismi koulutuksesta innostuneena Sara Rigatelli Yle Uutisista otti minuun yhteyttä. Hän oli tekemässä juttua suomalaisen terveydenhuollon toimivuudesta ja ajatteli, että olisi mahdollisesti kiinnostavaa kuvata ilmiötä datajournalismin keinoin.

    Ajatuksena Saralla oli, josko karttavisualisoinnin avulla voisi kuvata eri sairaanhoitopiirien välisiä eroja keskimääräisen jonotusajan ja toisaalta yleisesti lääkärille pääsemisen osalta. Alunperin ajattelimme, että olisi etenkin toimituksellisesti hyödyllistä nähdä data kartalla, koska tämä helpottaisi mm. alueellisten trendien hahmottamista. Keskustelimme toki, että karttaa olisi mahdollista käyttää myös uutisen yhteydessä mikäli lopputulos olisi selkeä ja lukijalle hyödyllinen.

    Tarvitsemamme datan keräsimme THL:n ylläpitämästä Sampo-palvelusta. Palvelusta on mahdollista selata erilaisia terveydenhuoltoon liittyviä tilastoja eri muuttujiin perustuen. Otin tarvittavan datan Sampo-palvelusta talteen Excel-taulukkoon jatkokäsiteltäväksi yksinkertaisesti maalaamalla ja copy-pasteamalla. Itseasiassa käytin LibreOffice:n Spreadsheet -työkalua, jonka olen kokenut olevan hieman kätevämpi tämänkaltaisessa datankäsittelyssä (Kuva 1). Esimerkiksi .csv-tiedostojen avaaminen ja käsittely on ollut mielekkäämpää LibreOffice:ssa kuin Excel:ssä.

    Taulukko on hyvä formaatti datan käsittelyyn, koska sen käyttäminen onnistuu niin toimittajalta kuin koneeltakin. (Kuva 1)
    Seuraavaksi latasin tallentamani .csv-tiedoston Google Fusion Tables -työkaluun. Ajatuksenani oli, että saisin nopeasti tehtyä demon siitä minkälaiseksi kartta muodostuisi eri muuttujilla. Ongelma oli kuitenkin, ettei minulla ollut käytössäni sairaanhoitopiirien rajoja sisältävää karttapohjaa. Pystyin kuitenkin tekemään demon hyödyntämällä käytössäni ollutta kuntakarttapohjaa yhdistämällä siihen tiedot siitä mihin sairaanhoitopiiriin kukin kunta kuuluu. Sairaanhoitopiirien jäsenkunnat löysin ladattavassa muodossa Kunnat.net -palvelusta.

    Yhdistettyäni ensinnäkin käytössäni olleen kuntakarttapohjan sairaanhoitopiiritiedon ja toiseksi keräämämme terveydenhuoltodatan kanssa sainkin demon toteutettua (Kuva 2). Ongelma tässä toteutuksessa – lopulliseen versioon verrattuna – oli kuitenkin, että kartta pohjautui kuntarajoihin eikä sairaanhoitopiirien rajoihin. Tämä aiheutti ongelman, ettei kahta sairaanhoitopiiriä voinut erottaa visuaalisesti toisistaan mikäli ne asettuivat samaan arvoalueeseen ja saivat siten saman värityksen. Esimerkiksi kuvassa 2 nähtävästä esimerkkitoteutuksesta on mahdotonta erottaa Pohjois-Pohjanmaan ja Lapin sairaanhoitopiirien rajaa.

    Sairaanhoitopiirit eivät erotu kartassa jos kahden vierekkäisen sairaanhoitopiirin väri on sama. (Kuva 2)
    Koimme kuitenkin esimerkkitoteutuksesta, että kartasta muodostui mielenkiintoinen ja tietoja oli hauskaa selata sen kautta. Lähdinkin seuraavaksi toteuttamaan karttaa aikaisemminkin käyttämälläni Raphaël-karttapohjalla. Raphaël on JavaScript-kirjasto, joka mahdollistaa mm. räätälöityjen karttavisualisointien toteuttamisen. Alkuperäinen ongelma kuitenkin säilyi sillä edelleenkään minulla ei ollut käytössäni kuin Suomen kuntakarttapohja ja edellenkään vierekkäisiä sairaanhoitopiirejä ei ollut mahdollista erottaa toisistaan jos ne sattuivat ominaisuuksiensa kautta saamaan saman värityksen. (Kuva 3)

    Myös räätälöidyssä JavaScript-toteutuksessa ilmenee sama ongelma käytettäessä kuntapohjaista karttaa. Vierekkäisten sairaanhoitopiirien rajaa ei ole mahdollista erottaa jos sairaanhoitopiirit kuvataan samalla värillä. (Kuva 3)
    En myöskään keksinyt mitään (helppoa) tapaa, jolla olisin onnistunut kummassakaan toteutustavassa (Google Fusion Tables tai Raphaël) korostamaan sairaanhoitopiirien rajoja, jotta ne olisivat erottuneet kuntarajoista, joten päädyin etsimään uutta karttapohjaa, joka perustuisi nimenomaan sairaanhoitopiireihin.

    Onnekseni löysinkin – edelleen Kunnat.net -palvelusta – kartan, jossa sairaanhoitopiirien rajat oli kuvattu. Haaste oli, että karttadata oli julkaistu .pdf-muodossa ja minulla ei ollut aikaisempaa kokemusta siitä miten .pdf-muotoista dataa olisi mahdollista visualisoida ja hyödyntää etenkään JavaScript-pohjaisessa toteuksessa. Päätin kuitenkin lähteä kokeilemaan miten tämä onnistuisi. Tiesin, että tavoitteena minulla olisi saada karttadata .svg-muotoon, koska tämä oli käyttämäni Raphaël-kirjaston tukema tiedostomuoto.

    Päädyin Googlettamaan asiaa hakusanoilla ".pdf to .svg" ja yllätyin, että kyse olikin suhteellisen triviaalista operaatiosta. Tiesin kyllä etukäteen, että .pdf on vektorigrafiikkaan perustuva formaatti, mutta jostain syystä ajattelin, ettei yksittäisten elementtien poimiminen .pdf:stä olisi niin helppoa. Toteutin muunnoksen lopulta Inkscape-ohjelmalla Wikipediasta löytyviä ohjeita mukaillen. Muunnoksessa kyse on käytännössä 1) tiedoston avaamisesta ohjelmassa 2) halutun sivun valitsemisesta ja 3) tiedon uudelleentallentamisesta .svg-muodossa.

    Lopulliseen visualisointiin toteutimme mahdollisuuden valita karttaan tarkastelun alle kaksi eri tilastoa:
    1. Missä lääkärille pääsee nopeimmin?
    2. Missä lääkäriajan saa helpoimmin?
    Lisäksi merkitsimme karttaan sinisillä palluroilla tilastojen mukaan parhaat terveyskeskukset. (Vis 1)

    Kartta sisällytettiin uutisen yhteyteen ja siitä oli mahdollisista tarkastella sairaanhoitopiirejä haluamansa muuttujan perusteella. (Vis 1)
    Toteutin projektin pääasiassa viikonlopun (26.10. - 28.10.) aikana, mutta maanantaina ja tiistaina jouduin tekemään vielä muutamia pieniä viilauksia esimerkiksi, jotta saimme kartan toimimaan Internet Explorer -selaimessa. Lisäksi halusimme alunperin toteuttaa kartan "inline-koodina", joka upotettaisiin suoraan uutissivuston leipätekstin sekaan, mutta jouduimme lopulta tyytymään iframe-toteutukseen. Inline-koodin etu iframe-toteutukseen nähden olisi ollut laajempi yhteensopivuus eri laitteiden kanssa sekä parempi mobiilikäytettävyys. Edellä mainituissa viilauksissa sain apua Yle:n Web-suunnittelija Oskari Blombergilta, josta suuri kiitos.

    Lopullinen uutinen julkaistiin sunnuntaina 4.11. maanantaina 5.11. ja on luettavissa Yle Uutisten verkkosivuilta.

    tiistai 21. elokuuta 2012

    Maakuntadatan visualisointia: Junantuomat

    Yle Uutiset teki viime viikolla jutun pääkaupunkiseudun kasvusta ja siitä mistä tämä muuttovoitto Helsinkiin, Vantaalle, Espooseen ja Kauniaisiin on kotoisin. Muuttotilastodata on saatavissa  tilastokeskukselta ja koska data on numeerista ja paikkaan sidottua oli tahto, että jutun ohessa voitaisiin julkaista myös interaktiivinen karttavisualisointi, joka kuvaisi muuttajien määrä pääkaupunkiseudulle maakunnittain.

    Olin aikaisemminkin tehnyt karttavisualisointeja Yle:ssä ja muutenkin, joten päädyin tekemään myös tätä. Ongelma oli, että aikaisemmat karttavisualisointini ovat kuvanneet Suomea kuntatasolla eikä minulla siten ollut valmista toteutusmallia maakuntiin perustuvan datan esittämiseen. (Kuva 1)

    Kuntakarttalla olisi mahdollista kuvata maakuntatietoa, mutta kuntarajat epäselventäisivät visualisointia huomattavasti. (Kuva 1)
    Oletin kuitenkin, että joku olisi jossain vaiheessa tehnyt myös maakuntatason visualisointia, etenkin nyt kun maanmittauslaitos on avannut oman karttadatansa. Lähdinkin melko suoraviivaisesti suorittamaan Google-hakua hakusanoilla "maakunnat.kml" ja "maakunta.kml". Kml on tiedostoformaatti, jota käytetään karttatiedon kuvaamiseen ja jota Google Maps tukee, jonka vuoksi käytin sitä hakusanassa.

    Positiiviseksi yllätyksekseni heti ensimmäinen hakutulos johdatti minut Jaakko Rajaniemen kirjoittamaan blogiviestiin, jonka kommenteissa hän oli jakanut maakuntarajat sisältävän .kml-tiedoston. Loistavaa! Yksinkertaisimmat ratkaisut ovat usein parhaimpia :)

    Kml-tiedosto on siis karttatietoa sisältävä tiedostoformaatti, jota Google Maps tulkitsee. Kml-tiedosto on siten mahdollista ladata Google Fusion Tables -työkaluun, jonka avulla onnistuu myös alkuperäisen tilastokeskuksen maakuntadatan yhdistäminen .kml-muotoiseen karttadataan, koska datoissa on yhdistävä tekijä, joka tässä tapauksessa oli maakunnan nimi. Tämä onnistuu Google Fusion Tables -työkalusta löytyvän "Merge" -toiminnon avulla.

    Visualisoinnin toteutin hyvin perinteisen kaavan mukaan, jota olen aikaisemminkin käyttänyt visualisoiessani karttapintoja. Väritys kuvaa muuttaneiden määrää niin, että mitä tummempi sävy sitä suurempi muuttajien määrä. Asetin raja-arvot niin, että karttasta tulisi visuaalisesti mahdollisimman rikas kuin, että olisin käyttänyt lineaarisia askeleita, koska Uudenmaalta pääkaupunkiseudulle muuttaneiden määrä on niin moninkertainen muihin maakuntiin nähden, että se olisi biasoinut koko visualisoinnin. Lineaarisella asteikolla koko muu Suomi olisi siis näyttänyt haalealta ja Uusimaa olisi ollut ainoastaan tummemmalla sävyllä. Käyttäjän oli karttaa klikkaamalla mahdollista saada lisätietoja haluamastaan maakunnasta. (Kuva 2)

    Kartassa käytettiin värejä kuvaamaan pääkaupunkiseudulle muuttaneiden kokonaismäärä vuosina 2007 – 2011. Karttaa klikkaamalla käyttäjälle näytettiin lisätietoja maakuntakohtaisesti. (Kuva 2)
    Helsinkin muuttovoitosta suurimman osan selittää maahanmuutto. Ulkomailta muutto on kuitenkin keskittynyt siinä määrin vain tiettyihin valtioihin, ettei tämän datan visualisoiminen interaktiivisesti maailmankartalla ollut mielestäni mielekästä ja päädyimmekin ratkaisuun, jossa graafikko teki erillisen infografiikan kuvaamaan ulkomailta pääkaupunkiseudulle muuttaneita. Graafikko saikin toteutukseen liitettyä melko näppärästi tiedot valtioista, joista muuttovoitto oli suurin yhdessä manterekohtaisten kokonaismäärien kanssa.

    Data ei ehkä sinänsä ollut kovin mielenkiintoista eikä visualisointi tuonut siihen kovinkaan yllättävää uutta näkökulmaa. Suurin muuttoliike tapahtuu sieltä missä ihmisiä on muutenkin eniten. Myöskään vuosittaisia vaihteluita muuttajien määrissä ei ollut havaittavissa. Uutinen oli kuitenkin suosittu, joka kertoo mielestäni, että tämänkaltaiset interaktiiviset visualisoinnit, joiden avulla ihmisten on mahdollista uutisen ohessa rinnastaa toimittajan huomiot oman elinpiirinsä tietoihin ovat mielenkiintoisia.

    perjantai 6. heinäkuuta 2012

    Esittelyssä datajournalistin työkalut, Osa 1

    Datajournalismi kuten tekniikka usein vaatii tuekseen oikeat ja tehokkaat työkalut.
    Vasarallakin saa laudan poikki, mutta saha toimii tarkoitukseen paremmin.
    Ajattelin tuoda esiin viisi sellaista työkalua, joita itse käytän ja joiden käyttämisen koen olevan jokaisen datajournalismista kiinnostuneen opeteltavissa. Aloitan kuitenkin helppokäyttöisimmästä, jotteivät ei-teknisimmät henkilöt putoa heti matkasta.

    SharedCount


    SharedCount on yksinkertainen palvelu, joka mahdollistaa linkkien sosiaalisen median näkyvyyden tutkimisen. Palveluun on mahdollista linkittää mikä tahansa www-sivun osoite ja palvelu kertoo kuinka monta kertaa sivu on jaettu Facebook:ssa, Twitter:ssä, LinkedIn:ssä, Google+:ssa jne. Esimerkiksi Youtube-videota "The Canucks of Vancouver" on jaettu sosiaalisissa medioissa seuraavasti.

    Palvelu on siis hyvin yksinkertainen käyttää ja siihen nähden se tarjoaa hyvin arvokasta tietoa sisältöjen leviämisestä sosiaalisessa mediassa. Sosiaalinen media on tärkeä osa datajournalismia ja siten myös sosiaalisen median toiminnan ymmärtäminen kuuluu siihen tärkeä osana. Toisaalta myös omien blogikirjoitusten ja vastaavien tuotosten leviämisen seuraaminen on SharedCount:n avulla kätevää.

    Huomiotavaa etenkin kehittäjille on, että palvelu tarjoaa myös JSON-rajapinnan.

    Google Trends


    Mentäessä esiteltäviä palveluita eteenpäin tällä helppokäyttöisyysperiaatteella tulee seuraavaksi eteen Google Trends. Google Trends on nimensä mukaisesti Google:n työkalu, jolla on mahdollista tutkia hakusanojen suosiota. Palvelu ei ole kovinkaan tunnettu etenkään verrattuna Google:n muihin tuotteisiin, mutta ehdottomasti tutustumisen arvoinen. Palvelu toimii niin, että hakukenttään syötetään haluttu lista sanoja pilkuilla eroteltuna, jonka jälkeen palvelu kertoo kuinka paljon kyseisiä hakusanoja on Google:n avulla etsitty. Esimerkkinä tein haun suomalaisista kaupunkien nimistä, joissa on 2000-luvulla tapahtunut ampumistapauksia. (Kuva 1)

    Suomalaisten kaupunkien hakusanojen suosiossa näkyvät selkeästi traagiset tapahtumat. (Kuva 1)

    Google Trends:stä ovat selkeästi nähtävissä ampumistapauksien ajankohdat ja niiden vaikutus hakusanojen suosioon. Mielenkiintoinen kuriositeetti on, että kaupunginnimen suosio hakusanana on pienentynyt vuosien saatossa.

    Google Trends on oiva työkalu tarkoitukseensa, joskin siltä ei kovin paljon enempää tule odottaa.

    CometDocs


    CometDocs:iin törmäsimme tässä blogissa edellisen viestin yhteydessä. Kyseessä on työkalu, joka muuntaa palveluun lähetetyt .pdf-dokumentit helpommin käsiteltäviin Excel tai Word -muotoihin. Palveluun on siis mahdollista lähettää taulukkodataa sisältävä .pdf-dokumentti ja palvelu muuntaa dokumentin parhaansa mukaan taulukkolaskentaohjelmien ymmärtämään .xls-muotoon.

    Muunnokset eivät aina ole täydellisiä, koska .pdf-dokumenttien rakenteen tulkitseminen ei ole yksikäsitteistä. Esimerkiksi välilyönnit ja askelsarkaimet (tab) sekoittavat etenkin taulukkodatan tulkintaa. Yksittäisten virheiden korjaaminen jälkikäteen Excel:ssä on kuitenkin nopeampaa kuin koko datan siirtäminen käsin .pdf-dokumentista taulukkolaskentaohjelmaan. Vastaavanlaisia palveluita löytyy Google:lla useita ja myös esimerkiksi Acrobat Reader Pro -versiosta löytyy tämä vastaava toiminnallisuus.

    CometDocs-palvelun huonona puolena pitäisin sitä, että palveluun joutuu antamaan sähköpostiosoitteensa, joka ei aina ole järkevää ja tätäkin palvelua käytettäessä suosittelen käyttämään jotain ei-niin-tärkeää sähköpostiosoitetta.

    Scraper


    Keskusteltaessa datajournalismista kuulee usein puhuttavan erilaisten raapijoiden, skreippereiden ja ryömijöiden toteuttamisesta. Erilaisia ryömijöitä ja keräimiä on tämänkin blogin yhteydessä käsitelty. Keräimet toteuteutaan usein ohjelmoimalla etenkin jos tekijällä on tähän kompetenssia ja kiinnostusta, mutta olemassa on myös työkaluja, joilla tietoa voidaan kerätä Internetistä ilman kovaa insinööritaustaa.

    Erittäin näppärä työkalu tiedon keräämiseen löytyy Google Chrome -lisäosana ja on nimeltään Scraper. Scraper:n käyttämiseksi tarvet siis Google Chrome -selaimen, jota suosittelen muutenkin pääasialliseksi selaimeksi kenelle tahansa. Scraper:n asentamisen jälkeen toiminnallisuutta voi käyttää millä tahansa www-sivulla klikkaamalla haluaamaansa kohdetta ja valitsemalla kontekstivalikosta "Scrape Similar...", jonka jälkeen ruudulle aukeavasta ikkunasta ovat nähtävissä kaikki muut sivulta löytyvät vastaavankaltaiset sisällöt (Kuva 2).

    Valitsemalla kontekstivalikosta "Scrape similar..." voit hakea ja tallentaa tietoa www-sivulta. (Kuva 2)

    Olen itse käyttänyt Scraper:a mm. ihmisten Facebook-kavereiden hakemiseen ja tallentamiseen, koska Facebook ei suoraan tätä toiminnallisuutta tarjoa. Facebook-kavereiden tapauksessa lataan ensin kaikki halutun käyttäjän Facebook-kaverit selaimeni sivulle, jonka jälkeen klikkaan yhtä heistä ja valitsen "Scrape Similar...", jolloin Scraper tunnistaa kaikki sivulta löytyvät vastaavat sisällöt eli juuri nämä halutut kaverit. Scraper:lla haetut tiedot on mahdollista viedä Google Docs -palveluun, josta ne voi ladata edelleen vaikka omalle koneelle Excel:ssä käsiteltäväksi.

    Scraper Similar -toiminto ei aina suoraan toimi oikein vaan "polkua", jonka takaa samankaltaista sisältöä haetaan voi joutua muokkaamaan. Haettava sisältö määritellään XPath-kielen (pikaopas) avulla, joka vaatii hieman teknisempää ajattelua, mutta jota ei välttämättä siis tarvitse käyttää jos "Scrape Similar..." -toiminnallisuus osaa suoraan palauttaa haluttavat sisällöt.

    Google Fusion Tables


    Tämänkaltaista listaa tehdessä ei varmaan voi ohittaa Google Fusion Tables:a. Kyseessä on Google:n toteuttama palvelu, joka on erikoistunut taulukkomuotoisen datan visualisoimiseen sekä eri datakokoelmien yhdistämiseen. Palvelusta löytyvät komponentit mm. perinteisten viiva-, piirakka- ja pylväsdiagrammien tekoon, mutta palvelulla on myös mahdollista luoda kartta- sekä verkostovisualisointeja.

    Palvelu toimii osana Google Drive -palvelua ja uusia Fusion Tables -taulukoita pääsee luomaan Uusi -> Lisää -> Taulukko -polun takaa, jonka jälkeen palvelu pyytää lataamaan palveluun taulukkotiedoston. Tietoa voidaan syöttää mm. .csv ja .kml-muodoissa, joista jälkimmäinen on etenkin pinta-alojen esittämiseen tarkoitettu tiedostomuoto. (Kuva 3)

    Uusien Fusion Tables -dokumenttien luominen löytyy More -painikkeen takaa. (Kuva 3)

    On huomioitavaa, että Fusion Tables on nimenomaan valmiin datan visualisointityökalu. Datan muokkausmahdollisuudet palvelussa ovat hyvin rajalliset, joten data kannattaa rakentaa mahdollisimman valmiiksi paikallisessa taulukkolaskentaohjelmassa tai Google Spreadsheet:ssä.

    Loistava itseopiskelumateriaali Google Fusion Tables:n käyttöön (Tekijä: Tommy Kaas).



    Tässä muutamia sovelluksia ja ohjelmia, joista itselleni on ollut hyötyä ja joiden käyttäminen ei lähtökohtaisesti vaadi koodaamista. Toivottavasti tästä on hyötyä.

    tiistai 3. heinäkuuta 2012

    Alkoholinmyyntitiedon visualisointia

    Julkaisimme n. kuukausi sitten Eva Koskisen ja Radar:n kanssa jutun alkoholin myyntitiedoista. Ajattelin hieman valaista taustoja tarinan takaa, koska kyseessä oli lukijoita ja kuulijoita kiinnostanut datajournalistinen juttu, joka levisi myös muihin tiedostusvälineisiin.

    Datan hankinta


    Tilastojen ja datan hankkimisen ei useinkaan tarvitse poiketa luonteeltaan ns. normaalista tiedon hausta (kuten piirakkareseptien etsiminen) eikä alkoholinmyyntitilastojen etsiminen tehnyt tähän poikkeusta. Google on erinomainen työkalu ja hakulauseella "alkoholijuomien kulutus" löytää nopeasti Tilastokeskuksen sivuille, josta käy ilmi, että alkoholijuomien myyntitilastoa ylläpitää Terveyden ja hyvinvoinnin laitos (THL).

    THL kerää erinäisiä terveyteen ja ihmisten hyvinvointiin liittyviä tilastoja, joihin kuuluvat mm. alkoholinmyyntitilastot. Tilastot pitävät sisällään kunnittaiset alkoholinmyyntimäärät litroittain juomatyyppikohtaisesti, puhtaana alkoholina sekä suhteutettuna asukasta kohden. Tilastot löytyvät THL:n sivuilta vuositasolla vuosittaisten raporttien yhteydestä (Valvivan sivut antavat ymmärtää, että tilastoja kerättäisiin myös kuukausitasolla).

    Ainoa ongelma THL:n sivuilta saatavassa datassa oli, että se on .pdf-muodossa. PDF-muotoista dataa ei usein mielletä koneluettavaksi tai helposti automaattisesti käsiteltäväksi, mutta myös .pdf-dokumenttien käsittely on mahdollista. Mm. Acrobat Readerin Pro -versiosta löytyy toiminnallisuus, jonka avulla .pdf-muotoinen dokumentti on mahdollista muuntaa Excel-muotoiseksi, mutta saatavilla on myös ilmaisia työkaluja kuten esimerkiksi Cometdocs-palvelu, jota itse käytin. Vaikka muunnos ei ollutkaan täydellinen oli yksittäiset virheet helppo korjata käsin.

    Myöhemmin ottaessani yhteyttä THL:ään sain myös selville, että THL ylläpitää Sotkanet-nimistä palvelua, josta on mahdollista hakea kaikkia THL:n tuottamia tilastoja monipuolisten rajaustyökalujen avulla ja datat ovat ladattavissa tietokoneluettavassa muodossa. Palvelu mahdollistaa myös suoraan yksinkertaiset datan visualisoinnit mm. karttojen muodossa. Tämänkaltaisten loistavien palveluiden markkinointiin voisi panostaa enemmänkin aikaa ja rahaa.

    Kokeilut Google Fusion Tables -työkalulla


    Google Fusion Tables on datan visualisointityökalu, joka on osa, nykyisin Google Drive nimellä, tunnettua palvelua (aiemmin Google Docs). Fusion Tablesiin on mahdollista ladata omia datataulukoita tai palvelusta on mahdollista hakea käyttöönsä muiden käyttäjien julkisia taulukoita. Fusion Tables mahdollistaa datan näyttämisen mm. kartta-, verkosto-, viiva-, piirakka- sekä pylväsvisualisulisoinnin muodossa. Kaikki komponentit ovat muutaman hiiren klikkauksen ulottuvissa.

    Alkoholinmyyntitietodata oli kuntakohtaista, joten mielekästä oli kuvata data kunnittain Suomen kartalle. Fusion Tables:ssa kuntiin (ja yleensäkin paikkatietoon) perustuvan visualisoinnin toteuttaminen on helppoa, koska palvelusta on mahdollista hakea kuntanimiin perustuen paikkojen sijainnit. Sijainnin merkitään oletuksena ns. "täpillä" (marker), joille on dataan perustuen mahdollista esimerkiksi määrittää arvoa kuvaava väri.

    Google Maps -komponentti, jota käytetään kartan piirtoon osaa kuitenkin tulkita myös kuntarajoja (maantieteellisiä alueita) kun ne syötetään KML-muodossa. Näin on mahdollista käyttää yksittäisten täppien sijaan kunnan pinta-alaa datan esittämiseen. Lopputulos on myös paljon miellyttävämmän näköinen visuaalisesti kuin käytettäessä täppiä. Toki tässä tapauksessa datan luonne ei myöskään tue täppien käyttöä, koska ilmiö ei tapahdu spatiaalisesti yhdessä pisteessä vaan data kuvaa suuremman pinta-alan käyttäytymisen keskiarvoa. Toisissa datoissa tietysti taas täpät ovat luontevia datan kuvaamiselle. (Kuva 1)

    Google Fusion Tables:ssa hypoteesien erilaisten testaaminen on lähtökohtaisesti näppärää. (Kuva 1)

    Google Fusion Tablesissa erilaisten hypoteesien kokeileminen on helppoa, koska mm. värivalintojen tekeminen onnistuu suoraan käyttöliittymäkomponenttien avulla. Tämä mahdollistaa isojenkin muutosten tekemisen nopeasti, joka esimerkiksi omassa toteutuksessa vaatii aina koodaustyötä. Fusion Tables:n ongelmia ovat, että tuotokset eivät erotu, koska ne näyttävät Google:n tuotteilta ja toisaalta, että datan joutuu luovuttamaan Google:lle, joka voi olla arkaluontoisten datojen kohdalla ongelma.

    Goole Maps:n ja Google Fusion Tables:n ymmärtämä KML-muotoinen Suomen kuntarajat vuodelta 2011 sisältävä data on ladattavissa täältä.

    Lopullinen toteutus HS:n kuntakoneella


    Kuten olen tässä blogissa aikaisemminkin maininnut on Helsingin Sanomat ollut aktiivinen toimija suomalaisen datajournalismin saralla. Tähän toimintaan on kuulunut mm., että HS julkaisi toukokuussa toteuttamansa kuntakoneen avoimena lähdekoodina HS Next -blogissa. Kuntakonetta hyödynnettiin laajasti seuranneessa HS Open -tapahtumassa, jossa se näytti toimivuutensa erilaisten datojen esittämiseen.

    Alkuperäinen HS:n toteutus kuntakoneesta oli tehty kuntaliitoksia silmällä pitäen, joten karttaa käyttääksemme jouduimme hieman muuntamaan sitä tarpeeseemme. Poistimme kartasta mahdollisuuden yhdistellä kuntia keskenään, mutta mahdollistimme samalla helpomman kunnan uudelleenvalitsemisen. Lisäksi teimme kartan kaksikielisenä sekä toteutimme siihen mahdollisuuden rajata piirron pelkkiin ruotsinkielisiin kuntiin. (Kuva 2)

    Kartan värit perustuivat YLE:n uuteen ilmeeseen. Toteutus mahdollisti kartan näkökulman muokkauksen. (Kuva 2)

    Toteutimme siis lopullisen ja julkaistun karta Helsingin Sanomien kuntakarttaan perustuen Google Fusion Tables toteutuksen sijaan, koska kuntakarttaan perustuva toteutus osoittautui visuaalisesti paremman näköiseksi ja lisäksi näimme, että omassa toteutuksessa pystyimme paremmin hallitsemaan sitä miten karttaa käytetään. Pyrkimys riippumattomuuteen ulkopuolisesta toimijasta ei sinällään ollut merkittävä tekijä päätöstä tehtäessä.

    Jälkipyykki; mitä näimme, mitä opittiin


    Radar teki keväällä useampia alkoholiin liittyviä juttuja radioon sekä nettiin ja siten tämä alkoholinmyyntikartta oli osa suurempaa juttujen kokonaisuutta. Lisäksi on huomioitavaa, että Radar:ssa päätuote on radio-ohjelma, jolle netti pyrkii tarjoamaan täydentävää sisältöä. Tässä tapauksessa nähtiin, että nettiin tehty uutinen keräsi hyvin paljon sivulatauksia ja että sisällöt tukivat hyvin toisiaan, koska radiossa pystyttiin keskittymään tiettyihin toimittajan valitsemiin näkökulmiin kun taas netissä pystyttiin tarjoamaan kohdennettua sisältöä kaikille siitä kiinnostuneille.

    Saman alkoholinmyyntitiedon uutisointia nähtiin myös muilta suomalaisilta media-alan toimijoilta ja myös YLE Uutiset julkaisi oman uutisensa asiasta rikastettuna samalla kartalla, jota me olimme käyttäneet.

    Risuja saimme lähinnä siitä, että kuntakartassa oli otettu huomioon vuoden 2013 kuntaliitokset, jotka eivät kuitenkaan olleet vielä varmistuneita. Esimerkiksi Siuntio oli liitetty Lohjaan ennenaikaisesesti, koska prosessi on vielä kesken. Pyrimme kuitenkin palvelemaan myös heitä, jotka olivat kokeneet itsensä väärin kohdelluiksi antamalla heille THL:n tarjoaman datan keskustelussa.

    Yhteenvetona todettakoon, että kyseessä oli erittäin suosittuun aihealueeseen tehty datan karttavisualisointi, joka toi tehdylle jutulle huomattavaa lisäarvoa. Toteutus tuki päätuotetta eli radio-ohjelmaa ja toi myös sille lisäkuuntelijoita.