Drillo, journalister og statistikk
Fotballstatistikk - Aftenposten-style
Det er lenge siden jeg avfant meg med at sportsjournalister ikke alltid har solid grunnlag for det de sier. Her er et eksempel som bekrefter tendensen:
Under overskriften "Har aldri vært dårligere", skriver journalist Erlend Nesje at "Tallenes tale er klare for Egil Drillo Olsen. Starten på 2013 har vært den svakeste på landslaget under hans ledelse".
Tallene støtter utvilsomt utsagnet. De fem kampene som er spilt i år har gitt landslaget fem poeng totalt og det er utvilsomt dårligere enn de andre årene Drillo har ledet laget. Men har det noe å si? Kan man tolke noe som helst ut av det? Svaret er "nei".
Tilfeldighet
Tilfeldigheter styrer livene våre (fotballkamper inkludert) mer enn vi liker å tro. Vi aksepterer at det er slik når vi spiller Yatzi og ville aldri funnet på å lage doble avissider over Yatzi-resultatene til Drillo. Fotball er ikke rent sjansespill - det er derfor Brasil og Tyskland vinner mesterskap og det er derfor Norge ikke gjør det.
Fotball er imidlertid delvis et sjansespill.
Skader setter ut nøkkelspillere, karantener, stolpeskudd som går ut i stedet for inn, en dommer som ikke dømmer straffe osv, osv. Samtidig er det mange av de faktorene vi tror har stor betydning, som ikke spiller så stor rolle. Treneren for eksempel. Det viser seg at treneren har overraskende lite betydning for lagets prestasjoner.
Med andre ord: Tilfeldigheter vil alltid spille en rolle, enten du spiller fotball, golf eller Yatzi.
Utvalg
Skal man lese noe ut av tall, bør man sørge for å ha mange av dem. Jo færre tall man har på hendelsene man ønsker å undersøke, desto større rolle spiller tilfeldighetene. Det er derfor antallet forsøkspersoner er en "big deal" i forskning. Det holder ikke at du tester ut en medisin på fire personer og det tar jeg for gitt at alle forstår.
Størrelsen på utvalget til Aftenposten er labert - fra tre kamper i 1990 til 14 kamper i 1994. Men likevel har de altså bestemt seg for å tolke tallene. Og med bakgrunn i tallene antyder de at Drillo eller landslaget eller begge er på en nedadgående kurve prestasjonsmessig. Som et eksempel på at størrelsen på utvalget betyr mye, kan det nevnes at Norge i går vant 2-0 mot Makedonia. Denne ene seieren gjorde at poengsnittet for i år hoppet fra 1,0 til 1,33.
Terninger vs Drillos
La det være sagt: "Datamaterialet" som Aftenposten underbygger saken sin med, er ikke verdt papiret det er trykket på. Min påstand er at resultatene (slik de presenteres) i all hovedsak er et resultat av tilfeldigheter. Drillo har minimalt med saken å gjøre og det har antakeligvis spillerne også.
En enkel måte å synliggjøre dette på, er å sammenlikne landslagets poengfangst med en fullstendig tilfeldig og fiktiv poengfangst. Det kan du gjøre med en terning:
1 og 2 = tap og 0 poeng
3 og 4 = uavgjort og 1 poeng
5 og 6 = seier og 3 poeng
Drillos og terninger
Drillos og terninger 2
Så kaster du terningen for alle kampene landslaget har spilt under Drillo og noterer resultatet. Det første du vil oppdage er at resultatene vil variere voldsomt fra år til år - akkurat slik det gjør i oversikten til Aftenposten.
Jeg kastet terningene (i Excel) og fikk følgende resultat: Alternativt kan man se på den prosentvise forskjellen mellom det beste og det dårligste året, relativt til gjennomsnittet.Du burde se to ting i disse grafene:
Forskjellene mellom beste og dårligste år, er ca like store både for Drillos og terningene.
Drillos presterer litt bedre enn terningene - noe som tyder på at fotball ikke bare styres av tilfeldigheter og at Drillos i snitt er litt bedre enn motstanderne sine.
Dette er selvfølgelig ikke en god statistisk undersøkelse, men den er bedre enn Aftenposten sin og det viktigste er at grafen viser at det er mulig å få slike forskjeller ved ren tilfeldighet.
Jeg er ikke spesielt kompetent i statistikk, men har for ordens skyld også gjennomført en såkalt variansanalyse av målforskjellene i alle årene under Drillo. Når man gjør en variansanalyse får man et svar på hvorvidt forskjellene mellom årene er et resultat av tilfeldighet eller ikke. Det var det ikke (i alle fall ikke etter de standardene forskere forholder seg til).
Er du over gjennomsnittlig interessert kan du se tabellen her.
Man kan kanskje ikke forvente at journalistene skal gjennomføre egne variansanalyser, men det er kanskje å forvente at de ikke konstruerer saker av ingenting.