Mobilitetens Modeller Kursusgang 2

1. 27. oktober 2010 Mobilitetens Modeller Kursusgang 2 By, energi & miljø - 5. semester Morten Skou Nicolaisen Aalborg Universitet

2. Sidste kursusgang • Hvad er modeller og prognoser? • Modellernes opbygning • Hvor bruges de i transportplanlægning? • Prognoser som input og output • Kalibrering vs. validering • Brug og misbrug af resultater

3. Denne kursusgang • Kort genopfriskning • Usikkerhed i modelantagelser og –data • Unøjagtighed i trafikprognoser • Potentiel bias i prognoser • Årsager og løsninger

4. Matematiske modeller • En matematisk model er en overførsel af virkelige forhold til en beskrivelse, der kan analyseres via matematiske operationer. • Typisk vil der indgå en forsimpling af disse forhold, for at muliggøre en matematisk beskrivelse. • Modellen er ikke selve virkeligheden, men en repræsentation af vores opfattelse af den.

7. Prognoser som input og output • Trafikprognoser fungerer som input til efterfølgende effektvurderinger. • Trafikprognoserne baseres selv på prognoser af inputparametre. • Jo flere prognoser, estimater og antagelser, der indlægges i trafik-modellerne, des flere usikkerheds-elementer indlægges der samtidigt.

8. Følsomhedsberegning • Følsomhedsberegninger anvendes til at vurdere følsomheden af udsving i værdier på nogle parametre. • Dette giver et simpelt billede af usikkerhederne i forbindelse med prognoserne. • Følsomhedsberegningerne består oftest bare i at udføre prognoser, hvor man justerer en enkelt parameter lidt op og ned (f.eks. ±10%).

9. Følsomhedsberegninger Infrastrukturkommissionen (2008) Danmarks Transportinfrastruktur 2030

10. Eksempel • Dansk Transportforskning udarbejdede prognoserne for Infrastrukturkommissionen. • Disse blev bl.a. baseret på prognoser fra Det Internationale Energiargentur (IEA). • Den beregnede trafikale udvikling blev baseret på en forventet pris for olietønder, der i løbet af 2008 var under halvdelen af markedsprisen. • En følsomhedsberegning på ±10% tager giver ikke meget indblik i følsomheden af beregningerne, hvis den egentlige usikkerhed er på ±100%.

11. Mere motorvej • På baggrund af Dansk Transportforsknings beregninger anbefaler de derfor, at motorvejsnettet udvides med op til 80% frem mod 2030. • Dette er blot ét eksempel på den ofte meget mangelfulde kommunikation af usikkerheder, der finder sted mellem forskellige aktører i beslutningsprocessen.

12. Opfattelse af usikkerhed • De folk, der udvikler modellerne, har typisk et indgående kendskab til usikkerhederne. • De folk, der anvender prognoserne, har typisk en naiv forestilling om deres præcision. • Multimodal trafikmodel for Odense Kommune: forventninger vs. muligheder.

13. Diskussion • Hvad er acceptabel grad af unøjagtighed i trafikprognoser? • Hvad er den gennemsnitlige unøjagtighed for trafikprognoser? • I de tilfælde, hvor prognoserne er unøjagtige, har de så en tendens til at over- eller undervurdere fremtidige trafikmængder?

14. Holdninger blandt professionele • Spørgeskema vedr. holdninger til trafikmodeller, herunder deres præcision: • 46% mener at prognoserne højest bør ligge indenfor et spænd på ±20%. • 37% mener at dette også er tilfældet. • 34% mener at der er en tendens til at de trafikale behov overvurderes. • Flyvbjerg, Holm og Buhl (2005): • 84% ligger udenfor ±20% for baneprojekter. • 50% ligger udenfor ±20% for vejprojekter.

15. Flyvbjerg, Holm & Buhl (2005)

16. Flyvbjerg, Holm & Buhl (2005)

17. Bain (2009)

18. Parthasarathi & Levinson (2010)

19. Komparativitet af studier • Svært (umuligt) at få adgang til databaserne. • Datakrav varierer ofte mellem studier. • Pålideligheden af data er mangelfuld. • Referencepunkter er ikke altid uniforme. • Evaluering af prognoser ligger under for samme begrænsninger i forbindelse med data-tilgængelighed som selve modellerne.

20. Systematisk bias • Udover den tilsyneladende store mangel på præcision ser der også ud til at være en observerbar bias i trafikprognoser. • Specielt for baneprojekter ser det ud til at den forventede trafikmængde er kraftigt overvurderet. • Denne bias betegnes ofte som systematisk, da den fremstår konsekvent for nogle projekttyper. Hvilket system der i så fald er tale om er dog uklart.

21. Tekniske mangler • Modellerne bebrejdes ofte for at være utilstrækkelige i deres evne til at beskrive bestemte kausale faktorer. • Dette kunne eksempelvis være kendte effekter som intermodale sammenhænge, ikke-motoriseret transport, trafikspring, osv. • Udeladelse af nogle af disse effekter kunne føre til under- eller overvurdering af fremtidige trafikbehov på trods af kalibrering.

22. Tekniske mangler • Udover modellens evne til at beskrive kausale effekter er datagrundlaget også en mulig forklaringsfaktor. • Har modellen eksempelvis været opbygget og kalibreret på data fra en periode med høj økonomisk vækst og øget bilejerskab, vil dette kunne føre til alt for optimistiske forventninger i en periode med recession. • Data er dyrt at indsamle og modellerne derfor dyre at opdatere, hvilket skaber ’assumption drag’.

23. Kognitiv bias • Forklaringer på bias kan også findes i psykologiske studier. • Generelt er folk ofte for optimistiske i forbindelse med planlægningsopgaver. • Desuden har man ofte en tendens til at forholde sig kritisk til resultater, der modstrider forventningerne. • Omvendt forholder man sig ofte ukritisk overfor resultater, der umiddelbart stemmer overens med forventningerne.

24. Kognitiv bias • Naiv optimisme i forbindelse er svær at rette op på, selv når man konfronteres med beviser. • Kahneman: • Semester pensum i Israel. • Studenters evaluering af egne evner • The inside view, groupthink, etc. • Disse effekter kan medføre urealistiske antagelser i modellerne, og dermed skabe bias (eks: større passagergrundlag er ønskværdigt).

25. Incitamentstrukturer • En tredje type forklaring kommer fra økonomisk teori, hvor beslutningsprocessen hævdes at skabe incitamentstrukturer, der tilskynder uærlig adfærd (strategic misrepresentation). • Med andre ord: planlæggere og/el. politikere justerer resultaterne for at få godkendt bestemte projekter, som de eller deres kunder har en interesse i at se gennemført.

26. Incitamentstrukturer • Da modellerne fungerer som en form for blackboxing er det svært for andre end eksperter at vurdere pålideligheden af resultaterne. • Jo mere komplekse modellerne og beregningerne bliver, des mere omfattende dokumentation kræver det også for at kunne foretage en sådan vurdering. • ’Survival of the unfittest’

27. Diskussion Hvilken af de tre forklaringstyper dækker bedst den bias, der er observeret i tidligere studier?

28. Forklaringstypernes validitet • Tekniske mangler kunne evt. forklare den smule undervurdering, der finder sted i forb. med vejprojekter (trafikspring). • Psykologiske og økonomiske forklaringer passer bedre med den tilsyneladende store bias der finder sted ved baneprojekter. • Tekniske forklaringer afvises: • non-zero mean • modelsofistikering

29. Kognitiv bias vs. incitament • Det er svært at skelne mellem om folk bevist manipulerer eller blot er naive. • Flyvbjerg mener at en hel profession af planlæggere burde have lært af fortidens fejl, og at manipulation derfor er den bedste forklaring på bias. • Han bakker dette op med interviews og spørgeskemaer, hvor manipulation fremhæves som den bedste forklaringsfaktor af respondenterne. • Foreløbige resultater fra mine studier i DK indikerer dog at dette ikke er tilfældet her.

30. CBA: objektivitet vs. subjektivitet • Ligesom trafikmodellering er CBA ingen eksakt videnskab, og indeholde masser af subjektive valg i beregningerne. • Tidsbesparelser: værdisat med en forskel af faktor 10 mellem Ungarn og Østrig. • Statistisk liv: værdisat med en forskel af faktor 10 mellem Finland og Slovakiet. • CO2-udledning: værdisat med forskel af faktor 5 mellem Finland og Sverige. • Diskonteringsfaktoren varierer kraftigt (4-12%)

31. Fejlagtige beregninger • Cowi beregnede ved en fejl den interne rente for et vejprojekt ved Randers til at være 22,5%, mens det i virkeligheden skulle have været beregnet til 12,4%. • Dette medførte en påtale fra Transportministeren samt Socialdemokraternes trafikordfører Magnus Heunicke. • ”Det er jo stærkt kritisabelt, at man som uafhængigt analysefirma udarbejder sådan nogle beregninger for offentlige instanser, og at vi så ikke kan regne med det. Det må få os alle sammen til meget nøje at vurdere, om vi egentlig kan bruge sådanne uafhængige analysefirmaer, når det drejer sig om at træffe beslutninger” - Magnus Heunicke

32. Behovet for tal • Der bliver brugt rigtig mange penge på at analysere fremtidige trafikbehov. • Dette stammer måske primært fra et behov for at sætte et tal på bundlinjen, uanset hvor præcist det måtte være. • De ting, der ikke beskrives med tal, kommer til at fremstå som sidebemærkninger, og opfattes derfor som mindre betydelige (eller overses). ”Not everything that can be counted counts, and not everything that counts can be counted” • Albert Einstein

33. Diskussion • Hvordan kan man reducere tekniske mangler? • Hvordan kan man reducere kognitiv bias? • Hvordan kan man reducere incitamenter? • Hvis det hele er så usikkert, hvad skal vi så med det?

34. Reference class forecasting (RFC) • RFC bygger på en grundidé, hvor man holder prognoser op mod en distribution af usikkerhed, baseret på tidligere projekter. • Derved får man taget højde for naiv optimisme ved at korrigere prognosen i henhold til den almene unøjagtighed for referenceklassen. • Metoden anbefales bl.a. af American Planning Association (APA).

35. Reference class forecasting (RFC) • RFC kræver data for en lang række projekter for at etablere brugbare referenceklasser. • RFC tager ikke hånd om problemer, der er knyttet til manipulation af resultater. • RFC justerer projektet uanset hvor gode beregninger man har som grundlag. • I praksis har RFC ikke kunnet tage højde for uforudsete omkostninger ved eksempelvis EdingburghTrams projektet.

36. Ansvarlighed • Et andet forslag er at holde de folk, der konsekvent producerer misvisende prognoser, til ansvar for deres fejl, bl.a. via domstolene. • Det er dog uvist hvordan man i så fald skulle afgøre, hvorvidt folk har snydt bevidst, eller om de unøjagtigheder deres prognoser har, kunne være undgået. • At holde folk ansvarlige antager at det er muligt at fremstille præcise prognoser.

38. Backcasting • Backcasting er basalt set en scenarieteknik, der tager udgangspunkt i den udvikling, der ønskes, i stedet for den udvikling, der forventes under nuværende forhold. • Backcasting er dog en normativ procedure, og sætter derfor ikke nødvendigvis noget tal på fremtidige trafikale behov. • Dermed kan den ikke bruges i en traditionel samfundsøkonomisk vurdering.

39. Opsummering • Trafikmodeller er gode til kortsigtede prognoser, men som alle modeller stiger usikkerheden med datakvalitet og tidsramme. • Der stilles store krav til modellerne fra beslutningstagerne, som ofte ikke kan imødekommes af modeludviklerne. • En trafikmodel, uanset hvor avanceret den er, er ingen garanti for at prognosen er præcis. • Det koster en masse penge, der kunne være brugt på at gennemføre de egentlige projekter.