Copy-paste metodologije iz medicine na probleme prometnog inženjerstva.

Na moju sramotu, tek sam prije 5-6 godina saznao za 50-tak godina staru paradigmu u medicini: evidence based medicine. Prvo sam se dobrano prestrašio jer sam, kao i mnogi drugi, pretpostavio da postoji i medicina koja nije temeljena na dokazima. Opće obrazloženje je jednostavno: evidence based madicine predstavlja promjenu paradigme gdje liječnici svoja mišljenja o dokazima zamjenjuju traženjima dokaza. Hrvatska televizija je emitirala, za mene fenomenalnu, emisiju o popularizaciji znanosti Treći element, gdje je jedna epizoda bila posvećena Medicini temeljenoj na dokazima. Ako zbog ničega drugog onda zbog brige o vlastitom zdravlju (procijeni kod kakvog ste liječnika došli) predlažem svakako pogledati.

Posjetitelj(ica) ove teme će vjerojatno nakon čitanja (olako) zaključiti da se ponaša u skladu s ovom paradigmom, ali (veliki ALI) predlažem da malo zastanete i procijenite kada ste zaista postupali po svim koracima ove metodologije, kada ste zaista (ustrajno) tražili dokaze (argumente, znanstvene činjenice) za rješenje problema.

Može li se i kako to preslikati u prometno inženjerstvo? U dvije trećine svakako, a u jednoj trećini se dosta razilazimo. Prvo ću dati prijedlog definicije. Prometno inženjerstvo temeljeno na dokazima (evidence based traffic engineering) predstavlja sustavni pristup rješavanju problema koji integrira najbolje dostupne znanstvene dokaze s inženjerskom ekspertizom i vrijednostima (očekivanjima) dionika. Umjesto ad hoc selekcije informacija ili prema pukom iskustvu okrećemo se strukturiranom procesu donošenja odluka. Bitno razilaženje je u odnosu prema subjektu. Liječnik vodi brigu o jednom pacijentu, a inženjeri/ke vode brigu o grupi dionika, vrlo različitih stavova, mišljenja i ciljeva. U projektu imamo dionike koji se brinu o vlasništvu prostora pa one koji se brinu o samom prostoru (urbaniste), imamo dionike iz područja komunalne infrastrukture i dionike koji se brinu o prirodi prostora (hortikultura), itd.. U konkretnim projektima nema problema jer projektni zadatak određuje što (ne) smijemo, dok kod studijskih dokumenta imamo pravo „veselje“, ali i to se na kraju riješi.

Pristup se temelji na pet ključnih koraka:

1. jasno definirano i odgovorivo inženjersko pitanje. Medicinari koriste PICO načelo, vrlo primjenjivo u inženjerskoj praksi: P (populacija ili dio prometnog prostora), I (indikator/intervencija; što će se napraviti), C (comparator/control – komparator, najčešće uspoređujemo s postojećim stanjem) i O (outcome – ishod, što (ni)smo dobili);
2. pronalaženje najboljih dokaza u literaturi, pri čemu se poštuje hijerarhija kvalitete dokaza; na vrhu su sustavni pregledi i meta-analize (kontroliranih, vjerodostojnih, službenih) studija, a na dnu naša osobna (pojedinačna, partikularna) mišljenja kao dokazi niske kvalitete.
3. kritička procjena dokaza s obzirom na njihovu valjanost (blizinu istini), pouzdanost i inženjersku važnost za predmet istraživanja; ovdje dolazimo do pojma „buke“; neželjene varijabilnosti u prosudbama stručnjaka koji na temelju istih podataka donose (vrlo) različite zaključke;
4. primjena dokaza kroz integraciju s profesionalnom stručnošću i specifičnim okolnostima, uz uvažavanje stavova dionika; inženjerska ekspertiza ovdje nije zamjena za dokaze, već sposobnost brzog identificiranja jedinstvenog stanja sustava i uravnoteženja (balansiranja) rizika i koristi;
5. evaluacija učinkovitosti i procesna revizija radi stalnog poboljšanja prakse.

Postoje brojne hijerarhije (trokuti) kvalitete dokaza, pronašao sam ih sa 6 – 9 slojeva. Ovdje prikazujem šest slojeva jer su aplikabilni u prometnom inženjerstvu. Od najvećeg, najtežeg, najskupljeg i najduljeg, ali i najkvalitetnijeg – sustavnog pregleda pa do osobnog mišljenja. O osobnim (stručnim) mišljenjima je najbolji stav zauzela američka spisateljica Simone Elkeles: Opinions are like … .

U trećem koraku metodologije se spominje „buka“. Pojam su uveli Daniel Kahneman i suradnici u svojoj knjizi Buka, a prometni inženjeri/ke se ovdje susreću s tri različite „buke“:

• buka razine; razlike u prosječnoj (ne)argumentiranoj strogoći ili (ne)opravdanom optimizmu stručnjaka;
• buka obrasca; reakcija pojedinog stručnjaka na specifične probleme/izazove,
• prigodna buka; promjena stava stručnjaka u različitim vremenima i(li) raspoloženjima.

Najpoznatija (i najnepoželjnija) buka je u sudskoj praksi gdje različiti suci za iste prekršaje presuđuju bitno različito, pri čemu i pojedinci za iste prekršaje presuđuju (bitno) drugačije, ovisno o dijelu godine i(li) različitim raspoloženjima (duševnim stanjima). U inženjerskoj praksi se buka rješava (znatno stišava) uvođenjem „higijene odlučivanja“: smjernicama, preporukama, tehničkim uvjetima. Korištenjem pisanih preporuka možemo dekomponirati neku (vrlo) složenu odluku na jednostavnije (pod)prosudbe, čime se smanjuje varijabilnost odluka među inženjerima/kama. Na kraju, ako smo potpuno nesigurni, možemo zamoliti za mišljenje kolege (neovisne stručnjake).

„Higijena odlučivanja“ je vrlo efikasan alat protiv „prometnih stručnjaka“, ali ujedno i pokazatelj zašto „stručnjaci“ imaju prođu u medijima. Oni pate od iluzije valjanosti, kognitivne pristranosti kod koje osoba precjenjuje točnost svojih predviđanja na temelju skupa podataka, čak i kada su ti podaci dokazano nepouzdani ili beznačajni.

Stručna mišljenja nisu slučajno na dnu hijerarhije dokaza. Svi smo zarobljeni u heuristikama dostupnosti i reprezentativnosti i često svoje stavove (mišljenja) pokušavamo ugurati u jedan sveobuhvatni, isključivo nama, prihvatljiv teorijski okvir. Ponekad „stanemo na loptu“, na početku nesigurni i svjesni vlastitih slabosti, što polako nestaje kroz kritičko i znanstveno (najčešće statističko) preispitivanje svih raspoloživih ulaznih podataka. Nakon toga postajemo svjesni svoje snage i s punim pouzdanjem izabiremo i koristimo tehnike i metodologije za nalaženje točnog odgovora – najboljeg rješenja. Ako i kada to sve svladamo dosegli smo razinu tri ili četiri prethodno pokazanog trokuta kvalitete dokaza, a to je za pojedinca ili mali stručni tim ono što razlikuje inženjera od „stručnjaka“.

Tablica pokazuje zašto je ovaj pristup (jako) dobrodošao i u inženjerskoj praksi.

Značajka	Medicina temeljena na dokazima (EBM)	Prometno inženjerstvo temeljeno na dokazima (EBTE)
Definicija	Integracija najboljih dokaza istraživanja s kliničkom ekspertizom i vrijednostima pacijen(a)ta.	Integracija najboljih empirijskih dokaza s inženjerskom ekspertizom i vrijednostima dionika transportnog sustava.
PICO načelo	Pacijent, Intervencija, Comparator (usporedba), Outcome (ishod).	Populacija/Prometni segment (što istražujemo), Intervencija (npr. uvođenje ITS servisa), Comparator (npr. s postojećim stanjem), Outcome (ocjena prometnog rješenja).
Hijerarhija dokaza	Vrh: Sustavni pregledi i meta-analize RCT-ova. Dno: Mišljenje stručnjaka.	Vrh: Meta-analize studija učinkovitosti mjera. Dno: Ad-hoc inženjerska procjena bez empirijske validacije.
Donošenje odluka	Izbjegavanje oslanjanja isključivo na patofiziološke mehanizme u korist kliničkih ishoda.	Izbjegavanje oslanjanja isključivo na determinističke modele u korist stvarnih operativnih i sigurnosnih ishoda.
Problem “buke” (Noise)	Različite dijagnoze stručnjaka na temelju istih simptoma; utjecaj umora i pristranosti.	Različite prognoze prometne potražnje ili procjene sigurnosti različitih stručnjaka u istom projektu.
Etička komponenta	Primjena tretmana s dokazanom koristi; izbjegavanje štetnih nuspojava.	Primjena infrastrukturnih rješenja koja dokazano smanjuju rizik od nesreća i ekološku štetu.

Budući da konkretne primjere imam samo u aktualnim projektima, morat ću posegnuti za par teoretskih, ali opet vrlo životnih koje susrećemo u svom poslu. Prvi je iz analize sigurnosti prometa za određivanje opasnih mjesta na cestama. Usporedbu je najlakše opet prikazati tablicom.

Analiza sigurnosti prometa

Značajka	Klasični inženjerski pristup (Arbitrarnost i fiksni pragovi)	Prometno inženjerstvo temeljeno na dokazima (EBTE) (Statistička značajnost i dokazi)
Identifikacija lokacije	Deterministička arbitrarnost: identifikacija se temelji na fiksno definiranim brojčanim pragovima unutar nekog vremenskog razdoblja i broja nesreća. Primjena jednog pravila na sve slučajeve, zanemarujući stohastičnost prometa.	Znanstvena značajnost: provodi se statističko ispitivanje stvarne stopa nesreća s kritičnom razinom izračunatom najčešće primjenom Poissonove distribucije. Nesreće su rijetki i slučajni događaji pa se lokacija proglašava opasnom samo ako njezino odstupanje od prosjeka sličnih lokacija nije rezultat „buke“ ili slučajnosti
Analiza uzroka i „buka“ u prosudbi	Subjektivna intuicija: analiza se oslanja na izlazak inženjera na teren i njegovo „iskustveno“ prepoznavanje problema. Uvodi se sustavna buka – dva različita stručnjaka s istim podacima donijet će različite zaključke.	Higijena odlučivanja: analitičar procjenjuje lokaciju bez prethodnog znanja o broju nesreća kako bi se izbjegla pristranost potvrđivanja. Odluka se dekomponira na neovisne indikatore (stanje kolnika, preglednost, signalizacija) prije donošenja holističkog zaključka.
Regresija na srednju vrijednost	Znanstvena pogreška: zanemaruje se regresija na srednju vrijednost. Privremeni „skok“ u broju nesreća zbog čiste slučajnosti (buke). Broj nesreća se iduće godine smanjuje sam od sebe, a uspjeh se (lažno) pripisuje mjerama sanacije (kognitivna pristranost).	Empirijska Bayesova metoda: Razdvaja „signal“ rizika od „buke“. Kombinacija povijesnih podataka s funkcijom izvodnicom (učinkovitosti) za procjenu stvarnog trenda.
Izbor mjera i evaluacija	Standardna rješenja iz priručnika: Provodi se jednostavna usporedba „prije i poslije“ bez kontrole vanjskih varijabli (poput promjene PGDP-a ili općeg trenda pada nesreća), što rezultira neodgovornim i znanstveno neutemeljenim prognozama uspjeha.	Znanstvena meta-analiza i hi-kvadrat test: izbor mjera temelji se na dokazanim koeficijentima smanjenja nesreća iz meta-analiza. Uspješnost se testira hi-kvadrat testom uz korištenje kontrolnih lokacija kako bi se dokazalo da je smanjenje nesreća doista uzrokovano inženjerskom intervencijom, a ne nekim trećim faktorom (Simpsonov paradoks).

Uspoređujući ovu tablicu sa službenom hrvatskom Metodologijom za identifikaciju opasnih mjesta na cestovnoj prometnoj mreži možemo biti ponosni da po tom pitanju u većoj mjeri slijedimo pozitivne svjetske trendove. Dokument je dostatno razrađen i stručan za nadogradnju prikazane metodologije potrebnim elementima u konkretnoj zadaći. Primjerice, dokument ne spominje izrijekom regresiju na srednju vrijednost, ali iz koncepcije i strukture dokumenta je jasno da se taj statistički fenomen može lako ugraditi u metodologiju, kao i Bayesovski pristup.

Dokazivanje statističke značajnosti putem RQC (Rate Quality Contro) metode nije samo „preciznije brojanje“, već predstavlja i uvođenje kognitivne higijene. Klasični pristup je opterećen predrasudama i arbitrarnim granicama, a pristup temeljen na dokazima koristi algoritamski utemeljene dokaze i statističku vjerojatnost.

Kod procjenjivanja i odlučivanja, poglavito u pitanjima sigurnosti prometa, MAP protokol (Mediating Assessments Protocol) ili protokol posredničkih procjena je izvrstan jer odgađa ljudsku (pristranu) prosudbu do samog kraja:
(1) dekompozicija procesa na osnovne (mjerljive) parametre; u prometu uvijek imamo gomilu (ne)vjerodostojnih ulaznih podataka
(2) što više koristiti druge izvore za usporedbu; maknuti svoja subjektivna iskustva i okrenuti se objektivnim (statistički utemeljenim) prosudbama,
(3) higijena informacija; upoznavanje problema bez prethodnog poznavanja ključnih podataka kako bi se izbjegao ikakav kognitivan utjecaj (predrasuda),
(4) zasebno razmatranje svakog inženjerskog indikatora; na stručnim sastancima ili kod osobne procjene prvo razmotriti svaki relevantan pokazatelj prije početka ikakvog zaključivanja,
(5) individualna procjena – rasprava – individualna procjena (estimate – talk – estimate); osobna procjena pokazatelja – upoznavanje ostalih anonimnih procjena glede izbjegavanja utjecaja hijerarhijski nadređenih osoba – konačna osobna procjena,
(6) prihvaćanje intuitivnih stavova tek nakon kompletiranja svih dokaza i procjena; inženjerska intuicija (znanje, iskustvo, predanost) je završni korektiv sigurno usidren u egzaktnim dokazima; o kognitivnoj pristranosti sidrenja pisao sam ovdje.

MAP protokol je predložen u već spomenutoj knjizi Buka. O subjektivnoj intuiciji neću ništa komentirati, možemo se na trenutak zastati, pogledati u ogledalo i sve će nam biti (ne)jasno. O izbjegavanju fenomena (problema) regresije na srednju vrijednost komentirao sam u ovoj temi, a u nekoliko tema sam promovirao Bayesovu statistiku; kao primjer navodim temu o procjeni točnosti mjerenja. Isto tako, pisao sam o učinkovitosti statističkih testova: hi-kvadrat testa i t-testa.

Grafička ilustracija opisanog postupka.

Koliko je prometno inženjerstvo temeljeno na dokazima primjenjivo po načelu copy-paste u drugim djelatnostima, pokazuje sljedeća grafika usporedbe pristupa rješavanju problema javnog prijevoza.

Na kraju, kako si ja tumačim ovaj pristup. Prometno inženjerstvo temeljeno na dokazima je strogi kognitivni režim koji suspendira brze intuicije (predrasude) i nameće analitičku strogost kao jedini validan put do točnih i ponovljivih inženjerskih rješenja. Ili još jednostavnije, postupak koji suspendira Sustav 1 i nameće nam korištenje Sustava 2 u važnim inženjerskim pitanjima.