semmiből pattan elő, lángoló trombitát fújva. Az adatok
talányosak, és nehéz következtetésekre jutni belőlük.
Az egyik egyszerű és népszerű módszer
konfidenciaintervallumokat is megadni a p-értékek mellett.
Ehhez egy kicsit tágítani kell a gondolatkörön: nemcsak
egyetlen nullhipotézist kell tekintetbe venni, hanem egy egész
sorozatra valót. Talán egy online üzletet vezetsz, és kisipari
munkával előállított cikcakkvágó ollókat árulsz benne. Mivel
modern lény vagy (azt leszámítva, hogy kisiparban gyártod az
ollót), egy A/B tesztet szeretnél elvégezni: látogatóid fele a
weboldal mostani változatát (A) látja majd, a másik felük egy
átalakított változatot (B): azon egy olló elénekel egy kis
dalocskát, és táncot jár a „Vegyél meg most” feliratú
nyomógomb fölött. Kiderül, hogy a B változat révén 10
százalékkal nő a bevételed. Remek! De mert hajlamos vagy a
töprengésre, esetleg aggódni fogsz, hogy ez a növekedés nem
csupán véletlenszerű ingadozás-e – kiszámítod tehát a p értékét,
és arra jutsz, hogy mindössze 0,03 a valószínűsége annak, hogy
a weboldal újratervezése nélkül is ilyen jó eredmény adódott
volna (vagyis a nullhipotézis ekkora valószínűséggel helyes).[^70 ]
De miért kellene itt megállni? Ha már fizetek egy
egyetemistának, hogy táncoló ollókat tegyen a webhelyem
összes oldalára, akkor nemcsak azt szeretném tudni, hogy vajon
az jó lesz-e, hanem azt is, hogy mennyire lesz jó. A látott hatás
vajon összeegyeztethető-e azzal a feltevéssel, hogy az áttervezés
hosszú távon csak 5%-kal növeli az eladást? Ha ezt a feltevést