Zdroje chyb ve vědeckých studiích

Z WikiSkript

(přesměrováno z Chyby ve vědeckých studiích)

Věda - vědecká metoda - je systematický způsob osvojování světa, který přináší nejlepší možné výsledky při popisu, predikci a vysvětlení okolního světa.

Navzdory snaze posuzovat racionálně všechny dostupné informace a odvozovat z nich logické závěry narážíme při tomto procesu osvojování světa na řadu omezení a zdrojů chyb, které zpomalují postup a zkreslují výsledky.

Jedním z metodických omezení vědeckého výzkumu je požadavek na opakovatelnost. To znamená, že výsledky experimentu nebo pozorování musí být za stejných podmínek reprodukovatelné, aby byla zajištěna jejich spolehlivost a vědecká platnost. Ze podmínku vědeckosti uvažování lze považovat požadavek vznesený filozofem Kalem Popperem (tzv. Popperova břitva), že podmínkou vědeckosti teorie je její vyvratitelnost, zpochybnitelnost (falzifikovatelnost). Tedy, že pokud je teorie vědecká, měl by jít navrhnout experiment, který ji vyvrátí. Tato omezení komplikují zkoumání vzácných přírodních jevů, které nejsme schopni reprodukovat (kulový blesk, ...). Podobně "mimo vědu", stojí některé koncepty, které z principu nelze vyvrátit (ideologie, psychoanalýza, existence boží, ...).


Kromě metodických omezení dochází ve vědeckém uvažování běžně k omylům a chybám, a zcela výjimečně i k vědomým manipulacím. Chyby a zkreslení ve vědeckém výzkumu mohou být nahodilé, kdy do měření zasahují další vlivy, které nemáme pod kontrolou (nepřesnost, šum). Na druhou stranu mohou být chyby systematické, vzniklé metodickým pochybením. Tomuto druhu zkreslení říkáme bias.

Díky pokroku v EBM je možné mít lepší přehled o potenciálních zdrojích systematického zkreslení (bias) v jednotlivých typech studií, být zdravě skeptický i ke svým přesvědčením a omezit tak možná zkreslení výsledků při vlastním výzkumu[1].

Bias[upravit | editovat zdroj]

Zkreslení výzkumu (bias) je definováno jako "odchylka výsledků nebo závěrů od pravdy, popř. souhrn procesů vedoucích k takové odchylce" [2][3].

Bias by ovšem neměl být zaměňován s nepřesností. Bias odkazuje na systematické chyby, což znamená, že i vícenásobné provedení stejné studie by stejně vedlo k nesprávné odpovědi. Naproti tomu nepřesnost označuje chybu, která se do studie promítá náhodně. V tomto případě by vícenásobné opakování stejné studie ukázalo rozptyl výsledků kvůli náhodným chybám, ale v průměru by poskytlo odpověď správnou. [4]

Vyhnout se metodickému zkreslení v průběhu tvorby vědecké studie je velmi obtížné – naprostá většina studií (od laboratorních experimentů přes kohortové studie po metaanalýzy) určitý prvek zkreslení (bias) obsahuje [5].

Bias může výsledky studií ovlivňovat ve dvou směrech – různý bias může vést k podcenění nebo naopak nadhodnocení efektu skutečné intervence. Bias se rovněž může lišit v rozsahu: některá zkreslení jsou malá (a triviální ve srovnání s pozorovaným účinkem) a některá jsou velká (tzn. že konkrétní výsledek může být zcela způsoben zkreslením). Obvykle není možné zjistit, do jaké míry ovlivnilo dané zkreslení výsledky konkrétní studie (i když existují kvalitní empirické důkazy, že konkrétní nedostatky v koncepci, provádění a analýze vědeckých studií vedou ke zkreslení). Výsledky některých studií mohou být ve skutečnosti nestranné i přes metodickou chybu, je tedy vhodné zvážit riziko zaujatosti (z angl. risk of bias). Toto platí mimo jiné zejména v případě, že ve větším množství analyzujeme nebo jinak pracujeme s daty primárních studií (např. tvoříme systematický přehled nebo metaanalýzu). [6]

Typy zkreslení[upravit | editovat zdroj]

Analyzování senzitivity a specificity v DTA metaanalýze

Primárním zdrojem zkreslení jsou naše vlastní přesvědčení a již zaběhlé tradice se zkušenostmi, které narušují objektivitu obsahu, jenž tvoříme. Asi nejvhodnějším a všudypřítomným příkladem je tzv. konfirmační zkreslení. K tomuto typu zkreslení dochází následkem lidské předpojatosti, kdy máme tendenci typicky nevědomě podporovat takové závěry, jež se shodují s naším vlastním iniciálním přesvědčením [7][8]. Dalším zkreslením, které vychází primárně z individuálního přístupu autora studie, je tzv. reputační zkreslení. Znamená to, že ve svých referencích raději uvedeme osobu, která je v oboru vážená či ji osobně známe a máme pak tendenci ji ve finálním souhrnu bibliografie uvést na úkor jiných publikací [9].

Bias dále může vzniknout v jednom (či více) z následujících kroků:

  1. iniciální výběr účastníků studie (selekční bias),
  2. implementace studie,
  3. analýza výsledků [5].


Selekční bias[upravit | editovat zdroj]

K selekčnímu zkreslení dochází v případě, když populace (účastníci) studie nejsou reprezentativním vzorkem cílové populace. Vnější validita je tedy sporná a závěr učiněný ve studii by neměl být rozšířen na další pacienty. Ještě závažnější zkreslení vzniká, pokud je zkreslení výběru rozdílné, tj. pokud se způsob výběru pacientů liší mezi dvěma nebo více skupinami. Důvodem k selekčnímu zkreslení je pouze malý vzorek účastníků, výsledky takové studie jsou více nahodilé. [10][11]

Každý typ studie má svá vlastní "typická" rizika zkreslení. Jako příklad selekčního zkleslení uvedeme hodnocení přesnosti diagnostických testů (DTA – z angl. diagnostic test accuracy), u nějž jsou důležité dva ukazatele – specificita a senzitivita. Jejich hodnoty jsou přímo závislé na výběru testovaných účastníků. V případě, že je do studie zařazena pouze část účastníků (např. s těžkým průběhem určitého onemocnění), vznikne zkreslený výsledek efektivity daného diagnostického testu. [12][13][14]

Bias v průběhu implementace studie[upravit | editovat zdroj]

Zkreslení, které mohou vzniknout v této části tvorby studie, je hned několik, uvedeme tři příklady.

  1. Zaujatost tazatele (interviewer bias) – vzniká na základě způsobu, jakým se získávají, zaznamenávají nebo interpretují konkrétní informace. Označujeme jím zkreslení, kterého se autor (interviewer) dopouští, pokud předem zná průběh zkoumané problematiky (např. onemocnění). Pokud bychom chtěli toto riziko zkreslení minimalizovat, zařídíme to, aby byl autor nezávislý a nestranný ve vyhodnocování jednotlivých výsledků (např. prospektivně vedená databáze, resp. vyhodnocování výsledků vykoná jiný specialista, který není předem obeznámem výsledky léčby apod.). [15][16]
  2. Chronologické zkreslení (chronological bias) – vzniká, pokud se aplikují již publikované ("historické") studie a její účastníci jako srovnávací skupina pro současné účastníky, kteří podstupují určitou intervenci. Zkreslení spočívá v nerovnováze diagnostiky, způsobu léčby a získávání preferovaných výsledků. Jako příklad mohou být například chirurgické retrospektivní studie – pokud budeme porovnávat současné chirurgické výsledky s těmi před 10. lety, vznikne zkreslení, neboť podmínky léčby nejsou v těchto dvou skupinách pacientů stejné. [17]
  3. Přenosová zaujatost (transfer bias) – je u kohortových studií přítomen v naprosté většině případů. Pokud studie sleduje výsledek léčby u konkrétní skupiny pacientů, často se stává, že část z nich není dostupná k follow-upu – tzn. že u nich není možné zkontrolovat dlouhodobý výsledek. Otázkou pro autory studií tedy je, zda množství těchto "ztracených" pacientů je příliš velké a hrozí tak zkreslení závěrů jejich studie či nikoliv. [18]

Bias po analýze dat[upravit | editovat zdroj]

Nejčastější zkreslení, se kterým se u vědeckých studií potýkáme je tzv. citation bias známé také jako publikační zkreslení. To se vztahuje na tendenci, kdy autoři vědeckých prací nemusí být vždy ochotni zveřejnit nepříznivé výsledky jejich publikací. Často se tedy stává, že je větší pravděpodobnost publikování studie s pozitivními výsledky v porovnání s citací mající výsledky negativní. Aby se tomuto zkreslení dalo předcházet, je povinností autorů zejména randomizovaných klinických a prospektivních kohortových studií jejich citaci zapsat do veřejně dostupného registru. [19][20][21]

Zhodnocení zkreslení v systematických přehledech a metaanalýzách[upravit | editovat zdroj]

QUADAS zhodnocení rizika zkreslení primárních studií v metaanalýze

Jak již bylo zmíněno výše, pokud pracujeme s více primárními studiemi (a jejich daty), je nutné zhodnotit riziko zkreslení, aby bylo retrospektivně ověřitelné, že se jedná o relevantní a empiricky podložené výsledky. Pro tento účel se využívají specifické nástroje pro zhodnocení metodického zkreslení. Existuje jich celé spektrum, zde uvedeme pár příkladů těch nejčastěji využívaných:

  • Cochrane Risk of Bias Tool – velmi kvalitní a profesionálně propracovaný nástroj, existuje několik modalit, jež je možné aplikovat na daný typ studií;
  • QUADAS-2 – nejznámější nástroj pro hodnocení kvality diagnostických testů;
  • AMSTAR – jednoduchý nástroj, využívá se zejména pro systematické přehledy obsahující menší počet analyzovaných studií;
  • Newcastle-Ottawa Scale – je ho možné použít pouze pro kazuistiky a kohortové studie.


Kromě individuální metodické kvality primárních studií se hodnotí rovněž výše zmíněný potenciální bias – jakým způsobem byla identifikována literatura, zda selektování relevantních studií probíhalo nezávisle a zda byla akurátně extrahována a analyzována data. [22]

Videotéka[upravit | editovat zdroj]

Shrnující video v angličtině o typech zkreslení v medicínském výzkumu, základní důvody jeho vzniku a návrhy, co je možné udělat pro jeho eliminaci.


Odkazy[upravit | editovat zdroj]

Související články[upravit | editovat zdroj]

Externí odkazy[upravit | editovat zdroj]

Použitá literatura[upravit | editovat zdroj]

  • HIGGINS, Julian a Sally GREEN. Cochrane Handbook for Systematic Reviews of Interventions. - vydání. Wiley, 2008. 672 s. ISBN 9780470699515.
  • BORENSTEIN, Michael. Introduction to Meta-Analysis. - vydání. Wiley, 2009. 421 s. ISBN 9780470057247.
  • TU, Yu-Kang a Darren GREENWOOD. Modern Methods for Epidemiology. - vydání. Springer Science & Business Media, 2012. 316 s. ISBN 9789400730243.
  • HENDL, Jan. Přehled statistických metod zpracování dat : analýza a metaanalýza dat. - vydání. Portál, 2004. 583 s. ISBN 9788071788201.

Reference[upravit | editovat zdroj]

  1. ↑ GODLEE, F.. Milestones on the long road to knowledge. BMJ. 2007, roč. suppl_1, vol. 334, s. s2-s3, ISSN 0959-8138. DOI: 10.1136/bmj.39062.570856.94.
  2. ↑ SACKETT, David L.. Bias in analytic research. Journal of Chronic Diseases. 1979, roč. 1-2, vol. 32, s. 51-63, ISSN 0021-9681. DOI: 10.1016/0021-9681(79)90012-2.
  3. ↑ GRIMES, David A a Kenneth F SCHULZ. Bias and causal associations in observational research. The Lancet. 2002, roč. 9302, vol. 359, s. 248-252, ISSN 0140-6736. DOI: 10.1016/s0140-6736(02)07451-2.
  4. ↑ SUZUKI, Etsuji, Toshihide TSUDA a Toshiharu MITSUHASHI. Errors in causal inference: an organizational schema for systematic error and random error. Annals of Epidemiology. 2016, roč. 11, vol. 26, s. 788-793.e1, ISSN 1047-2797. DOI: 10.1016/j.annepidem.2016.09.008.
  5. ↑ a b LAMBERT, Jerome. Statistics in Brief: How to Assess Bias in Clinical Studies?. Clinical Orthopaedics & Related Research. 2011, roč. 6, vol. 469, s. 1794-1796, ISSN 0009-921X. DOI: 10.1007/s11999-010-1538-7.
  6. ↑ GLUUD, Lise Lotte. Bias in Clinical Intervention Research. American Journal of Epidemiology. 2006, roč. 6, vol. 163, s. 493-501, ISSN 1476-6256. DOI: 10.1093/aje/kwj069.
  7. ↑ NICKERSON, Raymond S.. Confirmation Bias: A Ubiquitous Phenomenon in Many Guises. Review of General Psychology. 1998, roč. 2, vol. 2, s. 175-220, ISSN 1089-2680. DOI: 10.1037/1089-2680.2.2.175.
  8. ↑ PETERS, Uwe. What Is the Function of Confirmation Bias?. Erkenntnis. 2020, roč. ?, vol. ?, s. ?, ISSN 0165-0106. DOI: 10.1007/s10670-020-00252-1.
  9. ↑ SAFÓN, Vicente a Domingo DOCAMPO. Analyzing the impact of reputational bias on global university rankings based on objective research performance data: the case of the Shanghai Ranking (ARWU). Scientometrics. 2020, roč. 3, vol. 125, s. 2199-2227, ISSN 0138-9130. DOI: 10.1007/s11192-020-03722-z.
  10. ↑ ROBERTS, Robin S., Walter O. SPITZER a Terry DELMORE. An empirical demonstration of Berkson's bias. Journal of Chronic Diseases. 1978, roč. 2, vol. 31, s. 119-128, ISSN 0021-9681. DOI: 10.1016/0021-9681(78)90097-8.
  11. ↑ TRIPEPI, Giovanni, Kitty J. JAGER a Friedo W. DEKKER. Selection Bias and Information Bias in Clinical Research. Nephron Clinical Practice. 2010, roč. 2, vol. 115, s. c94-c99, ISSN 1660-2110. DOI: 10.1159/000312871.
  12. ↑ EUSEBI, Paolo. Diagnostic Accuracy Measures. Cerebrovascular Diseases. 2013, roč. 4, vol. 36, s. 267-272, ISSN 1421-9786. DOI: 10.1159/000353863.
  13. ↑ LEEFLANG, M.M.G.. Systematic reviews and meta-analyses of diagnostic test accuracy. Clinical Microbiology and Infection. 2014, roč. 2, vol. 20, s. 105-113, ISSN 1198-743X. DOI: 10.1111/1469-0691.12474.
  14. ↑ HAJIAN-TILAKI, Karimollah. Sample size estimation in diagnostic test studies of biomedical informatics. Journal of Biomedical Informatics. 2014, roč. ?, vol. 48, s. 193-204, ISSN 1532-0464. DOI: 10.1016/j.jbi.2014.02.013.
  15. ↑ WYNDER, Ernst L.. Investigator bias and interviewer bias: The problem of reporting systematic error in epidemiology. Journal of Clinical Epidemiology. 1994, roč. 8, vol. 47, s. 825-827, ISSN 0895-4356. DOI: 10.1016/0895-4356(94)90184-8.
  16. ↑ DAVIS, R. E., M. P. COUPER a N. K. JANZ. Interviewer effects in public health surveys. Health Education Research. 2009, roč. 1, vol. 25, s. 14-26, ISSN 0268-1153. DOI: 10.1093/her/cyp046.
  17. ↑ PARADIS, Carmen. Bias in surgical research. Ann Surg [online]. 2008, vol. 248, no. 2, s. 180-8, dostupné také z <https://doi.org/10.1097/SLA.0b013e318176bf4b>. ISSN 0003-4932 (print), 1528-1140. 
  18. ↑ ULTEE, Jetske, Johan W VAN NECK a Jean Bart JAQUET, et al. Difficulties in conducting a prospective outcome study. Hand Clin [online]. 2003, vol. 19, no. 3, s. 457-62, dostupné také z <https://www.ncbi.nlm.nih.gov/pubmed/12945643>. ISSN 0749-0712. 
  19. ↑ DEANGELIS, Catherine D., Jeffrey M. DRAZEN a Frank A. FRIZELLE. Clinical Trial Registration. JAMA. 2004, roč. 11, vol. 292, s. 1363, ISSN 0098-7484. DOI: 10.1001/jama.292.11.1363.
  20. ↑ LAINE, Christine, Richard HORTON a Catherine D. DEANGELIS. Clinical Trial Registration — Looking Back and Moving Ahead. New England Journal of Medicine. 2007, roč. 26, vol. 356, s. 2734-2736, ISSN 0028-4793. DOI: 10.1056/nejme078110.
  21. ↑ VAN AERT, Robbie C. M., Jelte M. WICHERTS a Marcel A. L. M. VAN ASSEN. Publication bias examined in meta-analyses from psychology and medicine: A meta-meta-analysis. PLOS ONE. 2019, roč. 4, vol. 14, s. e0215052, ISSN 1932-6203. DOI: 10.1371/journal.pone.0215052.
  22. ↑ PALMOWSKI, Andriko a Sabrina M. NIELSEN. Pitfalls in meta-analysis. Inflammopharmacology. 2019, roč. 2, vol. 28, s. 617-618, ISSN 0925-4692. DOI: 10.1007/s10787-019-00606-4.
Citováno z „https://www.wikiskripta.eu/index.php?title=Zdroje_chyb_ve_vědeckých_studiích&oldid=462014“