Când greșește știința?

Articolul de față este un rău necesar. Am în plan o serie de articole care vor dezbate multe erori medicale, erori de interpretare sau tipare de gândire greșită. De asemenea vom intra în ceea ce ar fi teritoriul conspirațiilor Big Pharma dacă nu ar fi tristul adevăr.

În orice caz trebuie să avem și această discuție. Scepticii nu doar critică diverși pseudoștiințifici și râd de fabulațiile misticilor ci trebuie să își asume și critica oamenilor de știință atunci când aceștia eșuează. Ca toți ceilalți, oamenii de știință pot greși și pot cauza chiar probleme complexe datorită greșelilor. Există însă și o luminiță la capătul tunelului, respectiv faptul că metoda științifică are inclusă în ea însăși mecanisme de corecție și îndreptare, astfel încât, până la urmă orice eroare va fi îndreptată.

Această postare nu folosește exemple și este relativ dificilă, vă rog să puneți întrebări în comentarii.

Primele probleme ale cercetării științifice vin tocmai din propriile rigori. Nu e simplu să construiești un studiu folosind toate rigorile lui de raportare, structurare și respectare a criteriilor ce fac dintr-un studiu de calitate, o informație de referință.

Standardul în cercetare este studiul dublu orb randomizat. Desigur, deasupra studiului dublu orb stau meta-analizele și review-urile sistematice, dar baza asta este. De asemenea într-o categorie aparte intră studiile observaționale și raportarea cazuisticii noi. Nu le voi acoperi aici, dar voi nota că există o dezbatere între calitatea datelor obținute din studii observaționale vs cele dublu orb.

Totuși, despre studiile dublu orb am mai vorbit aici și mă citez:

A. Pacienții suferind de aceeași boală sunt împărțiți la înâmplare în două grupe, A și B. Una din grupe va primi medicamentul activ, iar cealalta doar un placebo identic dar nimeni (nici pacienții, nici medicii) nu știe ce va primi.

B. Toți pacienții vor lua medicamente cu aceeași regularitate, și starea le va fi monitorizată pe întreg parcursul experimentului. În mod ideal se vor folosi aparate pentru a verifica dacă medicamentul are efectul scontat. Să spunem că de aceste dozări și măsurători se ocupă doctorul Popescu, care dă pacienților pastile identice, din tuburi identice, zicând mereu aceleași cuvinte.

C. După momentul încheierii experimentului rezultatele culese se vor analiza statistic de către doctorul Ionescu care doar știe rezultatele efectelor medicamentului. După ce analiza s-a încheiat se află ce pacient aparține cărui grup (A sau B). Si de asemenea, tot acum se află care grup a primit de fapt un tratament inert și cine a primit medicamentul real. Pe baza datelor se află dacă medicamentul real este totuși mai eficient decât nimicul pe care l-au primit ceilalți.

Multe dintre studiile efectuate și publicate nu sunt efectuate însă corect.

Uneori intenționat, alteori din greșeală se pot întâmpla: randomizări incorecte, orbire greșită, interpretare greșită a datelor, limitări de timp și lipsă de validitate externă. De asemenea studiile sunt supuse și unor influențe de la personal, pe care le voi discuta mai jos.

Probleme inerente ale studiilor

Randomizări incorecte:

Reprezintă posibilitatea ca grupul de control (sau grupul de studiu) să fie incorect stabilit. De exemplu,grupul de control să nu fie statistic asemănător cu cel cercetat, cum s-ar putea întâmpla dacă se studiază, să presupunem, un medicament destinat oamenilor intre 30 și 50 de ani și grupul de control îi conține pe toți cei de 50 de ani. Este o încălcare flagrantă a regulilor unui studiu de calitate și acel studiu se transformă în timp pierdut și bani aruncați.

Orbire greșită

Orbirea, când e vorba de studii se referă la ascunderea unor date până la un anumit punct, astfel încât toți cei care manipulează datele să nu fie influențați de faptul că știu de unde provin acestea (de la substanța activă sau de la placebo). De asemenea orbirea se aplică și participanților, ei nu trebuie să știe cărui grup aparțin pentru că asta le poate influența rezultatele.

Orbirea greșită se poate manifesta în multe feluri subtile și unele chiar nedetectabile. De exemplu, dacă la împărțirea unui flacon conducătorul de experiment face cu ochiul unui pacient acesta poate trage concluzia că este în grupul placebo (șansele sunt 1 din 2 să aibă dreptate). Diferențele subtile în modul de administrare al medicamentului pot periclita întreg experimentul.

De asemenea, este posibil ca însăși ambalajul produsului studiat să fie greșit conceput astfel încât să informeze nu doar pacientul, ci și conducătorul experimentului care este împărțirea subiecților. Dacă ambalajul este ușor diferit, conducătorul experimentului poate știi pe loc care este structura grupelor de studiu și întreaga idee de rigurozitate s-a dus pe apa Sâmbetei.

Mai există câteva posibilități de rupere a orbirii, toate cu aceleași consecințe grave. Pe scurt, dacă documentele nu sunt în ordine, dacă substanța activă și placebo-ul sunt păstrate separat, dacă formulele de adresare către pacienți sunt diferite, oricare dintre aceste lucruri poate impacta calitatea orbirii și calitatea studiului.

Ca și termen științific în limba română, orbirea nu există (folosindu-se fraze altfel structurate), dar sper ca importanța ei este clară.

Interpretare greșită a datelor:

Coșmarul interpretării cu greu poate fi explicat. Există studii care au arătat că având metodologia corectă dar interpretarea greșită poți concluziona că anumite evenimente din trecut nu s-au întâmplat.

Din acest motiv, cercetătorii de calitate oferă cât mai multe date posibil și își verifică concluziile și interpretarea de câteva ori. Celebrul eveniment al ”particulelor care au depășit viteza luminii” a devenit public doar după multiple verificări interne pentru un rezultat ce depășea logica cunoscută.

Trebuie de asemenea să fac o diferență între interpretarea greșită a datelor și interpretarea voit greșită a datelor statistice. Cea de-a doua intră sub mantaua distorsiunilor de confirmare, prima însă ține mai mult de capacitatea investigatorului de a vedea ce îi arată datele cu adevărat. Uneori este greu de decelat zgomotul de semnal (signal to noise ratio) și dacă se face greșit, studiul este periclitat. Din fericire interpretările statistice sunt ușor de refăcut și dacă trebuie făcute modificări în concluzii sau studiu asta e locul de unde se poate începe.

Limitare de timp:

Există două tipuri de limitări din cauza timpului. Prima se referă la durata studiului în sine,  perioada de lucru fiind limitată de multiple criterii dar și de finanțarea disponibilă. Ori, un studiu care analizează rezultate după 3 luni va fi diferit de unul care analizează datele pe 3 ani.

De asemenea, există limitarea de timp a publicării rezultatelor. Multe studii rămân nepublicate pe perioade destul de lungi de timp, iar la momentul în care ies la lumină se poate spune că orice s-a descoperit, nu mai e la fel de interesant sau inovator.

Validitate externă:

Variabilitatea condițiilor în care se desfășoară un studiu este o cauză de îngrijorare. Iată câțiva factori de luat în seamă:

Localizarea studiului: ce e valabil în România nu este neapărat valid în Marea Britanie. De asemenea diferențele culturale joacă aici un rol semnificativ (românii mănâncă porc iar popoarele musulmane nu).

Caracteristicile pacienților: cei care iau parte la studiu nu sunt neapărat populația țintă pentru substanța activă (depinzând și de stadiul studiului). E posibil ca un studiu să evalueze siguranța unui medicament pe o populație de tineri dar aceeași substanță activă să aibă efecte diferite la vârsta a treia.

Diferențele dintre procedurile unui studiu (unde se urmărește atent diagnosticarea și evoluția pacienților) și lumea reală (unde pacienții sunt responsabili pentru sănătatea lor)

Raportarea incompletă a efectelor adverse. Unele pot fi trecute sub tăcere, altele pot fi neștiute chiar și echipei de cercetare (dacă pacientul a părăsit studiul).

Probleme ce țin de personalul de studiu

Bun, am trecut de problemele de design ale studiilor. Să mergem mai departe cu chestiunile ceva mai grave.

Efectul de sertar:

Se referă la studiile care nu sunt publicate niciodată pentru că nu au rezultate interesante, pentru că au rezultate negative, pentru că echipa de cercetare nu vede cum publicarea respectivului studiu le-ar aduce cercetare suplimentară. Aici trebuie înțeles că și cercetătorii se luptă pentru finanțare (uneori publică alteori privată) și un studiu care nu arată un efect promițător (adică o nouă linie de cercetare) poate fi ascuns intenționat.

Fabricare de date:

Cercetătorii sunt motivați de creșterea în carieră. Avansarea în carieră este strict legată de nivelul de studii efectuate și finanțarea obținută. Astfel încât presiunea pentru a fabrica date, dacă studiul nu produce efectele scontate, este destul de mare.

Falsificarea datelor:

Reprezintă modificarea echipamentelor, rezultatelor sau proceselor, incluzând aici și schimbarea sau modificarea unor rezultate. Rezultatul este că studiul nu trage concluziile reale, devenind astfel corupt.

Plagiatul:

Este folosirea ideilor și cercetării altor persoane pentru a împăna propria cercetare. S-a discutat anul trecut despre plagiat în detaliu, deci mai bine nu insist.

Părtinire de confirmare:

Unul dintre motivele pentru care orbirea este atât de importată în cercetare este faptul că cercetătorii pot influența interpretarea rezultatelor dacă știu de unde provine un anumit pachet de date. Majoritatea oamenilor care cercetează ceva nu se pot abține să nu își formeze o părere pozitivă sau negativă. Distorsiunea de confirmare, deși nu este intenționată, poate cauza modificarea datelor în direcția părerii individuale. Un exemplu este celebrul studiu la lui Michael Benveniste (un susținător al homeopatiei) al cărei asistentă producea date false în speranța că asta îl va ajuta pe șeful ei.

Luminița de la capătul tunelului

După cum vedeți problemele ce afectează studiile și personalul de cercetare sunt complexe și nici nu am atins toate posibilele metode prin care un studiu poate fi compromis.

Există însă o soluție și din fericire metoda științifică a încadrat această soluție în regulile de bază.

Soluția se numește – peer review și reproducerea rezultatelor

Peer review se referă la faptul că colegi din domeniul în care vrei să publici vor citi cercetarea efectuată și o vor evalua în funcție de mai multe criterii. Ei vor judeca dacă este o cercetare interesantă, dacă metodologia folosită este corectă și tot așa.

Apoi vor evalua importanța descoperirilor și cât de originală este lucrarea, după care vor face recomandarea către jurnalul dorit: se publică sau nu se publică

După publicare apare reproducerea rezultatelor

Asta înseamnă că undeva în lumea largă, un cercetător care ți-a citit lucrarea și s-a considerat intrigat de ceea ce ai descoperit va încerca sa vadă dacă ajunge la aceleași concluzii. Dacă da, atunci meriți o insignă de onoare, s-a dovedit că ceea ce ai descoperit este ceva real și poți ajunge celebru (dacă era chiar important). Dacă nu, pui burta pe carte din nou și cercetezi mai departe. Desigur, fiecare reproducere trebuie și ea analizată pentru erori și întreaga listă de probleme de mai sus. Și în mod ideal mai mulți cercetători lucrează în paralel pentru a reproduce rezultatele unui studiu.

E adevărat că acest proces este anevoios și uneori o concluzie greșită poate să ajungă chiar și în conștiința publicului și de acolo orice cercetare care demitizează ce a auzit publicul la TV este dificil, dacă nu imposibil de modificat. Un exemplu perfect este ideea că vitamina C ajută ceva în revenirea din răceală. Multiple studii au arătat că vitamina C nu are efectele promovate, dar asta nu prea contează, nu-i așa?

Din fericire, erorile de cercetare, de investigare și de interpretare sunt pana la urmă corectate și clarificate.

De asemenea, de-a lungul timpului, reproducerea rezultatelor face ca experimente mai vechi și poate uitate să fie revizuite, în așa fel încât noi și noi informații să decurgă din ele.

Și astfel cunoașterea umană face un pas înainte, ne putem declara un pic mai luminați și mai informați.

Nu e ușor, nu e rapid, nu e simplu și nu e ieftin. Dar este cel mai bun proces pe care îl avem pentru a determina și distinge realitatea de minciună. Oricine vă spune că a descoperit peste noapte miraculoase panacee, vă minte. Sau dacă nu vă minte trebuie să aibă zeci de studii de calitate în spate și susținerea întregii comunități științifice.

Nu vă mai lăsați păcăliți și rămâneți sceptici!

22 comments

  1. Foarte buna initiativa dar atentie la barbarisme (ex. “orbirea”; pentru evitarea lui se foloseste, deocamdata, perifraza). De verificat intotdeauna ce termeni au fost deja incetateniti pentru o notiune de specialitate. Un bun inceput ar fi aici: http://www.cmb.ro/hta/glosar.html
    Cu intentiile cele mai bune

  2. Procesul peer-review se refera la revizuirea manuscriselor inainte de publicare. Confirmarea sau infirmarea rezultatelor prin reproducerea studiului de cercetatori indendenti survine dupa publicare. Oricum, ambele mecanisme contribuie la autocorectarea cunoasterii stiintifice. Din pacate sunt insuficiente si uneori chiar total ineficiente (vezi contextul romanesc).

  3. “până la urmă orice eroare va fi îndreptată” … asta e o problema pentru ca nu metoda stiintifica indreapta erorile ci oamenii indreapta erorile folosind metoda stiintifica. e o mica, mare diferenta pentru ca
    1. unele studii necesita consum mare de resurse (materiale, financiare si umane) => nu oricine poate corecta erorile
    2. chiar daca exista resursele necesare oamenii de stiinta nu sunt sfinti si au propriile interese (materiale, ideologice etc)

    Eu am rezerve mari in privinta benevolentei oamenilor de stiinta actuali.

  4. Cred ca detectez influenta lui Goldacre in aceasta postare… in special in insinuarea din titlu. Logosfera.ro a postat cam ce vroiam si eu, dar o sa repet pentru cei ce vor sa se limiteze la titlu, ca “stiinta nu greseste, ci oamenii gresesc”.
    Si mai ales, avem asteptari atat de mari de la stiinta, incat uitam ca stiinta nu e absoluta, e doar un instrument care ne permite sa ne apropiem asimptotic de adevar.

      1. …ca in bancul ala cu gainile sferice aflate in vid! 🙂 Pai exact asta este o dovada ca stiinta nu este absoluta, pentru ca oricat de exact ai fi in intrebarea ta, stiinta te ajuta sa raspunzi doar la o parte din intrebare.

  5. Pentru orice experimente stiintifice existe protocoale specifice bine argumentate. Daca nu exista se vor face pana la urma mai ales daca se ajunge la concluzii ilogice sau care incalca legi ale naturii foarte bine demonstrate si de nenumarate ori.
    De multe ori problema nu vine din cauza faptului ca este gresita procedura sau ca s-a omis accidental un element al unei proceduri de verificare ci din cauza faptului ca de cele mai multe ori se ocoleste intentionat orice verificare cu buna stiinta. Se face referire in clipurile publicitare la proceduri de verificare facute de “cineva” pe “undeva” si “candva” dar nu se spune exact de catre exact “cine” au fost facute verificarile, “unde” exact au fost facute verificarile si, mai ales, “cand” exact au fost facute verificarile.

    Un exemplu : “produsul” TORSER (http://www.torser.com/ro/torser_product/overview/construction/contents_effect/default.aspx) …

    Conceptul este asemanator cu cel al bratarilor PowerBalance numai ca teoria este mai mult decat pseudostiintifica si la o prima verificare a informatiilor de pe site-ul produsului orice profan ar putea sa se ia cu mainile de cap (urmariti link-ul si spuneti-mi ce parere aveti despre constituentul “TELUR” ca element chimic si mai ales ca izotopi ce se regasesc in natura).

    Atunci cand vorbim de greseli inerente in realizarea unui experiment si in verificarea lui, dar nu avem de-a face cu reaua intentie de a promova ceva cu adevarat daunator atat cunoasterii cat si sanatatii, pana la urma adevarul iese la lumina. Cel care a gresit isi asuma RESPONSABILITATEA si face rectificarile de rigoare. Problema apare atunci cand sunt implicati oameni IRESPONSABILI care cu buna stiinta falsifica rezultate, promoveaza produse cu risc pentru sanatatea fizica, psihica sau chiar mentala a altor oameni.
    “A gresi este omeneste, a persevera in gresala este diabolic.”

    Nu este imoral si/sau ilegal sa te imbogatesti, daca o faci pe cale legala si morala. Este imoral si/sau ilegal sa te imbogatesti pe cai ilegale si imorale si mai ales in detrimentul oamenilor morali care desfasoara activitati legale.

    Nu ne putem pricepe toti la absolut orice. Toti putem fi pacaliti de escroci care stiu foarte bine cum sa induca suficienta credibilitate pentru a ne tepui intr-un domeniu pe care nu il stapanim.

    Nu, nu am luat teapa cu acest torser, dar asta tocmai pentru ca am fost curios inainte si am pus intrebari incomode …

      1. Tellur = element din grupa a VI-a principala cu numarul atomic 52.
        Problema este ca 2 din cei 3 izotopi naturali sunt radioactivi. Nici izotopul ne-radioactiv nu este chiar ok. Poate provoca intoxicatii letale in cantitati minuscule. Restul poate fi gasit pe nea Google.

  6. Citesc ceea ce scrii de catava vreme. E drept, printre picaturi, atunci cand timpul mi-o permite. Citesc pentru mi-ai atras atentia in urma cu ceva vreme, cand ai scris despre Colon Help si pentru ca intamplator, in proportie de 99% parerile mele si ale tale coincid. Intamplator sau nu, lucrez de multi ani in sistem ( lumea farma) si stiu cum stau si cum merg lucrurile atat din punctul de vedere al producatorului cat si din punctul de vedere al consumatorului. Ceea ce pot sa iti spun, fara intentia de a te supara sau jigni, este ca in unele cazuri nu detii informatia corecta. Nu e un repros, te rog sa nu te simti lezat. De exemplu acupunctura este specialitate medicala, nu terapie alternativa. Este specializare care se face sub egida ministerului sanatatii si la care nu pot aplica decat medici cu drept de libera practica, nu asistenti medicali, nu ingineri nu altceva. Homeopatia este specializare farmaceutica si medicala la care au acces numai medicii si farmacistii, tot sub aripa maaare a ministerului sanatatii.
    In ceea ce priveste conspiratiile din lumea farmaceutica, ti-as putea da materiale cat sa poti scrie o viata! Desi, sincer, nu cred ca ai nevoie de asa ceva! Priveste reclamele de la tv si o sa vezi cum din 5 bucati, 4 sunt la medicamente! Si nu oricare, ci derivati propionici cu adresabilitate directa la copii si sugari!Spun “nu orice” pentru ca e consacrat in farmacotoxicologie ca derivatii de acid propionic impiedica procesele de osificare la sugari si copii de varsta mica in mod deosebit. Mamele sunt invatate sa isi indoape copiii cu siropel cu aroma de capsuni sau portocale! Asta in antiteza cu reclamele care ne invata cum sa traim sanatos evitand abuzul de sare, zahar si grasimi! Sunt farmacist si ma ingrozesc cand vad cu cata usurinta sunt indobitociti oamenii sa priveasca medicamentul ca pe un bun de larg consum! Am scris foarte mult candva pe tema asta, dar nu am rezolvat nimic, era doar un blog banal, ca milioane altele pe net! Am obosit, e inutil… Poate tu vei gasi resursele sa faci mai mult decat am reusit eu. Sper sa nu iti pierzi entuziasmul si puterea de a merge mai departe! Succes!

    1. @Gallenus.
      Acupunctura nu este specialitate medicala. Adica, inteleg ca este acceptata de Ministerul Sanatatii si ca doar medicii au acces la a o practica dar asta nu o face specialitate medicala. O face o practica alternativa cu putine studii concludente asupra validitatii ei in toata gama de beneficii pe care si le aroga.
      Sigur, are niste beneficii (pentru dureri de spate daca imi amintesc bine), dar atunci cand sunt masurate contra cost si risc/beneficiu, nu prea merita.
      Homeopatia este o aberatie fantastica iar faptul ca medicii si farmacistiii au acces la ea este o stupiditate sistemica. Iarasi nu conteaza ca ministerul sanatatii zice ca e bine, ministerul sanatatii e prost. Si cand vine vorba de homeopatie pur si simplu lecturarea principiilor ei si analizarea lor cu stiinta in fata. e suficienta pentru a intelege ca e o mizerie. Bani aruncati si timp pierdut pentru apa cu zahar.

      In rest, suntem de acord, daca blogul tau mai e disponibil as fi interesat sa citesc.

      1. Daca acupunctura si homeopatia nu ar fi specialitati medicale, atunci orice aprozareasa ar putea avea o diploma care sa ateste ca a studiat asta. Dar nu are sens sa discutam in contradictoriu daca stii mai bine decat mine. In fond eu ma refeream strict la incadrarea legala, nu la aspecte care privesc eficienta. Daca aveam convingerea eficientei faceam aceasta specializare. Blogul este disponibil, dar e banal si este mai mult un pretext ca niste colegi sa isi mai dea cate un telefon din cand in cand. Scriu rar in ultimul timp si sunt convinsa ca te-ar plictisi, motiv pentru care nici nu am completat campul cu pricina.
        Si pentru ca tot mi-am adus aminte, legat de Zenith, sunt foarte multe de spus. “Pharmaceuticals” ??? Pana una alta ei fac suplimente alimentare, nu produse farmaceutice. Este cu totul si cu totul altceva. Intr-o tara civilizata autoritatile te-ar pescui rapid pentru arogarea unor atribute nemeritate. In Romania insa e posibil orice!

        1. Nu stiu daca avem legislație suficienta pentru a interzice companiilor sa se numească cum le trece prin cap. Da, pe principiul asta sunt specialități medicale dar doar pentru ca nimeni din MS nu se uita mai atent la ele.

  7. Legislatie este, har domnului! Ceea ce nu avem e dorinta de a o aplica. De 15 ani imi mananc zilele in sistemul asta, e putred din crestet pana in talpi! Cum spuneam, am obosit sa mai scriu si sa mai spun… Poate altii pot mai mult decat mine.Romanii sunt mina de aur pentru companiile farmaceutice. Si o spun avand proprietatea cuvintelor. Piata de consum perfecta pentru cine vrea sa faca bani vanzand produse … hai sa le zicem indoielnice, ca sa folosesc cuvinte decente.
    Cat despre indemnul la consumul de medicamente nu are sens sa vorbim! Bagati, fratilor in voi chimicale cat cuprinde, ca apoi veniti sa va tratam tot noi!
    Ce sa zic, mi-e greata…

    1. Hoa! Cred ca am intrat gresit, mi s-a parut ca era un topic despre limitele stiintei, pe un blog sceptic!
      Nu e ca n-as vrea sa vad discutia asta dezvoltata (ca doar “romanii sunt experti in fotbal, politica si medicamente”), dar de ce nu intr-un spatiu dedicat, de o maniera sistematica?

Leave a Reply