Διερεύνηση της «περιστροφής» σε επιστημονικά περιοδικά
Μια πρόσφατη μελέτη διερεύνησε την «περιστροφή» σε ερευνητικά έγγραφα ψυχιατρικής και ψυχολογίας. Οι συγγραφείς της μελέτης βρήκαν περιστροφή σε περισσότερες από τις μισές περιλήψεις που ανέλυσαν.Τι αντίκτυπο μπορεί να έχει αυτό στις αποφάσεις γιατρών;
Καθώς οι ειδήσεις και τα μέσα ενημέρωσης ανταγωνίζονται για προβολές, μερικές φορές μπορούν να υπερβάλλουν τους τίτλους και το περιεχόμενο για να προσελκύσουν τον αναγνώστη.
Παρόλο που πολλοί πιστεύουν ότι τα επιστημονικά περιοδικά είναι μερικές από τις πιο αξιόπιστες πηγές πληροφοριών, δεν είναι απρόσβλητοι από την επιθυμία ανάγνωσης και κοινής χρήσης.
Μια πρόσφατη μελέτη ξεκίνησε για να αξιολογήσει πόσα «συγγραφείς» χρησιμοποίησαν οι συγγραφείς στις περιλήψεις ερευνητικών εργασιών που δημοσιεύθηκαν σε περιοδικά ψυχολογίας και ψυχιατρικής.
Επέλεξαν να δουν περιλήψεις επειδή συνοψίζουν ολόκληρο το χαρτί και οι γιατροί τις χρησιμοποιούν συχνά για να βοηθήσουν στην ενημέρωση των ιατρικών αποφάσεων.
Τι είναι το σπιν;
Σε αυτή τη μελέτη, οι συγγραφείς περιγράφουν τον ορισμό τους για την περιστροφή ως εξής:
"[T] χρησιμοποιεί συγκεκριμένες στρατηγικές αναφοράς, από οποιοδήποτε κίνητρο, για να επισημάνει ότι η πειραματική θεραπεία είναι ωφέλιμη, παρά μια στατιστικά μη σημαντική διαφορά για το αρχικό αποτέλεσμα, ή για να αποσπάσει τον αναγνώστη από στατιστικά μη σημαντικά αποτελέσματα."
Οι συγγραφείς δημοσίευσαν τα ευρήματά τους στο περιοδικό Ιατρική βασισμένη σε στοιχεία BMJ. Κοίταξαν άρθρα από τα έξι κορυφαία περιοδικά ψυχιατρικής και ψυχολογίας από το 2012-2017.
Περιλαμβάνονται τα περιοδικά JAMA Ψυχιατρική, ο Αμερικανικό περιοδικό Ψυχιατρικής, και το Βρετανικό περιοδικό Ψυχιατρικής.
Συγκεκριμένα, οι ερευνητές επικεντρώθηκαν σε τυχαιοποιημένες ελεγχόμενες δοκιμές με «μη σημαντικά πρωτεύοντα τελικά σημεία». Το πρωταρχικό τελικό σημείο μιας μελέτης είναι το κύριο αποτέλεσμα της μελέτης και το "μη σημαντικό" σε αυτό το πλαίσιο σημαίνει ότι, στατιστικά, η ομάδα δεν βρήκε αρκετά στοιχεία για να υποστηρίξει τη θεωρία τους.
Το Spin διατίθεται σε πολλές μορφές, όπως:
- επιλεκτικά αναφέροντας τα αποτελέσματα, όπου οι συγγραφείς αναφέρουν μόνο συγκεκριμένα αποτελέσματα
- P-hacking, όπου οι ερευνητές διεξάγουν μια σειρά στατιστικών δοκιμών, αλλά δημοσιεύουν μόνο τα στοιχεία από δοκιμές που παράγουν σημαντικά αποτελέσματα
- ακατάλληλη ή παραπλανητική χρήση στατιστικών μέτρων
Πόσο συχνή είναι η περιστροφή;
Συνολικά, ανέλυσαν τις περιλήψεις 116 εγγράφων. Από αυτά, το 56% έδειξε στοιχεία περιστροφής. Αυτό περιλάμβανε περιστροφή στο 2% των τίτλων, 21% των ενοτήτων αποτελεσμάτων της περίληψης και 49% στις ενότητες συμπερασμάτων της περίληψης. Στο 15% των εργασιών, η περιστροφή ήταν παρούσα τόσο στα αποτελέσματα όσο και στα συμπεράσματα των περιλήψεων.
Οι ερευνητές διερεύνησαν επίσης εάν η χρηματοδότηση της βιομηχανίας συνδέεται με την περιστροφή. Ίσως εκπληκτικά, δεν βρήκαν στοιχεία που να αποδεικνύουν ότι η οικονομική υποστήριξη από τη βιομηχανία αύξησε την πιθανότητα περιστροφής.
Τα ευρήματα αφορούν. Παρόλο που η περιστροφή στα μέσα ενημέρωσης γενικά ανησυχεί από μόνη της, οι γιατροί χρησιμοποιούν ερευνητικά έγγραφα για να βοηθήσουν στη λήψη κλινικών αποφάσεων. Όπως γράφουν οι συγγραφείς:
«Οι ερευνητές έχουν ηθική υποχρέωση να αναφέρουν με ειλικρίνεια και σαφήνεια τα αποτελέσματα της έρευνάς τους». Ωστόσο, στην αφηρημένη ενότητα, οι συγγραφείς μπορούν να επιλέξουν και να επιλέξουν τις λεπτομέρειες που περιλαμβάνουν. Οι συγγραφείς της τρέχουσας μελέτης ανησυχούν για το τι μπορεί να σημαίνει για τους γιατρούς:
«Η προσθήκη περιστροφής στην περίληψη ενός άρθρου μπορεί να παραπλανήσει τους γιατρούς που προσπαθούν να εξαγάγουν συμπεράσματα σχετικά με μια θεραπεία για ασθενείς. Οι περισσότεροι γιατροί διαβάζουν μόνο το άρθρο που αφαιρεί την πλειοψηφία του χρόνου. "
Οι επιπτώσεις
Παρόλο που οι ερευνητές δεν έχουν διερευνήσει τα αποτελέσματα της περιστροφής σε μεγάλο βάθος, οι συγγραφείς επισημαίνουν μια μελέτη που σφυρηλατεί το σημείο τους.
Σε αυτό, οι επιστήμονες συνέλεξαν αποσπάσματα από το πεδίο της έρευνας για τον καρκίνο. Όλες ήταν τυχαιοποιημένες ελεγχόμενες δοκιμές με στατιστικά μη σημαντικό πρωτογενές αποτέλεσμα. Όλες οι περιλήψεις περιλάμβαναν περιστροφή.
Οι ερευνητές δημιούργησαν δεύτερες εκδόσεις αυτών των περιλήψεων στις οποίες αφαίρεσαν το σπιν. Στρατολόγησαν 300 ογκολόγους ως συμμετέχοντες. Οι ερευνητές έδωσαν στους μισούς μια αρχική περίληψη με περιστροφή, και έδωσαν στο άλλο μισό την περίληψη χωρίς περιστροφή.
Ανησυχητικά, οι γιατροί που διάβασαν τις περιλήψεις με περιστροφή αξιολόγησαν την παρέμβαση που καλύπτεται στο έγγραφο ως πιο ευεργετική.
Όπως γράφουν οι συγγραφείς της πρόσφατης μελέτης: «Αυτοί που γράφουν χειρόγραφα κλινικής δοκιμής γνωρίζουν ότι έχουν περιορισμένο χρόνο και χώρο για να τραβήξουν την προσοχή του αναγνώστη. Τα θετικά αποτελέσματα είναι πιο πιθανό να δημοσιευτούν και πολλοί συγγραφείς χειρογράφων έχουν στραφεί σε αμφισβητήσιμες πρακτικές αναφοράς για να ομορφύνουν τα αποτελέσματά τους. "
Μια άλλη μελέτη, που δημοσιεύθηκε το 2016, επεκτείνει το πεδίο αυτού του τεύχους. Διερεύνησαν πώς οι ομότιμοι κριτικοί - έμπειροι επιστήμονες που εξετάζουν τα έγγραφα πριν από τη δημοσίευση - επηρέασαν την περιστροφή. Διαπίστωσαν ότι στο 15% των περιπτώσεων, ο ομότιμος κριτής ζήτησε από τους συγγραφείς να προσθέσουν σπιν.
Η τρέχουσα μελέτη έχει ορισμένους περιορισμούς. Για παράδειγμα, αυτά τα ευρήματα ενδέχεται να μην ισχύουν για άλλα περιοδικά ή ερευνητικούς τομείς. Σημειώνουν επίσης ότι ο προσδιορισμός της περιστροφής είναι μια υποκειμενική προσπάθεια, και παρόλο που χρησιμοποίησαν δύο ανεξάρτητα προγράμματα εξαγωγής δεδομένων, υπάρχει περιθώριο για λάθη.
Το ακριβές μέγεθος του ζητήματος περιστροφής στην ιατρική έρευνα παραμένει να δούμε, αλλά οι συγγραφείς καταλήγουν στο συμπέρασμα ότι «οι υποστηρικτές, οι συντάκτες περιοδικών και οι κριτικοί από ομοτίμους θα πρέπει να συνεχίσουν να επαγρυπνούν για περιστροφή για να μειώσουν τον κίνδυνο μεροληπτικής αναφοράς των αποτελεσμάτων της δοκιμής. "
