Auszug aus Science Integrity Digest: Thoughts on the Gautret et al. paper about Hydroxychloroquine and Azithromycin treatment of COVID-19 infections
The patients were recruited at different “centers”, but it is not very clear which patient was located in which hospital. The HQ treated patients were all in Marseille, while the controls were located in Marseille or other centers. One can imagine that hospitals might differ in treatment plans, ward layouts, availability of staff, disinfection routines, etc. It is not clear if controls and treated patients were all recruited and treated at the same hospital?
Although the study started with 26 patients in the HQ or HQ+AZ group, data from only 20 treated patients are given, because not all patients completed the 6-day study. The data for these 20 patients looks incredibly nice; especially the patients who were given both medications all recovered very fast.
What happened to the other six treated patients? Why did they drop out of the study? Three of them were transferred to the intensive care unit (presumably because they got sicker) and 1 died. The other two patients were either too nauseous and stopped the medication, or left the hospital (which might be a sign they felt much better).
So 4 of the 26 treated patients were actually not recovering at all. It seems a bit strange to leave these 4 patients who got worse or who died out of the study, just on the basis that they stopped taking the medication (which is pretty difficult once the patient is dead). As several people wrote sarcastically on Twitter: My results always look amazing if I leave out the patients who died, or the experiments that did not work.
Auszug aus Chloroquine numerama.com : Les graves erreurs scientifiques de la méthode Raoult
Die Studie ist nicht randomisiert
François Séverac und Elisabeth Bik wiesen beide auf die fehlende Randomisierung der Studie hin. die Randomisierung der Studie. "Um sicherzustellen, dass die Gruppen in jeder Hinsicht vergleichbar sind, wird in der Regel ein Losverfahren durchgeführt.
In allen Punkten vergleichbar, ziehen wir Lose", erklärt François Séverac erklärt Séverac. Das bedeutet, dass der Patient gefragt wird, ob er an der Studie teilnehmen möchte, und dann wird er per Losentscheid der nächsten Gruppe zugewiesen.
die Kontrollgruppe (die Gruppe, die die Behandlung nicht erhält) oder die Behandlungsgruppe (die Gruppe, die die Behandlung erhält). Behandlung) oder der Behandlungsgruppe (die Gruppe, der die experimentelle Behandlung Behandlung verabreicht wird). In der Studie von Raoult wurde diese Randomisierung nicht durchgeführt, was sogar auf der Studie selbst vermerkt ist. Die Studie von Raoult war nicht randomisiert, und dies ist in der Studie selbst vermerkt. "Es scheint, dass die behandelten und unbehandelten Patienten Es scheint, dass die behandelten und unbehandelten Patienten von den Autoren der Studie ausgewählt wurden", stellt Elisabeth Bik fest. Die eine Gruppe ist älter als die andere, denn Die eine Gruppe ist zum Beispiel älter als die andere. Ohne Randomisierung ist es nicht möglich zu wissen, ob die Verbesserung auf die gegebene Behandlung
...
Ohne diese Zufallsziehung kann man nicht sicher sein, dass die Unterschiede auf die getestete Behandlung zurückzuführen sind. Übersetzt mit www.DeepL.com/Translator (kostenlose Version)
In welchem Stadium der Krankheit?
"Wir wissen nicht, in welchem Stadium der Krankheit die Patienten eingeschlossen sind", so François Séverac stellt fest. Wir wissen, dass die Krankheit nicht bei allen Menschen die gleichen Auswirkungen hat. ... In einigen Fällen ist der Zustand schwer und potenziell lebensbedrohlich, aber es gibt viele Fälle von Patienten, die sich nach etwa 14 Tagen von selbst erholt haben ... einfach aufgrund eines fortgeschritteneren Stadiums der Krankheit zum Zeitpunkt der Aufnahme in die Studie.
Placebo, Herkunftsklinik: verwirrende Verzerrung
Der Kontrollgruppe wurde kein Placebo (Medikament ohne Wirkstoff) verabreicht, ... um den potenziellen Placebo-Effekt bei Patienten zu messen, die sich normalerweise erholt hätten. "Wenn kein Placebo verabreicht wird, ist das Ergebnis möglicherweise die Wirkung der Behandlung zuzüglich des Placebo-Effekts", sagt François Séverac. Denn der Placebo-Effekt ist der positive Effekt, der eintritt, wenn man glaubt, ein wirksames Medikament einzunehmen ...
Die Patienten der Chloroquin-Gruppe stammten alle aus Marseille, während die andere Gruppe aus Marseille, während die andere Gruppe aus Patienten aus anderen Städten bestand und somit andere Kliniken. "Die Patienten erhielten möglicherweise andere Behandlungen, die in der dem Ermessen der Ärzte. Wir behandeln nicht überall die gleichen Patienten. Wenn man eine multizentrische Studie durchführt, muss man die Patienten aus den verschiedenen Zentren in zwei Gruppen aufteilen, sonst gibt es einen 'Zentreneffekt'.
Ein biologisches Kriterium anstelle eines klinischen Kriteriums
"Aus der Studie wissen wir nicht, ob es den Patienten wirklich besser geht, wir wissen nur, dass ihr PCR-Test aus einem Rachenabstrich ein biologisches Kriterium geworden ist. ...
François Séverac erklärt, dass es sich dabei um ein so genanntes "Beurteilungskriterium" handelt, d. h. um das, was gemessen wird, um zu wissen, ob das, was getestet wird, funktioniert oder nicht. Das Team von Raoult hat sich für die Viruslast entschieden. Dies ist ein biologisches Kriterium: Wir messen an einer Probe, ob das Virus noch im Patienten vorhanden ist oder nicht. Das beste Kriterium für diese Art von Studien ist jedoch das klinische Kriterium ... ob sich der Zustand der Lunge tatsächlich verbessert hat. Dies ist ein wesentlicher Aspekt dafür, ob die Behandlung dem Patienten wirklich helfen kann.
Unvollständige Überwachung
In dem Teil der Studie, der der Erläuterung der Methode gewidmet ist, erklären die Autoren der Studie sprechen von einer vierzehntägigen Nachuntersuchung der Patienten. Aber die vorgelegten Ergebnisse stoppen nach dem sechsten Tag. "Es ist merkwürdig, dass man ankündigt, dass die Patienten 14 Tage lang beobachtet werden, aber nicht sagt, , was nach dem sechsten Tag passiert", so François Séverac gegenüber Numerama.
Von der Studie ausgeschlossene Patienten
In der mit Chloroquin behandelten Gruppe hingegen ... zeigt uns François Séverac, dass sechs Patienten die Studie verlassen haben: Einer ging einfach nach Hause, weil er nicht mehr weitermachen wollte; ein anderer hatte Übelkeit und wollte deshalb aufhören ... Drei Patienten wurden wegen einer Verschlechterung ihres Gesundheitszustands auf die Intensivstation verlegt und wurden daher aus der Studie ausgeschlossen; ein Patient starb,
... Diese sechs Patienten werden in den Ergebnissen nicht berücksichtigt - obwohl in der Studie erwähnt wird, dass sie die Studie verlassen haben.
"Wenn man die schweren Fälle aus der Behandlungsgruppe ausschließt, ist es einfacher, positive Ergebnisse zu erzielen. Wenn Sie schwere Fälle aus der Behandlungsgruppe ausschließen, ist es einfacher, positive Ergebnisse zu erzielen.
Unzugängliche Referenzen
Didier Raoult erklärt ... dass frühere chinesische Studien die Wirksamkeit der Behandlung bereits bewiesen haben — François Sévérac erklärt, dass dies nicht der Fall ist: " Der erste Hinweis ist ein Schreiben von zwei chinesischen Apothekern, die eine Pressekonferenz des chinesischen Staatsrats zitieren ... der zweite Verweis ist ein Internet-Link ... zum chinesischen Register für klinische Studien, das jedoch nur eine Liste der gemeldeten Studien enthält, ohne deren Ergebnisse. So funktioniert das nicht!
Eine von Fachleuten begutachtete Arbeit, wirklich?
Wie konnte eine Arbeit mit so vielen Verzerrungen und methodischen Fehlern in einer wissenschaftlichen Zeitschrift veröffentlicht werden? Einer der Autoren ist Chefredakteur der Zeitschrift, in der die Studie veröffentlicht wurde.
Und die zweite Studie, mit mehr Patienten?
Es fehlt nicht nur die Randomisierung, sondern ... Kontrollgruppe, d. h. eine Gruppe von Personen, die nicht an der Behandlung teilnehmen, fehlt völlig. ... Ein Mangel an Methodik, den Nicolas Martin beklagt, da dieser wiederum disqualifiziert
die Ergebnisse. "Ja, die Ergebnisse sehen bei diesem zweiten Versuch überwältigend positiv aus. ... Aber sie sehen nur positiv aus. Um die Gültigkeit der Ergebnisse bestätigen zu können, benötigen Sie eine Kontrollgruppe, die die ... mit der gleichen Anzahl von Personen wie in der Behandlungsgruppe. ... Wir wissen, dass sich 80 bis 85 % der Menschen spontan von Covid-19 erholen, was nützt also eine Kontrollgruppe ohne Kontrollgruppe?
Auszug aus einem post-publication review von Frits Rosendaal
The index group and control group were drawn from different centres. The information that is given about characteristics of index group and control group is minimal, and still major differences are evident from all three variables shown (age, sex, presence of symptoms). The authors have performed statistical tests on these baseline characteristics, which is inappropriate. In the text they emphasise the absence of statistically significant differences between groups, implying that absence of statistical significance proves equality, which shows a lack of understanding of basic statistics.
It is remarkable that in a randomised trial, when only chance may have introduced differences between groups, authors go out of their way to present a long list of baseline characteristics to lend credibility to the fairness of comparing outcome occurrence between groups, where here, in a non-randomised comparison of patients from different centres who clearly do differ, authors have not made the slightest effort to present such baseline characteristics. The reviewer can only come to the conclusion that the comparison with the control group is meaningless.
It is reported that 42 patients met the eligibility criteria, and of these 16 were in the control group, and 26 in the treated group. Of these 26, six were excluded (and incorrectly labelled as lost to follow-up): three were transferred to the ICU, one died, and two terminated treatment or were discharged. Firstly, it is noteworthy that 4/26 treated patients deteriorated and 0/16 control patients, which emphasises that the groups were different. More importantly, excluding patients who deteriorated from the analyses introduces severe selection bias, since it selectively excludes people who did not do well (as an extreme example: if 25/26 treated patients had died, and one had virus clearance at day 6, would a claim of 100% clearance be valid?).
Auszug aus NDR: Drosten kritisiert Chloroquin-Studie:
Ab Minute 3:00
Christian Drosten: Ja, das Chloroquin ist ein altbekanntes Malaria-Medikament. Eins, das nicht frei von Nebenwirkungen ist. Und wir wissen schon lange, dass Chloroquin gegen das alte SARS-Coronavirus in Zellkultur wirkt. Und das wirkt nicht nur gegen das SARS-Coronavirus, sondern gegen viele andere Viren, die ein paar ähnliche Prinzipien in der Ausschleusung aus der Zelle haben wie die Coronaviren. Die Frage ist natürlich, kann das auch bei Patienten helfen? Bei SARS hat man das nicht mit Patienten probiert. Da kam dieser Befund im Prinzip erst nach der Epidemie auf. Wir wissen aber ganz grundsätzlich in der Forschung, dass es nicht so ist, wenn man eine Substanz in Zellkultur anschaut und sieht, die hilft gegen ein Virus, dass man dann einfach dieselbe Substanz einem Patienten geben kann, und schon ist er geheilt. Das ist alles viel, viel komplizierter.
Ein Grund, warum das nicht so einfach ist, ein Medikament muss ja dahin kommen, wo das Virus ist, in die Lunge. Und wir schlucken das und haben es im Darm oder wir infundieren das, dann haben wir es im Blut. Aber die Zellen der Lunge, wo das Virus ja repliziert, die müssen diese Substanz aufnehmen. Häufig ist es gar nicht die Substanz selber, die in der Tablette drin ist, sondern die muss noch mal verstoffwechselt werden, um das wirksame Stoffwechselprodukt in der infizierten Zelle herzustellen. Und die infizierte Zelle im Körper des Menschen hat einen anderen Stoffwechsel als eine Zelle in einer Zellkulturschale. Das ist gar nicht miteinander zu vergleichen, nur ganz grob. Und unter diesem Eindruck müssen wir immer skeptisch sein, wenn wir in der Zellkultur einen Treffer landen, also eine Substanz finden, die gegen ein Virus wirkt.
Dennoch ist die Zellkultur immer der erste Schritt in der Entdeckung von solchen Substanzen. Das geht zum Teil so, dass Strukturchemiker sagen, wir gucken uns ein Molekül im Virus an und machen ein kleines Molekül, das dort irgendwo bindet oder irgendeine wichtige Stelle blockiert. Das wäre also so ein gezieltes Design von einem Medikamentenwirkstoff. Oder der andere Weg ist, und der ist häufig auch schon erfolgreich gewesen in der Vergangenheit, dass man bestimmte Sammlungen von Wirkstoffen nimmt, die die chemische Industrie für andere Dinge hergestellt hat, die auch zum Teil in der Natur vorkommen. Also es gibt auch Naturstoffsammlungen, von denen man anfangs Hinweise hat, dass die vielleicht helfen könnten gegen bestimmte Enzyme, also bestimmte Proteine, die auch in Viren vorkommen. Die Natur zum Beispiel hat solche Moleküle bereit, zum Beispiel in Pflanzen oder in Pilzen, weil auch diese Organismen Bakterien und Viren haben. Und diese Bakterien und Viren haben Enzyme. Und man denkt sich, aha, da gibt es vielleicht so Abwehrmoleküle, und solche Naturstoffsammlungen gibt es. Und dann gibt es eben aber auch chemische Sammlungen. Es gibt sogar Sammlungen von Substanzen, bei denen man früher schon mal eine Zulassung gemacht hat – zum Beispiel für andere Viren oder auch sonst für Krankheiten, wo man einfach sagt, das ist eine Sammlung von Wirkstoffen zugelassener Medikamente. Auch solche sogenannten Libraries, also Bibliotheken, Substanzbibliotheken, kann man sich besorgen. Die kann man zum Teil kaufen oder auch in der chemischen Industrie austauschen.
Christian Drosten: Genau. Also das ist jetzt der Anfang dieser Überlegung. Bei dem Malaria-Medikament ist das eben so, das ist eine zugelassene Substanz. Und Virologen haben schon vor fast 15 Jahren gesehen, dass das Chloroquin eine von den Treffersubstanzen ist. Da probiert man aus, was passiert, wenn man Zellkulturzellen mit dem Virus infiziert, bestimmte Substanzen dazutut und dann die Virusvermehrung in der Zellkultur misst. Da sieht man dann manchmal, dass die Virusvermehrung plötzlich absinkt. Und eine wichtige Maßgabe dabei ist die Molarität, die Wirkkonzentration. Und ganz grundsätzlich, das ist nur eine Faustregel, aber ganz grundsätzlich ist es gut, wenn man Substanzen findet, die in der Zellkultur schon im niedrig nanomolaren Bereich eine Wirksamkeit haben. Also Mol, das ist ja eine Teilchenanzahl. Und bei dem Chloroquin ist es jetzt so, dass anhand von dem alten SARS-Coronavirus damals gesehen wurde, dass etwas mehr als ein Mikromolar, also tausend Nanomol pro Liter, im Zellkulturmedium notwendig sind, um ungefähr 50 Prozent der Virusreplikation zu erzielen, also 50-prozentige Bremsung des Virus. Das ist schon an der Obergrenze, das ist schon eine Konzentration, da würde man sagen, also das ist wenigstens mal die B-Liste oder sogar die C-Liste der Treffer. Also das ist nichts, wo man sagt, das versetzt mich jetzt in Aufregung, da muss man jetzt sofort hinterhergehen. Das war der Ursprungsbefund. Jetzt ist aber natürlich Chloroquin eine verfügbare Substanz, die kann man mal ausprobieren. Und das ist eben hier in Marseille von einer Gruppe gemacht worden, die Patienten bekommen hat. Und die Frage ist bei so einer klinischen Studie immer: Was sagt uns jetzt diese Veröffentlichung? Und was wurde da eigentlich gemessen?
Jetzt haben wir im Prinzip beschrieben, wie die Studie angelegt ist. Und jetzt kommen wir in den Problembereich rein. Es gibt leider in dieser Studie mehrere Dinge, wo man wirklich drüber diskutieren muss, ob man das so machen kann. Das erste, was gemacht wurde, ist, die Gruppen wurden zusammengewürfelt und aufgestellt, und das wurde nicht komplett dem Zufall überlassen. Das war also keine randomisierte Studie, wie man sagt, also eine nach Zufallskriterien zusammengewürfelte Studie. Wo wirklich im Prinzip die Münze geworfen wird, wenn ein Patient kommt und man sagt: Okay, bei dir zeigt die Münze an, du kriegst die Substanz. Und bei dir zeigt die Münze an, du kriegst die Substanz nicht. Aber wir selber, wir Kliniker und du, der Patient, wir beide wissen nicht, ob in der Tablette, die wir jetzt geben, die Substanz drin ist. Also wir haben Tabletten, die sehen genau gleich aus. Und nur der Studienleiter, der aber nicht mit uns spricht, der das nur am Ende auswertet, der weiß, wer hier die Substanz kriegt. Das wäre also eine Doppelblindstudie. So was wird eben häufig gemacht, um bestimmte Einflüsse in solchen Studien zu eliminieren. Wo man dann später dann statistisch anfangen muss, das alles infrage zu stellen, das ist hier nicht gemacht worden. Das hier ist eine Studie, die wurde gemacht, so wie die Patienten reinkamen. Und es gibt eben eine Gruppe von Patienten in einem Krankenhaus, da hat man das gemacht, das war das eigene Krankenhaus. Und dann gab es andere Patienten, die wurden aus einem anderen Krankenhaus übernommen, und da gab es keine Genehmigung, das zu machen. Und dann hat man bei denen eben die Substanz nicht gegeben, weil man keine Genehmigung hatte. Und so kommt es, dass diese Gruppen jetzt sehr unterschiedlich sind, die hier angeschaut wurden. Die behandelten Patienten sind im Durchschnitt älter, die sind 51 Jahre, gegenüber den nicht Behandelten, die 37 Jahre im Durchschnitt. Das ist ein sehr großer Unterschied. Auch ist es so, bei den behandelten Patienten sind nur zwei asymptomatische dabei, und bei den nicht behandelten sind vier asymptomatische dabei. Asymptomatisch heißt, die Patienten haben zum Zeitpunkt des Einschlusses in die Studie keine Symptome. Und diese Dinge muss man sich alle noch mal ein zweites Mal anschauen und ein zweites Mal drüber nachdenken. Was heißt das, wenn bei so einer Mischung von Patienten das Alter so stark unterschiedlich ist? Das kann heißen, dass die Grundgegebenheiten in der Patientenrekrutierung komplett unterschiedlich sind. Dass es also in dem einen Krankenhaus sehr leicht ist, für Patienten einen PCR-Test zu bekommen. Und in einem anderen Krankenhaus ist es schwieriger, darum warten die Patienten länger, bis sie schwerer krank sind, bevor sie ins Krankenhaus gehen. Und dann sind sie im Durchschnitt auch älter, weil ja die Älteren im Durchschnitt schwerer krank werden.
Jetzt kommt aber das große Aber. Und man muss dazu vielleicht auch ein bisschen die Patienten dieser Krankheit kennen, um das zu verstehen. Und ich bin mir sicher, viele Kliniker, die diese Studie jetzt lesen werden, oder auch Nichtmediziner, die diese Hintergründe nicht verstehen, die werden denken, das hier ist eine ganz große Meldung, eine ganz große Ermutigung, allen Patienten ab jetzt dieses Chloroquin zu geben. Es ist aber ein großer Haken an dieser Studie, und zwar die Zeitskala, auf der das hier alles steht. Also die Frage: An welchem Tag messen wir eigentlich, ob das Virus weggegangen ist? Und an welchem Tag beschreiben wir eigentlich, wie die Patienten am Anfang in die Studie reingegangen sind und wie sie dann am Ende da rauskommen? Diese Zeitskala, auf der die Studie steht, ist nicht der Tag der Krankheit, sondern diese Zeitskala ist der Tag des Einschlusses in die Studie. Wir haben hier ein Phänomen, wo wir zwei unterschiedliche Kohorten haben von Patienten, und das wird stark angezeigt durch ein stark unterschiedliches Alter beim Einschluss, 51 versus 37 Jahre. Da läutet bei mir die Alarmglocke und führt dazu, dass ich da genauer hinschaue, warum diese Altersunterschiedlichkeit hier besteht. Wenn ich dann noch mal hinschaue, dass in der einen Gruppe nur zwei Asymptomatische drin sind, in der behandelten Gruppe, und in der unbehandelten Gruppe sind vier Asymptomatische drin, dann fügt sich bei mir ein Bild zusammen, das mir sagt, die behandelte Gruppe hier ist in Wirklichkeit einfach schon weiter fortgeschritten im Verlauf. Und egal, wann man die in die Studie eingeschlossen hat, der erste Tag des Studieneinschlusses ist bei der behandelten Gruppe wahrscheinlich ein weiterer fortgeschrittener Tag des Krankheitsverlaufs als bei der nicht behandelten Gruppe. Und das führt dazu, dass wir in dieser Studie hier Äpfel mit Birnen vergleichen. Denn wir haben hier noch ein zusätzliches Problem: Was hier gemessen wird, ist die Viruskonzentration und die Virusnachweisrate nicht in der Lunge, wo die Krankheit stattfindet, sondern im Hals. In der ganzen Studie wird nicht in der Lunge das Virus gemessen, sondern im Hals. Und das ist die größte Fehlannahme in dieser gesamten Studie.
Wir haben viele Erfahrungen. Wir haben die genauste Beschreibung einer nicht behandelten Patientenkohorte bei den Münchener Patienten gemacht. Und bei der Münchener Gruppe haben wir gesehen, wie sich die Viruskonzentration sowohl im Hals als auch in der Lunge über die Zeit verhält. Und wir können sagen, am Anfang der Krankheit ist das Virus im Hals und es geht von selbst wieder weg über die – sagen wir mal – die ersten zehn Tage ungefähr der Krankheit. Danach haben ganz viele Patienten im Hals nur noch ganz wenig oder nur noch unregelmäßig das Virus nachweisbar. Das hat aber nichts damit zu tun, wie das Virus sich in der Lunge verhält. In der Lunge ist das Virus dann erst richtig replikativ, gerade bei den schweren Fällen. Und wir können auch sagen, was der Patient im Hals hat, das hat nichts damit zu tun, wie es klinisch dann weitergeht mit der Erkrankung, ob der Patient dann schnell gesund wird oder erst durch eine schwere Phase durchgeht. Was da also in dieser ganzen klinischen Studie gemessen wird, hat gar nichts mit dem Krankheitsausgang zu tun, mit den Symptomen, sondern das ist nur ein Anfangsanzeiger, wie die Krankheit losgeht. Bei allen Patienten geht die Viruskonzentration in der ersten Woche runter, wenn Sie sich jetzt aber vorstellen, dass die eine Gruppe, die behandelt wird, etwas später eingeschlossen wird, und die unbehandelte Gruppe früher eingeschlossen wird in diese Studie, dann ist es in der Natur der Sache, dass bei dieser später eingeschlossenen Gruppe – die sind ja schon weiter in der Elimination des Virus aus dem Hals – dass das Virus dann im Hals runtergeht, schneller. Das verschwindet schneller, weil sie einfach schon länger im Krankheitsverlauf sind. Ob das jetzt zusätzlich daran liegt, dass sie behandelt sind, das kann man hier anhand dieser ganzen Studie überhaupt nicht sagen. Vielleicht wäre es so, hätte man die Gruppen so zusammengesetzt wie hier, aber hätte denen kein Chloroquin gegeben, sondern irgendeine Kopfschmerztablette, wäre die Studie genauso ausgegangen.