Auszug aus Science Integrity Digest: Thoughts on the Gautret et al. paper about Hydroxychloroquine and Azithromycin treatment of COVID-19 infections

The patients were recruited at different “centers”, but it is not very clear which patient was located in which hospital. The HQ treated patients were all in Marseille, while the controls were located in Marseille or other centers. One can imagine that hospitals might differ in treatment plans, ward layouts, availability of staff, disinfection routines, etc. It is not clear if controls and treated patients were all recruited and treated at the same hospital?

Although the study started with 26 patients in the HQ or HQ+AZ group, data from only 20 treated patients are given, because not all patients completed the 6-day study. The data for these 20 patients looks incredibly nice; especially the patients who were given both medications all recovered very fast.

What happened to the other six treated patients? Why did they drop out of the study? Three of them were transferred to the intensive care unit (presumably because they got sicker) and 1 died. The other two patients were either too nauseous and stopped the medication, or left the hospital (which might be a sign they felt much better).

So 4 of the 26 treated patients were actually not recovering at all. It seems a bit strange to leave these 4 patients who got worse or who died out of the study, just on the basis that they stopped taking the medication (which is pretty difficult once the patient is dead). As several people wrote sarcastically on Twitter: My results always look amazing if I leave out the patients who died, or the experiments that did not work.

Auszug aus Chloroquine numerama.com : Les graves erreurs scientifiques de la méthode Raoult

Auszug aus einem post-publication review von Frits Rosendaal

The index group and control group were drawn from different centres. The information that is given about characteristics of index group and control group is minimal, and still major differences are evident from all three variables shown (age, sex, presence of symptoms). The authors have performed statistical tests on these baseline characteristics, which is inappropriate. In the text they emphasise the absence of statistically significant differences between groups, implying that absence of statistical significance proves equality, which shows a lack of understanding of basic statistics.

It is remarkable that in a randomised trial, when only chance may have introduced differences between groups, authors go out of their way to present a long list of baseline characteristics to lend credibility to the fairness of comparing outcome occurrence between groups, where here, in a non-randomised comparison of patients from different centres who clearly do differ, authors have not made the slightest effort to present such baseline characteristics. The reviewer can only come to the conclusion that the comparison with the control group is meaningless.

It is reported that 42 patients met the eligibility criteria, and of these 16 were in the control group, and 26 in the treated group. Of these 26, six were excluded (and incorrectly labelled as lost to follow-up): three were transferred to the ICU, one died, and two terminated treatment or were discharged. Firstly, it is noteworthy that 4/26 treated patients deteriorated and 0/16 control patients, which emphasises that the groups were different. More importantly, excluding patients who deteriorated from the analyses introduces severe selection bias, since it selectively excludes people who did not do well (as an extreme example: if 25/26 treated patients had died, and one had virus clearance at day 6, would a claim of 100% clearance be valid?).

Auszug aus NDR: Drosten kritisiert Chloroquin-Studie:

Christian Drosten: Ja, das Chloroquin ist ein altbekanntes Malaria-Medikament. Eins,
das nicht frei von Nebenwirkungen ist. Und wir wissen schon lange, dass Chloroquin
gegen das alte SARS-Coronavirus in Zellkultur wirkt. Und das wirkt nicht nur gegen das
SARS-Coronavirus, sondern gegen viele andere Viren, die ein paar ähnliche Prinzipien in
der Ausschleusung aus der Zelle haben wie die Coronaviren. Die Frage ist natürlich,
kann das auch bei Patienten helfen? Bei SARS hat man das nicht mit Patienten probiert.
Da kam dieser Befund im Prinzip erst nach der Epidemie auf. Wir wissen aber ganz
grundsätzlich in der Forschung, dass es nicht so ist, wenn man eine Substanz in
Zellkultur anschaut und sieht, die hilft gegen ein Virus, dass man dann einfach dieselbe
Substanz einem Patienten geben kann, und schon ist er geheilt. Das ist alles viel, viel
komplizierter.

Ein Grund, warum das nicht so einfach ist, ein Medikament muss ja dahin kommen, wo
das Virus ist, in die Lunge. Und wir schlucken das und haben es im Darm oder wir
infundieren das, dann haben wir es im Blut. Aber die Zellen der Lunge, wo das Virus ja
repliziert, die müssen diese Substanz aufnehmen. Häufig ist es gar nicht die Substanz
selber, die in der Tablette drin ist, sondern die muss noch mal verstoffwechselt werden,
um das wirksame Stoffwechselprodukt in der infizierten Zelle herzustellen. Und die
infizierte Zelle im Körper des Menschen hat einen anderen Stoffwechsel als eine Zelle in
einer Zellkulturschale. Das ist gar nicht miteinander zu vergleichen, nur ganz grob. Und
unter diesem Eindruck müssen wir immer skeptisch sein, wenn wir in der Zellkultur einen
Treffer landen, also eine Substanz finden, die gegen ein Virus wirkt.

Dennoch ist die Zellkultur immer der erste Schritt in der Entdeckung von solchen
Substanzen. Das geht zum Teil so, dass Strukturchemiker sagen, wir gucken uns ein
Molekül im Virus an und machen ein kleines Molekül, das dort irgendwo bindet oder
irgendeine wichtige Stelle blockiert. Das wäre also so ein gezieltes Design von einem
Medikamentenwirkstoff. Oder der andere Weg ist, und der ist häufig auch schon
erfolgreich gewesen in der Vergangenheit, dass man bestimmte Sammlungen von
Wirkstoffen nimmt, die die chemische Industrie für andere Dinge hergestellt hat, die auch
zum Teil in der Natur vorkommen. Also es gibt auch Naturstoffsammlungen, von denen
man anfangs Hinweise hat, dass die vielleicht helfen könnten gegen bestimmte Enzyme,
also bestimmte Proteine, die auch in Viren vorkommen. Die Natur zum Beispiel hat
solche Moleküle bereit, zum Beispiel in Pflanzen oder in Pilzen, weil auch diese
Organismen Bakterien und Viren haben. Und diese Bakterien und Viren haben Enzyme.
Und man denkt sich, aha, da gibt es vielleicht so Abwehrmoleküle, und solche
Naturstoffsammlungen gibt es. Und dann gibt es eben aber auch chemische
Sammlungen. Es gibt sogar Sammlungen von Substanzen, bei denen man früher schon
mal eine Zulassung gemacht hat – zum Beispiel für andere Viren oder auch sonst für
Krankheiten, wo man einfach sagt, das ist eine Sammlung von Wirkstoffen zugelassener
Medikamente. Auch solche sogenannten Libraries, also Bibliotheken,
Substanzbibliotheken, kann man sich besorgen. Die kann man zum Teil kaufen oder auch
in der chemischen Industrie austauschen.

Christian Drosten: Genau. Also das ist jetzt der Anfang dieser Überlegung. Bei dem
Malaria-Medikament ist das eben so, das ist eine zugelassene Substanz. Und Virologen
haben schon vor fast 15 Jahren gesehen, dass das Chloroquin eine von den
Treffersubstanzen ist. Da probiert man aus, was passiert, wenn man Zellkulturzellen mit
dem Virus infiziert, bestimmte Substanzen dazutut und dann die Virusvermehrung in der
Zellkultur misst. Da sieht man dann manchmal, dass die Virusvermehrung plötzlich
absinkt. Und eine wichtige Maßgabe dabei ist die Molarität, die Wirkkonzentration. Und
ganz grundsätzlich, das ist nur eine Faustregel, aber ganz grundsätzlich ist es gut, wenn
man Substanzen findet, die in der Zellkultur schon im niedrig nanomolaren Bereich eine
Wirksamkeit haben. Also Mol, das ist ja eine Teilchenanzahl. Und bei dem Chloroquin ist
es jetzt so, dass anhand von dem alten SARS-Coronavirus damals gesehen wurde, dass
etwas mehr als ein Mikromolar, also tausend Nanomol pro Liter, im Zellkulturmedium
notwendig sind, um ungefähr 50 Prozent der Virusreplikation zu erzielen, also 50-
prozentige Bremsung des Virus. Das ist schon an der Obergrenze, das ist schon eine
Konzentration, da würde man sagen, also das ist wenigstens mal die B-Liste oder sogar
die C-Liste der Treffer. Also das ist nichts, wo man sagt, das versetzt mich jetzt in
Aufregung, da muss man jetzt sofort hinterhergehen. Das war der Ursprungsbefund. Jetzt
ist aber natürlich Chloroquin eine verfügbare Substanz, die kann man mal ausprobieren.
Und das ist eben hier in Marseille von einer Gruppe gemacht worden, die Patienten
bekommen hat. Und die Frage ist bei so einer klinischen Studie immer: Was sagt uns
jetzt diese Veröffentlichung? Und was wurde da eigentlich gemessen?

Jetzt haben wir im Prinzip beschrieben, wie die Studie angelegt ist. Und jetzt kommen wir
in den Problembereich rein. Es gibt leider in dieser Studie mehrere Dinge, wo man
wirklich drüber diskutieren muss, ob man das so machen kann. Das erste, was gemacht
wurde, ist, die Gruppen wurden zusammengewürfelt und aufgestellt, und das wurde nicht
komplett dem Zufall überlassen. Das war also keine randomisierte Studie, wie man sagt,
also eine nach Zufallskriterien zusammengewürfelte Studie. Wo wirklich im Prinzip die
Münze geworfen wird, wenn ein Patient kommt und man sagt: Okay, bei dir zeigt die
Münze an, du kriegst die Substanz. Und bei dir zeigt die Münze an, du kriegst die
Substanz nicht. Aber wir selber, wir Kliniker und du, der Patient, wir beide wissen nicht,
ob in der Tablette, die wir jetzt geben, die Substanz drin ist. Also wir haben Tabletten, die
sehen genau gleich aus. Und nur der Studienleiter, der aber nicht mit uns spricht, der das
nur am Ende auswertet, der weiß, wer hier die Substanz kriegt. Das wäre also eine
Doppelblindstudie. So was wird eben häufig gemacht, um bestimmte Einflüsse in solchen
Studien zu eliminieren. Wo man dann später dann statistisch anfangen muss, das alles
infrage zu stellen, das ist hier nicht gemacht worden.
Das hier ist eine Studie, die wurde gemacht, so wie die Patienten reinkamen. Und es gibt
eben eine Gruppe von Patienten in einem Krankenhaus, da hat man das gemacht, das
war das eigene Krankenhaus. Und dann gab es andere Patienten, die wurden aus einem
anderen Krankenhaus übernommen, und da gab es keine Genehmigung, das zu

machen. Und dann hat man bei denen eben die Substanz nicht gegeben, weil man keine
Genehmigung hatte. Und so kommt es, dass diese Gruppen jetzt sehr unterschiedlich
sind, die hier angeschaut wurden. Die behandelten Patienten sind im Durchschnitt älter,
die sind 51 Jahre, gegenüber den nicht Behandelten, die 37 Jahre im Durchschnitt. Das
ist ein sehr großer Unterschied. Auch ist es so, bei den behandelten Patienten sind nur
zwei asymptomatische dabei, und bei den nicht behandelten sind vier asymptomatische
dabei. Asymptomatisch heißt, die Patienten haben zum Zeitpunkt des Einschlusses in die
Studie keine Symptome.
Und diese Dinge muss man sich alle noch mal ein zweites Mal anschauen und ein
zweites Mal drüber nachdenken. Was heißt das, wenn bei so einer Mischung von
Patienten das Alter so stark unterschiedlich ist? Das kann heißen, dass die
Grundgegebenheiten in der Patientenrekrutierung komplett unterschiedlich sind. Dass es
also in dem einen Krankenhaus sehr leicht ist, für Patienten einen PCR-Test zu
bekommen. Und in einem anderen Krankenhaus ist es schwieriger, darum warten die
Patienten länger, bis sie schwerer krank sind, bevor sie ins Krankenhaus gehen. Und
dann sind sie im Durchschnitt auch älter, weil ja die Älteren im Durchschnitt schwerer
krank werden.

Jetzt kommt aber das große Aber. Und man muss dazu vielleicht auch ein bisschen die
Patienten dieser Krankheit kennen, um das zu verstehen. Und ich bin mir sicher, viele
Kliniker, die diese Studie jetzt lesen werden, oder auch Nichtmediziner, die diese
Hintergründe nicht verstehen, die werden denken, das hier ist eine ganz große Meldung,
eine ganz große Ermutigung, allen Patienten ab jetzt dieses Chloroquin zu geben. Es ist
aber ein großer Haken an dieser Studie, und zwar die Zeitskala, auf der das hier alles
steht. Also die Frage: An welchem Tag messen wir eigentlich, ob das Virus weggegangen
ist? Und an welchem Tag beschreiben wir eigentlich, wie die Patienten am Anfang in die
Studie reingegangen sind und wie sie dann am Ende rauskommen? Diese Zeitskala, auf
der die Studie steht, ist nicht der Tag der Krankheit, sondern diese Zeitskala ist der Tag
des Einschlusses in die Studie.
Wir haben hier ein Phänomen, wo wir zwei unterschiedliche Kohorten haben von
Patienten, und das wird stark angezeigt durch ein stark unterschiedliches Alter beim
Einschluss, 51 versus 37 Jahre. Da läutet bei mir die Alarmglocke und führt dazu, dass
ich da genauer hinschaue, warum diese Altersunterschiedlichkeit hier besteht. Wenn ich
dann noch mal hinschaue, dass in der einen Gruppe nur zwei Asymptomatische drin sind,
in der behandelten Gruppe, und in der unbehandelten Gruppe sind vier Asymptomatische
drin, dann fügt sich bei mir ein Bild zusammen, das mir sagt, die behandelte Gruppe hier
ist in Wirklichkeit einfach schon weiter fortgeschritten im Verlauf. Und egal, wann man die
in die Studie eingeschlossen hat, der erste Tag des Studieneinschlusses ist bei der
behandelten Gruppe wahrscheinlich ein weiterer fortgeschrittener Tag des
Krankheitsverlaufs als bei der nicht behandelten Gruppe. Und das führt dazu, dass wir in
dieser Studie hier Äpfel mit Birnen vergleichen. Denn wir haben hier noch ein
zusätzliches Problem: Was hier gemessen wird, ist die Viruskonzentration und die
Virusnachweisrate nicht in der Lunge, wo die Krankheit stattfindet, sondern im Hals. In
der ganzen Studie wird nicht in der Lunge das Virus gemessen, sondern im Hals. Und
das ist die größte Fehlannahme in dieser gesamten Studie.

Wir haben viele Erfahrungen. Wir haben die genauste Beschreibung einer nicht
behandelten Patientenkohorte bei den Münchener Patienten gemacht. Und bei der
Münchener Gruppe haben wir gesehen, wie sich die Viruskonzentration sowohl im Hals

als auch in der Lunge über die Zeit verhält. Und wir können sagen, am Anfang der
Krankheit ist das Virus im Hals und es geht von selbst wieder weg über die – sagen wir
mal – die ersten zehn Tage ungefähr der Krankheit. Danach haben ganz viele Patienten
im Hals nur noch ganz wenig oder nur noch unregelmäßig das Virus nachweisbar.
Das hat aber nichts damit zu tun, wie das Virus sich in der Lunge verhält. In der Lunge ist
das Virus dann erst richtig replikativ, gerade bei den schweren Fällen. Und wir können
auch sagen, was der Patient im Hals hat, das hat nichts damit zu tun, wie es klinisch
dann weitergeht mit der Erkrankung, ob der Patient dann schnell gesund wird oder erst
durch eine schwere Phase durchgeht. Was da also in dieser ganzen klinischen Studie
gemessen wird, hat gar nichts mit dem Krankheitsausgang zu tun, mit den Symptomen,
sondern das ist nur ein Anfangsanzeiger, wie die Krankheit losgeht. Bei allen Patienten
geht die Viruskonzentration in der ersten Woche runter, wenn Sie sich jetzt aber
vorstellen, dass die eine Gruppe, die behandelt wird, etwas später eingeschlossen wird,
und die unbehandelte Gruppe früher eingeschlossen wird in diese Studie, dann ist es in
der Natur der Sache, dass bei dieser später eingeschlossenen Gruppe – die sind ja
schon weiter in der Elimination des Virus aus dem Hals – dass das Virus dann im Hals
runtergeht, schneller. Das verschwindet schneller, weil sie einfach schon länger im
Krankheitsverlauf sind. Ob das jetzt zusätzlich daran liegt, dass sie behandelt sind, das
kann man hier anhand dieser ganzen Studie überhaupt nicht sagen. Vielleicht wäre es so,
hätte man die Gruppen so zusammengesetzt wie hier, aber hätte denen kein Chloroquin
gegeben, sondern irgendeine Kopfschmerztablette, wäre die Studie genauso
ausgegangen.