Ошибки в модели Имперского колледжа намного хуже, чем мы думали

2 июня 2020 года в Палате лордов Великобритании произошел увлекательный обмен мнениями. Физик Имперского колледжа Лондона Нил Фергюсон, создавший эпидемиологическую модель, которая легла в основу политики локдаунов во всем мире, впервые столкнулся с серьезным вопросом о прогностической эффективности своей работы.

16 марта 2020 года Фергюсон предсказал катастрофическое число жертв коронавируса, если правительства всего мира не примут предписанный им набор нефармацевтических вмешательств (НФВ) для предотвращения пандемии. Большинство стран последовало его совету, особенно после того, как правительства Соединенного Королевства и Соединенных Штатов открыто сослались на его отчет как на оправдание для локдаунов.

Команда Фергюсона в Imperial вскоре заявила, что с помощью этой политики она спасла миллионы жизней. Эти “миллионы” они получили в результате смехотворно ненаучного упражнения, в ходе которого они пытались подтвердить свою модель, используя свои собственные гипотетические прогнозы в качестве контрфактов того, что могло бы произойти без локдаунов. Июньские слушания в парламенте привлекли внимание потому, что теперь эту эту модель можно было проверить на реальных фактах.

Когда Европа погрузилась в первый раунд своего, теперь уже годичного, эксперимента с локдаунами и изоляциями, Швеция, как известно, уклонилась от стратегии, рекомендованной Фергюсоном. Поступив таким образом шведы фактически создали условия для естественного эксперимента, который позволит сравнить реальные данные с моделями. Хотя Фергюсон первоначально ограничил свои прогнозы США и Великобританией, группа исследователей из Уппсальского университета в Швеции позаимствовала его модель и адаптировала ее к своей стране, получив такие же катастрофические прогнозы. По прогнозам команды Уппсалы, если Швеция не введет локдаун к середине апреля, вскоре из-за коронавируса в стране погибнет 96000 человек.

Я был одним из первых, кто обратил внимание на упсальскую адаптацию модели Фергюсона еще 30 апреля 2020 года. Даже в тот ранний период модель показывала явные признаки ненадежности. Хотя Швеция довольно сильно пострадала от вируса, число погибших составило всего несколько тысяч человек, тогда как адаптированная модель Фергюсона предсказывала десятки тысяч жертв. По прошествии одного года в Швеции было чуть более 13000 смертельных случаев от Covid-19 — серьезный ущерб, но меньший в расчете на душу населения, чем во многих европейских государствах-изоляторах, и очень далекий от 96000 смертей, прогнозируемых адаптацией Упсальского университета.

Значение этих данных для работы Фергюсона ясно: основная модель, используемая для оправдания локдаунов, провалила первое же испытание в реальных условиях.

На прошлогоднем слушании в Палате лордов член консервативной партии виконт Ридли подтрунивал над Фергюсоном по поводу шведской адаптации его модели: “Уппсальский университет взял модель Имперского колледжа и адаптировал ее для Швеции. Он прогнозировал более 90 000 смертей к концу мая, если не будет локдаунов и 40 000, если будет введена полная изоляция”. Как может политика и дальше опираться на модели команды Имперского колледжа при таком крайнем несоответствии между прогнозами и реальностью?

Фергюсон огрызнулся, отрицая какую-либо связь со шведскими результатами: “Во-первых, они не использовали нашу модель. Они разработали собственную модель. Мы не играли никакой роли в ее параметризации. Как правило, ключевым аспектом моделирования является то, насколько хорошо вы параметризуете ее по имеющимся данным. Но чтобы быть абсолютно ясным, они не использовали нашу модель, они не адаптировали нашу модель”.

Разработчик модели Имперского колледжа не представил никаких доказательств того, что команда Упсалы ошиблась в применении их подхода. Опубликованная версия модели команды Уппсалы совершенно ясно дает понять, что они построили шведскую адаптацию непосредственно на основе британской модели. “Мы использовали агент-ориентированную модель, основанную на структуре, опубликованной Фергюсоном и его коллегами, которую мы использовали для Швеции”, — объясняют авторы. Они также признали, что их прогнозы намного превосходят наблюдаемые результаты, хотя они несколько сомнительно приписывают различия добровольным поведенческим изменениям, а не ошибкам в дизайне модели.

Тем не менее команда Фергюсона агрессивно пыталась отмежеваться от упсальской адаптации своей работы. После того, как британский Spectator обратил внимание на результаты Швеции прошлой весны, Имперский колледж написал в Твиттере, что “профессор Фергюсон и группа реагирования на коронавирус Imperial COVID-19 никогда не давали оценку в 40 000 или 100 000 смертей в Швеции. Imperial работает с совершенно отдельной группы исследователей”. С тех пор Фергюсон и его защитники неоднократно повторяли это заявление.

Однако оказалось, что Фергюсон и команда Имперского колледжа сильно лукавили в своих попытках отмежеваться от наблюдаемых в Швеции результатов. В течение нескольких недель после публикации своих хорошо известных прогнозов по США и Великобритании Фергюсон и его команда фактически создали урезанную версию своей собственной модели для остального мира, включая Швецию. Они не предавали широкой огласке прогнозы на уровне стран, но полный список можно найти в приложении к отчету № 12 Имперского колледжа, опубликованному 26 марта 2020 года.

Прогнозируемые результаты Imperial для Швеции почти идентичны упсальской адаптации их модели. Команда Фергюсона прогнозирует до 90 157 смертей в результате “неограниченного” распространения (по сравнению с 96 000 смертей в модели Уппсальского университета). Согласно сценарию “социального дистанцирования на уровне населения”, который аппроксимирует такие меры НФВ, как локдауны, разработчики Имперского колледжа предсказали, что в Швеции погибнет до 42 473 человек (по сравнению с 40 000 в адаптации Упсалы).

Имперская команда не указала точных сроков пика заболеваемости в Швеции. Мы можем обоснованно сделать это на основании их более ранней модели по США и Великобритании, в которой предполагалось, что “пик смертности (ежедневных смертей) произойдет примерно через 3 месяца” после первоначальной вспышки. Таким образом, пиковое количество погибших в Швеции будет приходиться на середину июня или почти в то же время, что и в адаптация команды Упсалы.

Оказывается, вопрос виконта Ридли с самого начала был правильным. Не только адаптация модели Фергюсона в Уппсале прогнозировала завышенное число погибших в Швеции. В собственных прогнозах Фергюсона для Швеции были такие же цифры, которые совершенно не соответствовали тому, что произошло.

Многострановая модель Имперского колледжа ссылалась на свои более ранние и более известные прогнозы для США и Великобритании, как на доказательство истинности. Как писала команда Фергюсона 26 марта 2020 года: “Наша оценка воздействия неослабленного сценария в Великобритании и США для коэффициента воспроизводства R0, равного 2,4 (490 000 смертей и 2180 000 смертей соответственно), почти соответствует эквивалентным сценариям с использованием более сложных микросимуляторов. (510 000 и 2 200 000 смертей соответственно)”, которые они опубликовали за несколько недель до этого. Если прогнозы Imperial для США и Великобритании в этих моделях совпадают, можно предполагать валидность этих прогнозов и для других стран, которые они моделировали в многострановом отчете.

Команда Имперского колледжа уверена, что ее многострановая модель может служить для руководства политикой. Команда призвала другие страны ввести НФВ, чтобы сократить прогнозируемое число погибших с “неограниченного” сценария до “социального дистанцирования” (они также включили третий возможный сценарий более строгих мер в отношении населения в целом, направленных на изоляцию пожилых и уязвимых людей). Как тогда писали Фергюсон и его коллеги, “чтобы помочь выработке страновых стратегий в ближайшие недели, мы приводим здесь сводные статистические данные о потенциальном воздействии стратегий смягчения и подавления для всех странах мира. Они иллюстрируют необходимость действовать как можно раньше и то влияние, которое бездействие может оказать на местные системы здравоохранения”.

Бездействие, продолжали они, почти наверняка приведет к катастрофе. Как писали Фергюсон и его команда, “единственными подходами, которые могут предотвратить сбой системы здравоохранения в ближайшие месяцы, вероятно, будут интенсивные меры социального дистанцирования, которые в настоящее время осуществляются во многих наиболее пострадавших странах, предпочтительно в сочетании с активным тестированием”. Короче говоря, мир должен был быть немедленно заблокирован, чтобы предотвратить катастрофу, предсказанную их многострановой моделью.

(Примечание: Имперский колледж также включил третий возможный сценарий смягчения последствий, в дополнение к применяемым НФВ, включающий дальнейшую изоляцию пожилых и уязвимых людей, прогнозируя, что это может сократить численность населения Швеции на 16 192-33 878 человек. Далее они смоделировали четвертый возможный сценарий “подавления”, включающий строгую изоляцию, которая сократит контакты с людьми на 75% на время пандемии и поддержит их в течение года или более, пока не будет проведена вакцинация всего населения. Он предсказал 14 518 смертей. Швеция не приняла ни один из эти подходов).

Год спустя мы можем оглянуться назад, чтобы увидеть, как работают многострановые прогнозы Имперского колледжа, обращая особое внимание на небольшое количество стран, которые игнорировали его рекомендации по изоляции. Результаты не очень хороши для Фергюсона и указывают на четкий паттерн моделирования, который систематически преувеличивает прогнозируемое число погибших от Covid-19 если не будут введены локдауны и связанные с ними НФВ.

На рисунке II сравниваются прогнозы модели Имперского колледжа для сценария “социального дистанцирования” и сценария “без смягчения” с фактическими результатами через год после ее публикации. Эти прогнозы основаны на коэффициенте воспроизводства (R0) 2,4 — наиболее консервативный сценарий, который они рассматривали, что означает, что верхний диапазон прогнозов Imperial предполагал значительно более высокое число погибших. Рассматриваемые здесь страны — Швеция, Тайвань, Япония и Южная Корея — отличаются либо полным отказом от локдаунов и аналогичных агрессивных НФВ, либо тем, что полагались на них в гораздо более ограниченных масштабах, чем рекомендовал Имперский колледж. США, где 43 из 50 штатов в той или иной форме приняли меры строгой изоляции, также включены для сравнения.

Как видим, Имперский колледж дико завысил прогнозируемые смертельные случаи в каждой стране как в рамках своего “полного” сценария, так и в рамках своего сценария “социального дистанцирования”, основанного на НВФ, в нескольких случаях — на порядки.

Подобные завышенные прогнозы можно найти почти для любой другой страны, по которой Imperial опубликовала прогнозы, даже несмотря на то, что большинство из них предпочли ввести локдауны. Самая консервативная модель имперской команды предсказывала, что во Франции погибнет 332 000 человек в условиях “социального дистанцирования”, основанного на изоляции, и 621 000 человек — при “неконтролируемом распространении”. По прошествии одного года во Франции погибло 94 000 человек. Ожидалось, что в Бельгии погибнет как минимум 46 000 человек в результате смягчения последствий с помощью НФВ, и 91 000 — при неконтролируемом распространении. К годовщине появления модели Бельгия показала 23000 смертей — это один из самых высоких показателей в мире на душу населения и пример крайне неэффективного управления пандемией в условиях жесткой изоляции, но все же эта цифра составляет только половину предсказанной Имперским колледжем, причем, для их наиболее консервативного прогноза.

Год назад эпидемиологические модели Нила Фергюсона и Имперского колледжа сыграли выдающуюся роль в том, что в большей части мира были введены локдауны. Преувеличения в прогнозах этой группы, которые касаются почти всех стран Земли, теперь невозможно отрицать. Похоже, они являются одной из величайших научных неудач в современной истории человечества.

Филлип Магнесс
Оригинал статьи
Перевод: Наталия Афончина
Редактор: Владимир Золоторев
Источник