(Не)заслуживающие доверия РКИ в экономике развития: ложные открытия, низкая мощность и решение © 2026 Qingyuan Chai, Kevin Lang, Liang Zhong NBER Working Paper 35999 Дата выпуска: Ноябрь 2026 https://www.nber.org/papers/w35999 Перевод аннотации: Мы изучаем статистическую достоверность рандомизированных контролируемых испытаний (РКИ) в экономике развития и оптимальное распределение ресурсов на репликации. Используя 745 проверок основных гипотез из 190 статей в ведущих экономических журналах, мы обнаруживаем, что фактические t-статистики достигают максимальной частоты на уровне значительно ниже теоретического ориентира 2,8, ожидаемого при мощности 80%, хотя и выше значений, связанных с p-хакингом. Это указывает на недостаточную статистическую мощность многих РКИ. Оценивая эмпирическую байесовскую модель смеси, учитывающую избирательную публикацию, мы обнаруживаем, что примерно 30% опубликованных отклонений нулевой гипотезы являются ложными открытиями, а средняя направленная мощность составляет лишь 40%. При общепринятых порогах значимости апостериорная вероятность ложного открытия достигает 66%. Удвоение исходных размеров выборок снижает среднюю долю ложных открытий на пять процентных пунктов, тогда как ужесточение порога значимости до 0,005 даёт более существенное снижение ценой уменьшения общего числа открытий. Наконец, мы характеризуем оптимальную политику финансирующей организации в отношении репликаций при фиксированном бюджете и заданном стандарте доказательности. При стандартных условиях регулярности репликации концентрируются в промежуточном интервале исходных тестовых статистик, а оптимальный размер выборки репликации является одновершинной функцией исходной t-статистики. Иллюстративные калибровки показывают, что успешные репликации снижают совокупную долю ложных открытий до 1,8–7,8% в зависимости от стандарта доказательности. @nberpost
- 7
- 2
- 1