Toward robust early-warning models: A horse race, ensembles and model uncertainty

Abstract

This paper presents first steps toward robust early-warning models. We conduct a horse race of conventional statistical methods and more recent machine learning methods. As early-warning models based upon one approach are oftentimes built in isolation of other methods, the exercise is of high relevance for assessing the relative performance of a wide variety of methods. Further, we test various ensemble approaches to aggregating the information products of the built early-warning models, providing a more robust basis for measuring country-level vulnerabilities. Finally, we provide approaches to estimating model uncertainty in early-warning exercises, particularly model performance uncertainty and model output uncertainty. The approaches put forward in this paper are shown with Europe as a playground.

Tässä työssä otetaan ensi askeleita kohti robusteja malleja kriisien ennakoinnissa. Tutkimuksessa vertaillaan tavanomaisia tilastollisia menetelmiä ja uudempia koneoppimisen menetelmiä. Tämän tutkimuksen yhtäaikainen vertailu menetelmien suhteellisesta suorituskyvystä on relevantti, koska yksittäisiä ennakointimenetelmiä käytetään usein erillään muista menetelmistä. Lisäksi työssä testataan menetelmien eri aggregointitapoja yhdistämällä tietoa eri menetelmien signaaleista yhteen lopulliseen malliin, joka tuo robustimman tavan estimoida maakohtaisia haavoittuvuuksia. Lopuksi esitetään kaksi lähestymistapaa ennakointimallien epävarmuuden arvioimiseksi. Tässä tarkastellaan erityisesti mallien suorituskyvyn epävarmuutta ja mallien signaalien epävarmuutta. Tämän paperin menetelmiä sovelletaan eurooppalaiseen aineistoon.