Když se pár chytrých modelů dalo dohromady, aneb ČNB posílila krátkodobý prognostický arzenál

Následující text navazuje na blog Představení a přesnost nástrojů krátkodobé prognózy českého HDP v ČNB, ve kterém jsme popsali hlavní metody pro krátkodobou predikci české ekonomické aktivity včetně jejich přesnosti. Prognostické schopnosti ekonomů se však stále rozvíjí a aktuální ekonomická literatura se shoduje^[1], že širší paleta ekonomických modelů a jejich kombinace vede k přesnějším krátkodobým predikcím. Z tohoto důvodu jsme obohatili i náš „arzenál“ v ČNB. Bližší představení nových metod včetně jejich úspěšnosti přináší následující řádky.

Představení nových modelů

Většinu nově používaných modelů lze označit za metody tzv. strojového učení. Jak již název napovídá, jde o nástroje, které se při každém odhadu dokážou určitým způsobem učit. V první skupině, která spadá do tzv. regularizovaných regresních metod, se ona adaptace projevuje schopností vybrat při odhadu pouze ty nejvhodnější proměnné, přičemž datové sady mohou čítat klidně několik desítek až stovek časových řad. Lapidárně řečeno – pokud se rozhodneme použít pro prognózu českého HDP počet skvrn na Slunci, obyčejná regrese tuto proměnnou vezme v potaz i přes její statistickou nevýznamnost, avšak popisované rozšířené regresní modely nikoliv.^[2] Konkrétně se jedná o metody LASSO (Least Absolute Shrinkage and Selection Operator), Ridge Regression a Elastic Net, které jsou při minimalizaci sumy čtverců reziduí (podstata obyčejné regrese) penalizovány využitím i velikostí dalších koeficientů (proměnných). Výhodou uvedených modelů je možnost interpretace jejich výsledku, která u jiných metod strojového učení není často triviální a samozřejmá. Umožňují tedy vysvětlit, jakou měrou se na změně HDP podílel např. zpracovatelský průmysl či další použité proměnné.

Mezi další nově využívané metody strojového učení patří SVM (Support Vector Machine) a Random Forest. Na rozdíl od regrese metoda SVM minimalizuje velikost koeficientů při zachování sumy čtverců reziduí v určitém rozsahu. Podobně jako předchozí přístupy se vyrovnává s problémy dimenzionality (příliš mnoho vstupních proměnných) i přeučení (nadměrné přizpůsobení modelu vstupním datům). S nimi se dokáže popasovat také metoda Random Forest, která v sobě kombinuje regresi a rozhodovací stromy (Decision Trees). Random Forest vytváří výsledky na základě kombinace velkého množství rozhodovacích stromů, které pochází z různých datových podmnožin. Kvůli tomu má tato metoda omezenou schopnost zachytit extrémní pozorování, neboť ty jsou z podstaty věci v minulosti nepozorovaná.

Vedle metod strojového učení jsme modelový aparát rozšířili ještě o dynamický faktorový model z balíčku nowcasting^[3] v jazyce R. Seznam porovnávaných metod doplňují také dříve používaný a v odkazovaném blogu z úvodu popsaný dynamický faktorový model od Fedu a index Rushin.

Modely, modely, který z vás je v ČNB nejpřesnější?

K porovnání přesnosti predikcí z různých metod jsme znovu použili vyhodnocení přes tzv. out-of-sample prognózy. Stručně připomeňme, že jejich podstata spočívá v tom, že testovanému modelu je „zatajeno“ již známé pozorování HDP a jeho odhad se provádí pouze s využitím dat, která byla k dispozici před zveřejněním tohoto pozorování. Abychom zjistili, zdali kombinace více metod skutečně přináší lepší predikce než jednotlivé modely, zprůměrovali jsme navíc jejich dílčí výsledky pomocí váženého průměru. Váhy jsme odvodili od historické přesnosti každého modelu.^[4] Porovnání pozorování HDP a odhadů výše představených metod ukazuje Graf 1.

Na základě rozptylu odhadů jednotlivých metod lze „okonometricky“ hádat, že trefit HDP není po roce 2020 tak snadné jako před pandemií. Jako exaktní metriku pro srovnání prognóz však využijeme odmocninu z průměrné čtvercové chyby (RMSE)^[5]. Výsledky oproti prvnímu (předběžnému) odhadu ČSÚ^[6] ukazuje Graf 2.

Téměř u všech modelů se potvrzuje domněnka, že modelové odhady po roce 2021 byly méně přesné než před začátkem pandemie. Jako nejpřesnější se na celém sledovaném období (1Q18–2Q23) ukázaly oficiální prognózy ČNB. Před covidem (1Q18–4Q19) byly predikce ČNB a nejpřesnějších modelů v podstatě totožné. Následný nástup pandemie však ukázal, že modely nebyly dokonalé a analytici museli ve zvýšené míře spoléhat na svůj expertní úsudek a snažit se o vývoj přesnějších nástrojů. V pocovidovém období
(1Q21–2Q23) platí, že nejlepší modely dosahují lepších výsledků než ČNB a jejich průměrná odchylka činí zhruba 0,6 p. b.

V souladu s uvedenými studiemi se navíc potvrzuje, že kombinování (průměrování) modelů skutečně přináší přesnější predikce. Pokud bychom disponovali celou výše uvedenou baterií modelů již na konci roku 2020, naše prognózy by se kvantitativně zlepšily o více než 0,1 p. b. To na první pohled nevypadá jako mnoho, ale při výsledném rozsahu odchylek se jedná o zpřesnění predikcí o téměř 20 %. Nejen v jednoduchosti, ale i v průměrování je síla!

---

^[1] Richardson, A., & Mulder, T. (2018). Nowcasting New Zealand GDP using machine learning algorithms. Richardson, A., van Florenstein Mulder, T., & Vehbi, T. (2021). Nowcasting GDP using machine-learning algorithms: A real-time assessment. International Journal of Forecasting, 37(2), 941–948. Dauphin, M. J. F., Dybczak, M. K., Maneely, M., Sanjani, M. T., Suphaphiphat, M. N., Wang, Y., & Zhang, H. (2022). Nowcasting GDP – A Scalable Approach Using DFM, Machine Learning and Novel Data, Applied to European Economies. International Monetary Fund. Kant, D., Pick, A., & de Winter, J. (2022). Nowcasting GDP using machine learning methods.

^[2] To samozřejmě platí za předpokladu, že mezi oběma časovými řadami neexistuje falešná korelace jako v některých zdánlivě nesouvisejících případech.

^[3] Valk, Serge de, Daiane de Mattos, a Pedro Ferreira. 2019. „Nowcasting: An R Package for Predicting Economic Variables Using Dynamic Factor Models”. The R Journal 11 (1): 230–44.

^[4] Modelu s nejnižší hodnotou RMSE (viz další vysvětlivka) je přiřazena nejvyšší váha odvozená od podílu sumy RMSE všech modelů a RMSE daného modelu (v obou případech za celé sledované období 1Q18–2Q23). Takto získané váhy jsou následně znormovány, aby jejich součet dosáhl 1.

^[5]RMSE (Root Mean Square Error)=?(průměr[(predikce-pozorování)²])

^[6] Výsledky jsou oproti zbývajícím odhadům ČSÚ velmi podobné.