Základní stavební kámen byl položen 15. srpna 1732 na popud rakouského císaře Karla VI. Mezi lety 1732 - 1737 byl postaven severovýchodní blok se dvorem, tedy pouze devítina původně projektované stavby. V tomto rozsahu se Invalidovna zachovala do dnešních dnů.