Letohrádek byl vystavěn v 70. letech 17. století hrabětem Kryštofem Rudolfem Bredou, majitelem zámku Lemberk, jehož erb je umístěn nad hlavním vchodem do zahrady. Téměř současnou podobu získala terasovitá zahrada na konci 17. století, kdy do ní byly umístěny kamenné fontány a 18 nových soch. Za dalších majitelů Clam-Gallasů, byla zahrada na přelomu 18. a 19. století kompletně renovována
a původní sochařská výzdoba nahrazena novými plastikami. Na počátku 19. století byl letohrádek klasicistně upraven, stal se sídlem vrchnostenského zahradníka a začal sloužit výhradně hospodářským účelům. Kromě bytu se v letohrádku nacházely i místnosti určené pro sadbu rostlin a rané zeleniny. Také původně okrasná zahrada byla přeměněna na zahradu užitkovou, a to výstavbou několika skleníků
a záhonů. Přesto ve druhé polovině 19. století došlo k výsadbě několika okrasných tisů a k doplnění stávající sochařské výzdoby. Velkou stavební přeměnou letohrádek prošel ve 20. a 30. letech 20. století, kdy byl jeho interiér moderně upraven, a stal se sídlem clam-gallasovské lesní správy. Úřednický charakter budovy a zahradnictví si letohrádek udržel až do konce druhé světové války, kdy byl společně se zámkem Lemberkem zestátněn. Od roku 1947 byl letohrádek včetně zahrady v soukromém vlastnictví a od roku 1989 opět majetkem státu. V současné době je letohrádek i se zahradou
v rekonstrukci.