Historia
W 1597 r. do Kłodzka został sprowadzony zakon jezuitów, który rozpoczął w mieście działalność duszpasterską. W październiku tego samego roku uzyskał on zgodę papieską na prowadzenie nauki, którą rozpoczął w budynkach dawnego klasztoru augustianów na Górze Zamkowej. W 1787 r. zakon rozwiązano, a dobra klasztorne byłego kolegium zlicytowano. W 1800 r. z części dawnego kolegium utworzono męskie gimnazjum. Dziesięć lat później przekształcono je w Królewskie Gimnazjum Katolickie.
W roku 1935 przebudowano skrzydło biegnące równolegle z obecną ul. Wojska Polskiego. W trakcie pomieszczeń parteru przebito podcienia dla pieszych, przebiegające wzdłuż całego skrzydła budynku.
W roku 1945 w budynku utworzono liceum ogólnokształcące i gimnazjum. Obecnie mieści się tam I Liceum Ogólnokształcące im. Bolesława Chrobrego w Kłodzku.
Decyzją wojewódzkiego konserwatora zabytków z dnia 9 stycznia 1964 roku budynek został wpisany do rejestru zabytków.

Architektura
Projektantem gmachu szkoły w stylu barokowym jest architekt pochodzenia włoskiego Carlo Lurago. Gmach powstał w latach 1665-1690 na planie prostokąta z wewnętrznym dziedzińcem o powierzchni 600 m². 
Nie był to jednak koniec cierpień braci Towarzystwa Jezusowego, którzy byli uważani przez króla Fryderyka II za głównego wroga państwa pruskiego. Król oskarżył księży o nielojalność i pro-austriackie sympatie. Obarczył ich też winą za liczne dezercje Ślązaków z armii. 30 marca 1757 r. zakonnicy zostali ostatecznie wygnani z Kłodzka na czas wojny, a zniszczone kolegium przejęły władze pruskie. 
W 1787 r. po kasacie zakonu jezuitów utworzono w nieco odbudowanym już budynku pruskie gimnazjum państwowe.

Kolegium jezuickie, jak każdy przechodzący turysta może zauważyć, jest nieprzeciętnie wielkie. Długość gmachu wynosi ok. 49 metrów, szerokość ok. 40 metrów. Od północnego-wschodu przylegają do budynku relikty starszego, gotyckiego budynku komturii joannitów, połączonej w 1657 r. gankiem z kościołem. Obecnie znaczna część konwiktu służy Zespołowi Szkół Ogólnokształcących. Budynek był od strony zachodniej wysunięty nieco w obecną ulicę Wojska Polskiego. Po przebiciu w 1935 r. pomieszczenia w skrzydle zachodnim utworzyły ciąg charakterystycznych podcieni. Największe fragmenty oryginalnego wystroju zachowały się w refektarzu ozdobionym licznymi freskami, rozmieszczonymi w stiukowych profilowanych obramieniach. Na dwóch obrazach głównych ukazano św. Józefa i Koronację Najświętszej Marii Panny. W ścianach bocznych przedstawiono sceny: Zwiastowania, Pokłonu 3 króli, Chrystusa dobrego pasterza, zmartwychwstania i zesłania ducha świętego oraz ogrójec. Na ścianie wschodniej możemy podziwiać dwie nisze z figurami św. Piotra i św. Pawła namalowane w sposób iluzjonistyczny. Na głównej elewacji, wychodzącej w kierunku kościoła parafialnego znajduje się piękny portal na którym umieszczono datę ukończenia budowy: „1690” oraz napis „COLLEGIUM CAESAREUM SOCIETATIS JESU” co oznacza „Cesarskie Kolegium Towarzystwa Jezusowego”.