Das erste Kloster wurde 1631 erbaut. Das Gebäude wurde während der schwedischen “Sintflut” niedergebrannt. Das heutige Barockgebäude stammt aus den Jahren 1728-1731. Nach der Auflösung des Ordens beherbergte es ein Lehrerseminar und während des Krieges ein Altenheim. Das Gebäude hat einen unregelmäßigen L-förmigen Grundriss, wobei die längere Seite der Weichsel zugewandt ist. Das gemauerte Gebäude ist teilweise unterkellert. Der kürzere Flügel ist mit der Heilig-Geist-Kirche verbunden. Derzeit ist es Sitz des Museums-Priester-Dr.-Władysław-Łęga in Grudziądz.