Das Collegium wurde vom Woiwoden von Chełmno, Jan Działyński gestiftet. Das Gebäude wurde in den Jahren 1647-1725 über einem rechteckigen Grundriss mit zwei Flügeln im Norden erbaut. In der Diele, auf dem Gewölbe, finden wir eine polychrome Bemalung aus dem 18. Jh. mit einer illusionistisch gemalten Kuppel.
Im Erdgeschoss, im Westflügel, befindet sich ein Refektorium mit einem seltenen Spiegelgewölbe und Stuckdekor aus den Jahren 1720-1730. Nach der Auflösung des Jesuitenordens 1781 befand sich hier ein Knabengymnasium, ab 1816 wurde hier ein Lehrerseminar eingerichtet. Im Jahr 1897 wurde der Magistrat hierher verlegt und ist bis heute in diesem Gebäude tätig.