W tym miejscu, w średniowieczu, na wzgórzu zwanym Psią Górą, znajdowały się posiadłości zakonu Cystersów z Kołbacza. W XVI wieku po wprowadzeniu na Pomorzu reformacji zakon zlikwidowano a ówczesne zabudowania przejęło miasto i przeznaczyło je na potrzeby urzędników miejskich. W XVIII wieku budynki przebudowano i oddano do użytku garnizonowi. Po likwidacji fortów rozpoczęto zabudowę skarpy, a na początku XX wieku stanął tu gmach administracji miejskiej. W budynku mieściły się m.in. Miejska Kasa Oszczędności, Urząd Stanu Cywilnego, Sąd Gospodarczy oraz biura policji miejskiej. Po wojnie w ocalałym gmachu uruchomiono Akademię Lekarską, obecnie Pomorski Uniwersytet Medyczny.