Zamek powstał w rejonie zajmowanym we wczesnym średniowieczu przez osadę pamiętającą co najmniej XI stulecie i późniejszy piastowski gród kasztelański. Po przejściu w XIII wieku w prywatne ręce rodu Świnków, Krzyżowiec Henryk ze Świn wzniósł do dziś znakomicie zachowaną potężną wieżę mieszkalną, jeden z najwyższych zachowanych średniowiecznych budynków mieszkalnych w Polsce. W 2. połowie XV wieku powstał zamek średni, po którym przetrwał obwód zewnętrznych murów z bramą. W XVIII stuleciu Jan Zygmunt Schweinichen wystawił pałac w stylu manierystycznym pokryty sgraffitem, z okazałą bramą nad którą wznosi się herb Świnków. Całość otaczają wczesnowożytne fortyfikacje. Nader rzadką okazją jest w Polsce oglądanie dwóch zamków naraz, tymczasem stojąc na dziedzińcu warowni w Świnach roztacza się przed nami piękny widok na miasto i zamek Bolków.