W wieku XVI i XVII zamek przestał być warownią biskupią, stał się natomiast wielką rezydencją.
Doskonałe wnętrza, zbiory rzeźb, malarstwa, ksiąg przyciągnęły w te progi Karola XII szwedzkiego, który w roku 1704 wywiózł stąd dużo najcenniejszych rzeczy, aby w ten sposób wzbogacić swoje rezydencje.
Poza miastem na wzgórzu zachowała się oranżeria, której fundatorem był biskup Ignacy Krasicki. To piękna rokokowa, przeszklona budowla. Należy także wspomnieć o pałacyku w Smolajnach niedaleko Olsztyna.
Ten wspaniały polski zakątek zakończył swoją świetność, kiedy władzę przejęły Prusy. W roku 1795 zamek nie był już rezydencją biskupią. Myślano też o jego rozbiórce, ale w jego obronie stanęli mieszczanie lidzbarscy. Zanieśli swoją prośbę aż do króla pruskiego.
W roku 1926 rozpoczęto dopiero prace zabezpieczające i konserwatorskie.
Obecnie zamek jest bardzo chętnie odwiedzany przez rzeszę turystów. W murach zamku znajdują się piękne wystawy, ale najbardziej cieszy oko gotycka architektura, nie zapominając o całej historii.