1156 legte Konrad I. alle seine Ämter nieder und trat ins Kloster ein, zuvor hatte er noch seine Lehen und Allodien rechtswirksam unter seinen 5 Söhnen verteilt. 1157 ist er im Alter von 59 Jahren verstorben und in der Mitte der Klosterkirche auf dem Petersberg neben seiner Gemahlin bestattet. Nach Konrads Tod wechselten die Besitzer der Burg häufig und jeder nahm bauliche Veränderungen vor.

So fiel nach dem Tode Otto des IV. die Burg an das Erzstift Magdeburg, welches sie bewirtschaften ließ. Die Oberburg teilte sich das Schraplausche und das Trothasche Lehen. Die Unterburg wurde im Jahre 1441 verkauft, der Saaleflügel an die Familie von Ammendorf, die Häuser auf der Stadtseite erwarb die Familie Aus dem Winkel. Die Familie von Ammendorf verzog nach Rothenburg.

Nun bewohnten und bewirtschafteten die Aus dem Winkel in mehreren Generationen die Burg. Sie ließen 1606 den Winkelturm im Renaissancestil errichten und legten zwischen Ober- und Unterburg einen Lustgarten mit Orangerie an, welcher dann 1873 abgerissen wurde.