Die Burg ist keinesfalls, wie oft behauptet, ein Neubau des Jörg Scheck vom Walde ab 1429, sondern entstand vielmehr zwischen 1200 und 1609 in fünf Hauptbauphasen.

Die Burg besaß von Anfang an weitgehend ihre heutige Größe und Gestalt, abzulesen an einem Mauerwerk aus blockhaften, bisweilen fischgrätartig angeordneten Steinen und Fugenstrichen, das im Sockelbereich fast aller Baulichkeiten erscheint.

Dass die Burganlage auch nach Osten eine ähnliche Ausdehnung wie seit 1429 aufwies, bezeugen ältere Mauerfragmente im Bereich des „Verlieses“ und an einem Eck des äußersten Tores. Die Befundsituation lässt bereits damals zumindest zwei Außentore vermuten, von denen das äußere am Platz der heutigen Außentores, das innere an der Stelle des Wappentores lag, wo deutlich sichtbar ein älteres Mauerfragment zutage tritt. Vor beiden Toren durchschnitten kurze Stichgräben, sog. Halsgräben, das Bergmassiv.

Vor dem äußersten Tor erstreckte sich bergwärts eine ausgedehnte Vorburg, wie eine historischen Abbildung von 1542 beweist. Auch die beiden Felsköpfe des „Bürgel“ und „Stein“ waren von Anfang an ähnlich überbaut wie später. Zwischen ihnen erstreckte sich entlang der Südseite des Mittelhofes ein fast 50 m langer Saalbau, der burgenkundlich die wichtigste Baulichkeit dieser Burg darstellt. Auf dem „Bürgel“ stand ein gewinkeltes, niedriges Festes Haus, während der „Stein“ einen ähnlich dimensionierten Palas, eine etwas größere Kapelle und einen etwas längeren Wohnturm („Frauenturm“) umfasste.

Die angebliche Zerstörung der Burg Aggstein durch Herzog Albrecht I. 1295/96 mit anschließender Instandsetzung lässt sich allein am Mauerwerk festmachen, das eine aufwändige Instandsetzung in den Jahren um 1300 aufweist. Besonders umfangreich waren diese Instandsetzungsarbeiten an der Südwand und dem ihr aufsitzenden Saalbau. Überall nutzte man die älteren Mauersockel und Mauerfundamente als Substruktion, mit Ausnahme des „Frauenturmes“, dessen Westabschluss man zurückversetzte. Der Palas erhielt eine neue Binnenwand sowie einen Aborterker neben der Felsnadel des späteren „Rosengärtleins“.

	Die beiden einzigen völlig neuen Baumaßnahmen galten der Verstärkung der Wehrhaftigkeit, als man zwischen dem äußeren und inneren Tor einen zusätzlichen Torhof einschob und das Osteck zwischen „Bürgel“ und südlicher Ringmauer durch eine kurze Traverse sperrte.

Die Bauaktivitäten von 1429-36 zeichnen sich im Bestand nur schwer ab, denn das Mauerwerk ähnelt sehr dem der Bauphase II. Charakteristisch sind die weißlichen Sandsteine an Ecken und Öffnungen sowie die doppelten Entlastungsbögen. Wenngleich die Burg ihre Grundkonzeption bewahrte, kam es doch zu substantiellen Ausbauten.

Da das vermehrte Aufkommen der Geschütze eine massive Gefährdung der Burg durch das östlich ansteigende Berggelände bedeutete, musste man die Zugangsseite punktuell durch gewaltige, mehrere Meter dicke Mauermassen, sog. „reduzierte Schildmauern“ sichern, insbesondere am 1. und 3. Tor. Auch der „Bürgel“ wurde stärker befestigt durch eine bogenförmige Ummauerung seines östlichen Felsfußes sowie einen westwärts vorgelagerten Anbau. Unterhalb des „Bürgels“ setzte man der Südmauer ein - heute fast völlig verschwundenes - schmales Gebäude auf, das vermutlich im Bereich des späteren Brunnenturmes endete.

Auch am westlich anschließenden Saalbau nahm man beträchtliche Veränderungen vor, indem man breite gewölbte Fensterkammern mit großen Fenstern einbaute, die drei Keller. unter dem Saalbau einwölbte, eine neue Binnenmauer einzog und einen neuen Gewölbekeller schuf.
Gegenüber des Saalbaues entstand eine Burgküche mit steinernem Pyramidenschlot und angebauter Dürnitz. Spektakulär erneuert wurde die dem Mittelhof zugewandte Frontseite des „Stein“, die einen extrem hochgelegenen Eingang mit Zugbrücke und Wurferker erhielt. Der daneben aufragende „Frauenturm“ wurde um zwei weitere Geschosse aufgestockt und innen mit Binnenwänden über Flugbögen ausgestattet. Kapelle und Palas wurden erhöht und mit neuen Öffnungen versehen.
Schließlich entstand durch Aufmauerung der Felsnase das sog. Rosengärtlein.

Diese Bauphase umfasst diverse Instandsetzungsarbeiten 1819, 1901 und 1922, als die Gräben verfüllt, Dürnitz und Küche rekonstruiert wurden.
Weitere Instandsetzungsarbeiten erfolgten 1945ff. und in den frühen 1970er Jahren. Erst 2004 kam es zu einer umfassenden Sanierung und Revitalisierung, indem man den Saalbau eindeckte und renovierte, neue Toiletten einbaute; die Gewölbekeller unter dem Saalbau sanierte und die Holztreppen zum „Stein“ und „Bürgel“ neu gestaltete. Auf dem 3. Tor platzierte man eine Aussichtsplattform. Die Torwartstube des 17. Jahrhunderts nutzte man als Kassenhäuschen mit Souvenirshop. Mit großem Aufwand wurde die Kapelle sorgfältig saniert.