In 123 n.Chr. startte Hadrianus in de Tuinen van Domitianus debouw van een monument dat pas in 134 werd gebouwd en de begraafplaats moest worden van de Antonini-dynastie. Voor de verbinding van het mausoleum met de Campus Martius werd een nieuwe brug gebouwd: de Pons Aelius (tegenwoordig Ponte Sant'Angelo). De oorspronkelijke constructie, geïnspireerd op het Mausoleum van Augustus, moet hebben gestaan op een vierkanten fundament van 89 meter lang en 15 meter hoog in opus latericium en had radiale kamers met rondom plafondgewelven. Daarop stond een enorme rotonde met een diameter van 64 meter en een hoogte van 21 meter. Daar bovenop lag een grafheuvel die diende als podium voor een immens bronzen vierspan gemend door de keizer. Aan de buitenzijde was de muur bedekt met marmer. Op het timpaan van het fundament stonden inscripties met de grafschriften van de mensen die waren begraven in de pilasters. De vier hoeken van het fundament waren gedecoreerd met groepen bronzen beelden. Op de buitenomheining stonden vermoedelijk bronzen pauwen (tegenwoordig in de Vaticaanse musea). De huidige ingang bevindt zich drie meter boven de oorspronkelijke ingang met drie bogen, die helaas niet bewaard zijn gebleven. Een korte gang leidt naar een vierkanten vestibule, waarvan de achterwand een halfronde nis bevat, waar oorspronkelijk waarschijnlijk een beeld van Hadrianus stond (het hoofd bevindt zich in de Vaticaanse musea). Een spiraalvormige galerij leidt naar de rouwkamer in het midden. De hal, van oorsprong bedekt met marmer, had drie zijden, waar zich de grafurnen van keizer Hadrianus en zijn vrouw Sabina bevonden, en van alle andere keizers van de Antonini-familie en het Severische Huis tot Caracalla. Eerdere keizers, van Augustus tot Nerva, zijn begraven in het Mausoleum van Augustus en de as van Trajanus bevindt zich in het fundament van de Zuil van Trajanus. Boven de grafkamer bevinden zich twee, misschien drie kamers. In 403 werd het mausoleum door keizer Honorius ingesloten in een versterking, die deel uitmaakte van de Aureliaanse muur. In 537 hield het gebouw stand tijdens de aanval van de Oostgoten onder Vitiges, maar korte tijd later viel het in handen van Totila. In de 10e eeuw werd het omgebouwd tot kasteel, maar ook gebruikt als gevangenis en schuilplaats. Gregorius VII, Cola di Rienzo en Clemens VII hebben zich hier alledrie verscholen. Het bouwwerk, dat Castel Sant'Angelo (Engelenburcht) wordt genoemd, werd dus de belangrijkste vestiging van Rome. Tussen de 10e en 14e eeuw viel het in handen van de machtigste families, totdat het onder Nicolaas III eigendom werd van de pauzen.
