La grande e maestosa mole del Cenobio che ancora oggi si impone all’ammirazione per i suoi pregi architettonici, esisteva già nel 1078, ma non si conosce con precisione l’effettiva data di inizio della costruzione (si ipotizza nel 400).
Si sa per certo che Umfredo d’Altavilla, figlio di Tancredi d’Altavilla, fece delle donazioni di terre al convento fino al 1095. Alla morte di Umfredo i Monaci, le cui condizioni di vita erano assai misere, chiesero altre donazioni a Rodolfo, figlio di Umfredo nel 1097 e nel 1099.
La vedova di Rodolfo, la contessa Emma, col figlio Ruggiero, continuò le donazioni elargizzate dai familiari. In seguito la stessa Emma si impegnò per ampliare la chiesa del convento. Allo stesso tempo molte altre donazioni arrivavano da altri benefattori, che seguivano l’esempio di Emma.
Non mancò neanche l’interessamento del papa Alessandro III, che pose sotto la sua protezione i monaci di Montescaglioso.
Si ebbe così un lungo periodo di fioritura fino al XV secolo quando iniziò il declino dell’Abbazia causato dalle continue guerre.
Nel 1484 Baldassare del Balzo ebbe l’incarico da papa Sisto IV di mettere le cose in ordine, ma non ci riuscì. Successivamente a tale ardua impresa si cimentò poi Pirro del Balzo, conte di Montescaglioso, obbligando i pochi monaci rimasti a lasciare l’Abbazia, poi ripopolata con i monaci della Congregazione di Santa Giustina da Padova.
Il 5 agosto 1910 agli arcivescovi di Acerenza e Matera fu concesso di aggiungere il titolo di abati di Sant’Angelo di Montescaglioso. Dal 1954 questo titolo sarà appannaggio dei soli arcivescovi di Matera.
Secondo alcuni, a Montescaglioso si troverebbe l’elisir di lunga vita proprio nella famosa Abbazia. Infatti nella biblioteca si troverebbero alcuni affreschi e dipinti che fanno riferimento all’Elisir. Infatti si troverebbero anche affreschi raffiguranti Elfi, e altre figure mitologiche. È presente anche la figura di Re Mida con le sue orecchie d’asino, stante ad indicare nella simbologia ermetica “una verità che non può essere svelata”