Klášter byl založen u pramene potoka Brusnice, kde se podle pověsti setkal biskup sv. Vojtěch s knížetem Boleslavem, neboť oba měli prorocký sen. První mnichy přivedl sv. Vojtěch z Říma, prvním opatem se roku 993 stal jeho vychovatel Anastasius. Další pověst vypráví, že uprostřed nedalekého posvátného háje rostl prastarý dub, v jehož koruně sídlil rohatý čert a schovával tam uloupené duše v podobě ptáků. Mniši svedli s démonem urputný boj, ale nakonec ho zahnali hlaholem zvonů, dub porazili a z jeho kmene otesali mocné břevno, ze kterého udělali nosný trám krovu klášterního kostela.
