Procurando levar uma vida espiritual, na maior pureza e recolhimento, no ano de 1374 alguns anacoretas oriundos do Convento da Trindade de Lisboa instalaram-se num frondoso e pictórico vale da Serra de Sintra. Entre outros, destacamos Frei Álvaro de Castro, filho do 1º Conde de Arraiolos e 1º Condestável do Reino; Frei João de Évora, confessor do Rei D. João I e futuro Bispo de Viseu; e Frei João de Lisboa, director espiritual da Rainha D. Leonor.
O primeiro domicílio destes anacoretas foi a Ermida de Santo Amaro, sita dentro da actual cerca do Convento e, ainda, algumas grutas que se espalhavam pela serra. Em 1400, D. João I mandou erigir o primitivo convento, sob a protecção de seu confessor, na altura Frei Sebastião de Menezes. Dado este ter sido edificado na antiga Ermida de Santo Amaro, a construção padeceu de inúmeros defeitos na sua arquitectura e, em poucos anos, começou a ameaçar ruína, o que levou os religiosos a abandoná-lo progressivamente. Por volta de 1500, D. Manuel reconstruiu-o.
Durante a Contra-Reforma, Frei Baptista de Jesus edificou-o novamente, mas já no local onde hoje o podemos ver. Em 1755 ruiu parcialmente, datando grande parte de actual construção da segunda metade de setecentos.
Assim, e na sua traça actual, podemos divisar o pequeno claustro ajardinado, datado de 1570, apresentando-se como resultado de uma renascença já abastardada. A arcaria do claustro é composta por quatro arcos dóricos, repartidos em dois tramos por alçado. Sobre um dos lados do claustro encontra-se uma galeria aberta, com colunas do mesmo estilo. Porém, no refeitório e na dependência que eventualmente terá sido a sacristia, podem-se observar ainda alguns antigos azulejos de inícios de quinhentos. Após o terramoto de 1755, a igreja foi parcialmente reconstruída e a sua proeminente fachada setecentista domina hoje o conjunto.
A cerca do Convento escala e aninha-se no flanco da montanha; todavia, apesar de se encontrar hoje um pouco adulterada, não perdeu o ar de recolhimento e de meditação, já notado no edifício. Por isso, encontram-se ainda dispersos ao longo da cerca inúmeros nichos, cruzeiros, antigas fontes, inscrições e esculturas,  que embelezam todo o terreno circundante.