O Convento do Carmo começou por ser construído no Casal da Torre, próximo de Janas. Mas dada a escassez de água e o facto do terreno se apresentar infrutífero e agreste, resolveram os frades edificá-lo numa  sesmaria entre os lugares de Gigarós e Boca da Mata, na freguesia de Colares. Foi seu principal mentor Frei Constantino Pereira, sobrinho do Condestável, no século XV. 
O Convento de Sant’Ana pertencia á Ordem dos Carmelitas Calçados e foi o segundo que se construiu em Portugal pertencente aquela ordem religiosa. Ali foram sepultados, entre outros, Frei Estevão da Purificação e D. Dinis de Melo e Castro.
No século XIX, a cruz que antecede o convento, com uma haste partida, inspirou o grande escritor Alexandre Herculano para compôr o seu poema «Cruz Mutilada».