Falar da família Ribafria de Sintra é sublinhar um modelo de ascenção social, ricos proprietários com alguns cargos menores, até que em 1518 Gaspar Gonçalves Ribafria passou a  porteiro-mor da Câmara Real, conseguindo a família ser nobilitada em 1541 pelo rei D. João III.  De bons recursos, os Ribafria contrapõem ao seu palácio na Vila, a sua quinta da Torre, exemplo da forte relação entre o solum, o morgadio, e a  posse senhorial.
Tal como na sua casa urbana, é de crer que na Torre tenha trabanhado Pero Pexão e, muito provavelmente, mestre Nicolau de Chanterene.