Gaspar Gonçalves, embora de origem humilde, angariou uma fortuna apreciável e mereceu a confiança da Casa Real. Em 1518, D. Manuel designou-o porteiro-mor da real câmara, posto que o obrigou a estabelecer-se com carácter quase permanente em Sintra. Assim, no ano de 1534, Gaspar Gonçalves ergueu, perto do Paço Real, a sua residência. Mais tarde, em 1541, quando reinava D. João III, foi-lhe outorgado o título nobiliárquico de Senhor de Ribafria, e, em 1569, recebeu o cargo de alcaide-mor de Sintra, lugar exercido por membros da sua família durante várias gerações.
André Gonçalves, filho de Gaspar Gonçalves, veio a casar com D. Luísa de Albuquerque, facto que contribuiu sobremaneira para a consolidação da novel linhagem dos Ribafrias. Foi nessa casa da Vila de Sintra que nasceu André de Albuquerque Ribafria (neto do primeiro Ribafria), militar distinto, morto em 1659 no cerco de Elvas, aquando da Guerra da Restauração.
Porém, em 1727, Pedro de Saldanha Castro Ribafria vendeu o seu paço a Paulo de Carvalho de Ataíde, arcipreste da Santa Igreja Patriarcal, que o legou ao sobrinho, Sebastião José de Carvalho e Melo, Conde de Oeiras e Marquês de Pombal, ministro plenipotenciário de D. José I.
Por tudo isto, o Paço dos Ribafria apresenta, logo na sua fachada austera, alterações ocasionadas por diversas campanhas de restauro. Assim, a par das janelas manuelinas, evidenciam-se outras de cunho já pombalino.
A residência é constituída por três corpos dispostos em U, que formam um pátio interior. O acesso a esse pátio processa-se através de um portão circundado por uma singela cantaria chanfrada. Deveras significativo é o átrio abobadado, cujas ogivas assentam num complexo jogo de arcos e nervuras, nascidos dos diversos ângulos. Este átrio está ornamentado com tímpanos de temática medieval, enquanto os fechos de abóbadas se apresentam já concebidos segundo as renovadas concepções artísticas da época. Destaca-se ainda a existência de dois arcos de volta perfeita, suportados por colunas e capitéis italianizantes, e ornamentados com volutas e carrancas. No capitel central, pode ler-se a seguinte inscrição: «esta obra fez Pero Pexão no anno de myl e quinhêtos XXXIIII annos».