Es una casa-palacio de estilo manuelino portugués construida en el siglo XVII que perteneció originariamente a la familia de Don Fernando Brito Lobo. En los años 90 fue donada al Ayuntamiento de Ribera del Fresno por Don José María Vargas Zúñiga heredero de ella y de la que toma su nombre.

Actualmente es la Casa de la Cultura y en ella se encuentra la Biblioteca Pública, el Centro de Interpretación “Cerro de Hornachuelos”, la Escuela Municipal de Música y el Centro

Etnográfico sobre las Almazaras.

Impresiona su enorme fachada, su gran balcón y escudo con venera. Sus rejas de hierro forjado llevan la Cruz de Santiago.