Las colecciones fueron reunidas por Robert Brady (1928-1986), nacido en Iowa, EUA. Estudió en el Instituto de Arte de Chicago, en el Centro Tyler de las Artes de la Universidad de Temple y en la Fundación Barnes en Pennsylvania, EUA. Vivió cinco años en Venecia, Italia, antes de trasladarse definitivamente a Cuernavaca, Mexico en 1962.
Durante su vida viajó incansablemente para incrementar su colección particular, que cuenta con obras importantes de Rufino Tamayo, Frida Kahlo, Miguel Covarrubias, Maurice Prendergast, Marsden Hartley y Graham Sutherland.
La colección de más de 1300 piezas incluye muebles coloniales mexicanos, figuras preHispanicas junto con arte de Africa, las Américas, Oceanía, la India y el Lejano Oriente. Con su infalible ojo de artista, Brady, pintor y diseñador, organizó este rico mosáico de diversos estilos y épocas.
Las catorce habitaciones llenas de color, se encuentran tal y como las dejó Brady. Así mismo, se puede apreciar las esculturas y la vegetación tropical del jardín y del patio.
