De verzameling van Hendrik Muilman was een eigenzinnige verzameling. 

Net als zijn tijdgenoten kocht hij zonovergoten en bergachtige landschappen in Italiaanse stijl. Ook op het gebied van zeestukken, stillevens en veestukken was zijn smaak conservatief. Maar met zijn noordelijke landschappen en burgerlijke genrestukken bezat hij aan het begin van de negentiende eeuw een vrij moderne verzameling.

Hij had, ondanks zijn grote rijkdom, ook belangstelling voor de (in zijn tijd) goedkopere en minder geliefde meesters. Vermeer, Jan Steen, van Goyen en Ruysdael waren nog helemaal niet populair, maar waren wel prominent in de verzameling aanwezig.
 
In 1812 overleed Hendrik Muilman. Zoals het in die tijd gebruikelijk was werd zijn verzameling, bestaande uit 212 schilderijen, geveild. Zijn kinderen konden ook bieden en zij mochten de opbrengst van de veiling delen. Een groot aantal schilderijen, zoals 'Het melkmeisje' van Johannes Vermeer, verdwenen vanaf dit moment uit de familie. De familieportretten werden overigens niet op de veiling aangeboden, deze hadden immers emotionele waarde.