Riche notable né à Bailleul en 1798, Benoît De Puydt était un collectionneur curieux et éclairé des cultures flamandes, européennes et asiatiques : peintures, sculptures, céramiques, arts graphiques, mobilier et dentelles… Dans sa maison ouverte à tous, sa collection progressivement enrichie de dépôts de l’État et de contributions de donateurs privés était devenue conséquente lorsqu’éclate la 1ère Guerre mondiale. Seule une infime partie des oeuvres ayant pu être évacuée, elle disparait malheureusement presque entièrement sous les bombes des alliés, en même temps que la maison d’origine.
En 1934 un nouveau musée, financé par les dommages de guerre, est reconstruit sur place et redonne vie à une partie des peintures disparues en reprenant, sur des panneaux aux dimensions d'origine des œuvres, leur description rédigée par le conservateur en 1881.