Основу собрания музея составила коллекция картин, принадлежавшая семье принцев Оранских; организованная в период правления Наполеона, в XIX в. галерея обогатилась многочисленными поступлениями, благодаря инициативе различных муниципальных учреждений и голландского торгового общества.
Во 2-й половине XIX в. постоянное пополнение коллекций и приобретение поступивших по завещанию важных частных коллекций вызвали необходимость переезда музея в новое здание, в Амстердаме, построенное специально для данного случая в 1876-1885 гг...