Die Familie Van Gogh lebte hier von 1882 bis 1886, als die Mutter nach Breda zog. Vincent von Dezember 1883 bis Ende 1885.
Das Pfarrhaus wurde 1764 von der Zivilgemeinde gebaut, die damals noch verpflichtet war, dem reformierten Pfarrer eine Wohnung zur Verfügung zu stellen. Der Vater von Vincent van Gogh, Theodorus van Gogh, war Pfarrer in der Gemeinde.
Vincent hatte sein erstes Atelier in Nuenen in der Waschküche hinter dem Pfarrhaus. Seine Eltern stellten einen Ofen, eine hölzerne Ottomane und ein Kinderbett auf und ließen die ganze Wohnung "weiter aufmöbeln", um sie gemütlich zu machen. Vincent zog es vor, dass sein Vater kein großes Fenster in die Wand einbaute.
Einige Monate später erkundigt sich Vincent bei Theo nach einem festen finanziellen Zuschuss: "Ich muss das wissen, denn wenn ich mich darauf verlassen kann, würde ich mir irgendwo ein anderes geräumiges Studio nehmen, das ich für die Arbeit mit Modellen brauche. Das, was ich jetzt habe, hat folgende geografische Lage. Und meine Vorstellungskraft ist nicht stark genug, um diesen Fortschritt gegenüber der Situation im letzten Jahr zu finden. Seine beigefügte Skizze, die den Kohlenschuppen, die Toilette, den Abwasserkanal und die Dunggrube zeigt, sollte Theo davon überzeugen, dass es sich nicht um einen florierenden Arbeitsplatz handelt. Tatsächlich beschließt er Anfang Mai 1884, vom katholischen Küster Johannes Schafrat und seiner Frau eine größere Werkstatt zu mieten. Ein Jahr später, nachdem sein Vater inzwischen gestorben war und es zu Reibereien mit seiner Schwester Anna gekommen war, verließ er das Pfarrhaus, um in diesem Atelier zu leben.
Das Wohnhaus stammt aus dem Jahr 1764, wie man noch an den Mauerankern an der Vorderfassade ablesen kann. Rechts neben dem Haus ließ Theodorus' Vorgänger, Pfarrer Begemann, 1840 ein Kutschenhaus errichten. Bevor die Familie in ihr neues Haus einzog, musste es grundlegend renoviert werden. Sowohl vor als auch nach dem Einzug der Van Goghs wurde das Presbyterium umfassend restauriert. Bei einer Restaurierung im Jahr 1957 wurde die putzartige Zementschicht entfernt. Diese Schicht und auch das Kutschenhaus sind auf dem Gemälde De pastorie te Nuenen vom Herbst 1885 zu sehen. Vincent zeichnet und malt sowohl die Vorder- als auch die Rückseite des Pfarrhauses, auch nachdem er das Haus verlassen hat. Da dieses Gemälde und die gleichnamige Zeichnung in die Hände von Theo bzw. Willemien gelangten, könnten sie als Andenken an das Elternhaus gedacht gewesen sein.
Der tiefe Hinterhof war ein Lieblingsplatz von Vincent. Es ist ein schöner Garten mit Rasen, Blumen, Obstbäumen und im hinteren Teil ein Gemüsegarten und ein großer Teich mit einer Terrasse. Vincent hält den Garten häufig fest, aus verschiedenen Blickwinkeln und zu verschiedenen Jahreszeiten. Die ersten Zeichnungen entstehen bereits im Monat seiner Ankunft. Im Jahr 1884 fertigt er eine Reihe von Federzeichnungen an, die den Garten in Winterstimmung zeigen. Dann zeichnet er auch den Weg 'hinter den Hecken', der hinter dem Garten liegt. In dem Aquarell De tuin van de pastorie te Nuenen verwandelt er den hinteren Garten in einen öffentlichen Park und setzt nicht nur Figuren in Szene, sondern auch den inzwischen abgerissenen Alten Turm. Heute ist der Garten weniger üppig bepflanzt, aber weitgehend unverändert geblieben; der Teich wurde in jüngster Zeit restauriert.
Auch heute ist das Pfarrhaus noch ein Wohnhaus. Mehrmals im Jahr ist es möglich, das Atelier und den Garten von Vincent zu besuchen.
