Die vielen Hausweber in Nuenen weckten in den 1980er Jahren bald Vincents Interesse. Seine Faszination lässt sich leicht nähren: bis zu einem Drittel der männlichen Einwohner sind Weber von Beruf. Die Frauen helfen beim Spinnen oder Aufwickeln des Garns. Mein Kopf ist nicht auf das Schreiben eingestellt und ich habe wenig Zeit dafür, denn wenn ich nicht bei Moe bin, sitze ich hier in der Nähe bei einer Weberin, von der ich zwei gemalte Studien in der Hand habe", schreibt er im Januar 1884 an Theo.
Die Weber in Nuenen verrichten ihre Arbeit zu Hause; der Webstuhl steht im Haus oder in einer Scheune auf einem Lehmboden. Die kleinen Räume machen Vincent zu schaffen: "Diese Webstühle sind schwer zu ziehen, denn in den kleinen Räumen kann man sich nicht weit genug entfernen, um den Webstuhl zu ziehen [...] Ich habe jedoch hier einen Raum gefunden, in dem es zwei Webstühle gibt & wo man es tun kann". Die Weber führen ein karges Dasein. In der ersten Hälfte des Jahres 1884 widmet Vincent den Handwerkern etwa dreißig Gemälde und Zeichnungen. Auch ihre Werkzeuge bilden ein Motiv: "Ich male auch einen Webstuhl - aus alter grünlich-brauner Eiche - in den die Jahreszahl 1730 geschnitzt ist. In der Nähe dieses Webstuhls, an einem kleinen Fenster, durch das man eine grüne Wiese sehen kann, steht ein Hochstuhl, auf dem das kleine Kind stundenlang sitzt und dem hin- und herschießenden Weberschiffchen zusieht". Obwohl er die Innenräume meist ohne Details abbildet, wird ihnen in einigen Werken mehr Aufmerksamkeit geschenkt. Die Behausungen sind meist nur schwer zu identifizieren.
Vincent steht in Kontakt mit mehreren Webern, die ihm Modell stehen, darunter Toon Swinkels, Peter Smulders und Pieter Dekkers. Swinkels wohnt in einem baufälligen Haus auf dem Berg und Vincent soll drei Monate lang in der Weberei seines Vaters gemalt haben. Dekkers, dessen Sohn Driek Vogelnester für Vincent sammelt, wohnt etwas außerhalb des Dorfes in De Rijt 2; beide Häuser sind im Laufe der Zeit abgerissen worden.
Von den zahlreichen Weberhäusern in Nuenen sind nur noch einige wenige erhalten geblieben. Eines befindet sich im Zentrum auf dem heutigen Berg, nur einen Steinwurf vom Pfarrhaus entfernt. Obwohl es keine Beweise gibt, ist es plausibel, dass Vincent die Hütte nicht nur von außen, sondern auch von innen kannte. Es wird angenommen, dass das Anwesen 1763 als Weberhaus gebaut wurde. Nach mehreren Besitzern kaufte der Weber Willem van der Burg das Haus im Jahr 1869, woraufhin es ein Jahrhundert lang in Familienbesitz blieb. Willems Tochter ist Küsterin der reformierten Gemeinde und wohnt dort bis 1967.
Nach einer Renovierung im Jahr 2017 dient es als Übernachtungsmöglichkeit unter dem Namen "Das Küsterhäuschen".
