Während seines Besuchs in Nuenen malt Van Rappard mehrere Studienköpfe von Bauern und Arbeitern. Das ermutigt Vincent, seine Fähigkeiten in der Figurenmalerei zu verbessern. Um ein Bauernmaler zu werden, glaubt er, dass er viel üben muss. Er nimmt sich vor, mindestens 30 Köpfe zu malen. Angetrieben von seinem Ehrgeiz, korrigiert er sein Ziel auf 50. Aus der Zeit zwischen Ende Oktober und Ende Mai sind 47 Kopfstudien erhalten geblieben.
Vincent gibt den Plan, außerhalb von Nuenen Unterricht im Figurenzeichnen zu nehmen, vorerst auf. Einen Winter lang übt er sich mit seinen Kopfstudien nicht nur in Anatomie, sondern auch in Farbe, Pinselführung und Hell-Dunkel-Effekten. Seit Beginn seiner künstlerischen Tätigkeit hofft Vincent, ein Gemälde mit mehreren Figuren zu schaffen, eine komplexe Aufgabe. Zur Vorbereitung studiert er auch Hände und Arme. Anfang April 1885 nimmt sein Wunsch nach einem Figurenbild Gestalt an. Er entscheidet sich für eine Darstellung von "Bauern bei einem nächtlichen Kartoffelteller". Er fertigt zahlreiche Vorstudien an und stellt im Atelier eine Komposition auf deren Grundlage zusammen. Für Die Kartoffelfresser fertigt er im April 1885 eine große Studie an, nach der er eine Lithographie anfertigt. Die endgültige Fassung des Gemäldes entsteht im April/Mai.
Die vielen Vorstudien machte er vor Ort im Bauernhaus. Wie Vincent zuvor beschrieben hatte, war er "von Haus zu Haus mit Leuten gegangen" und hatte dabei "neue Modelle entdeckt". Auf einer dieser Expeditionen muss er das Haus der Familie De Groot-van Rooij betreten haben. Diese "Hütte", wie Vincent die einfachen Bauernhäuser nennt, und ihre Bewohner bilden die Bühne und die Statisten von Die Kartoffelfresser. Der Maler besucht die Familie häufig. Sie wohnen am heutigen Gerwenseweg 4 auf der Nordseite von Nuenen, östlich der Mühle De Roosdonck. Die bescheidene 'Hütte' besteht aus drei miteinander verbundenen kleinen Häusern. Obwohl das Gemälde "La chaumière" oder "Die Hütte" mit dem Haus der Familie De Groot-van Rooij in Verbindung gebracht wurde, scheint dies nicht wahrscheinlich.
In der Doppelhaushälfte der Familie De Groot-van Rooij wohnen sieben Personen. Die Witwe Cornelia de Groot wohnt dort mit ihren Kindern Hendrik, Peter und Gordina (Sien), sowie Cornelias Schwester Mieke und den Brüdern Francis (Sis) und Anthonius (This). Vincent erfasst auch mehrere Familienmitglieder in separaten Studien.
Das Bauernhaus, das Cornelias Vater Anthonie van Rooij gehörte, ging 1873 in den Besitz ihres Ehemanns Cornelis de Groot über, der 10 Jahre später starb. Das Haus wurde in den späten 1920er Jahren abgerissen. Der Journalist Benno Stokvis fotografierte das Innere der Hütte vor ihrem Abriss; der Mann auf dem Bild ist der letzte lebende Verwandte Gijsbertus, der damals in der Beekstraat wohnte. Gordinas Sohn Cornelis de Groot jr. baute - zum Teil an der Stelle des abgerissenen Elternhauses - den heutigen Unterstand. In die Rückwand sollen Steine des früheren Hauses eingearbeitet sein. Ein unlogischer Knick in der Innenwand könnte von der Konstruktion der ehemaligen Feuerstelle herrühren. Teile des Türrahmens zur Küche und des Fensters im Esszimmer sollen ebenfalls aus dem Vorgängerhaus stammen. Die Nachkommen der Familie De Groot lebten dort bis 1954. Das Haus wurde im Zweiten Weltkrieg beschädigt und danach wieder aufgebaut. Den erhaltenen Fundamenten zufolge muss das frühere Haus größer gewesen sein.
