Budynek ten został wzniesiony w drugiej połowie XIVw. przez burmistrza toruńskiego Henryka Hitfelda (zm. 1398r.). Pierwotne przeznaczenie budynku, zajmującego kilka parcel, nie jest dostatecznie znane, jednak zachowane fragmenty belkowań i detali gotyckich wskazują na monumentalne rozwiązania reprezentacyjnego budynku mieszkalnego. Dom ten jeszcze w XV i początkach XVIw. znajdował się w posiadaniu rodziny Hitfeldów - Konrad Hitfeld zm. w 1551r. W 1518r. burmistrz toruński Franciszek I Esken (ok. 1472-1537) - najstarszy z synów Erasma I, zakupił tą kamienicę od Rady (wcześniej Rada przejęła ją za długi od Jana Balchama). Przez następne dwa wieki dom ten stanowił siedzibę rodową rodziny Eskenów, a około 1590r. został przebudowany z gotyckiego domu mieszkalnego na renesansową rezydencję mieszczańską. Staraniem burmistrza Franciszka III Esken (1540-1601), wnuka Franciszka I, kamienica ta została wzbogacona o jeden z najwspanialszych portali w Toruniu, wykonany z szarego piaskowca, a także o bramę przedstawiającą pożegnanie oraz dalsze losy syna marnotrawnego (obecnie w Muzeum Okręgowym w Toruniu na stałej wystawie rzemiosła) - przypisywane mistrzowi Wilhelmowi van der Block. W 1703r. kamienica ta stała się własnością kupca Samuela Schiedlera, a następnie Walentego Mariańskiego. Od 1764r. znajdowała się w posiadaniu elbląskiej rodziny Friese, a w 1825r. - Jana Telka i jego małżonki Heleny Renaty Klaszewskiej, którzy poczynili już pewne zmiany przystosowujące budynek do celów magazynowych. Od 1844r. kamienica ta była własnością firmy kupieckiej L. Damman i Kordes, która ujednoliciła budynek w stylu klasycznym, przeznaczając go na spichrz. Zmieniono wówczas układ kondygnacyjny oraz gruntownie przebudowano otwory okienne i dach. Przy tej zmianie wykorzystano znaczną ilość dawnych materiałów budowlanych, zwłaszcza cegły i drewna, co jest wyraźnie widoczne w układzie plastycznym elewacji. W latach 1980-1989 staraniem Wojewódzkiego Konserwatora Zabytków budynek ten przystosowano do potrzeb muzealnych, a od 1990r. jest jednym z obiektów Muzeum Okręgowego w Toruniu.