सदाशिव पेठेची स्थापना माधवराव पेशवे यांनी केली होती. या मंदिरासंदर्भात एक आख्यायिका प्रचलित आहे. मंदिराच्या विश्वस्तांच्या सलग तीन पिढ्यांनी उपासाचे व्रत पाळले आणि म्हणून या विठोबाला ‘उपाशी विठोबा’ असे नाव पडले. विठ्ठलभक्त गिरमे सराफ यांनी हे मंदिर बांधले होते. पेशवाईच्या अखेरीस हे मंदिर उभारले गेले. दरवर्षी नियमितपणे पंढरपुरची वारी करणार्‍या गिरमे यांना वृद्धापकाळामुळे जेव्हा वारी करणे कठीण जाऊ लागले तेव्हा त्यांनी सदाशिव पेठेतील कर्कोलपुरी येथे जमीन विकत घेऊन विठोबाचे मंदिर बांधले. भक्तीमध्ये आपला वेळ व्यतीत करताना हळूहळू गिरमे सराफांनी यांचा आहार देखील कमी झाला. ते सकाळी केवळ वरीचे तांदूळ आणि शेंगदाणे खात आणिरात्री फक्त एक खारीक एवढाच आहार घेत होते.
शुक्रवार पेठेत काळ्या हौदाजवळ राहणारे नाना गोडबोले विठ्ठल मंदिरात भजन करीत. अखेरीस गिरमे सराफ यांनी मंदिराची दैनंदिन देखभाल गोडबोले यांच्याकडे सोपविली. त्यांनीही गिरमे यांचे उपासाचे व्रत स्वीकारले. गोडबोले हे कीर्तनकार होते. मंदिरात र्कीतन करीत असताना त्यांच्यामागे गंगाधारबुवा काळे उभे राहून टाळ वाजवित. आपल्या मृत्युच्या आधी त्यांनी मंदिराची देखभाल काळे यांचेकडे सोपवली. काळे यांनी देखील उपासाचे व्रत पुढे सुरु ठेवले. ते केवळ ताक व राजगीर्‍याचे पीठ कालवून खात असत. तेव्हा मंदिराच्या आवारात रामभाऊ साठे व कुटुंबिय भाडेकरू म्हणून राहत असत. काळे यांनी मंदिराची धुरा पुढे त्यांच्याकडेच सुपूर्द केली आणि त्यांनीही उपासाचे व्रत पुढे सुरु ठेवले.
अशा प्रकारे विश्वस्तांमध्ये कोणतेही कौटुंबिक नाते नसतानाही मंदिराचे उपासाचे व्रत वर्षानुवर्षे पाळले गेले आणि विठ्ठलाची सेवा घडत गेली. विठ्ठलभक्त गिरमे सराफ, नाना गोडबोले, गंगाधरबुवा काळे व रामभाऊ साठे यांनी पिढ्यांनपिढ्या अनुसरलेल्या या विलक्षण व्रतामुळे या विठोबाचे नाव 'उपाशी विठोबा' असे पडले.
हे मंदिर लहान असून यात एक गर्भगृह, एक प्रदक्षिणा मार्ग आणि एक लहान प्रार्थनागृह आहे. रोज मंदिरात सकाळची आरती 8 वाजता, संध्याकाळची आरती 7 वाजता व शेजारती रात्री 9 वाजता होते.
