Nama Desa Kesambi berasal dari keberadaan pohon kesambi yang tumbuh di wilayah tersebut dan dijadikan identitas desa. Dalam kisah asal-usulnya, disebutkan bahwa daerah ini pertama kali dibuka oleh seorang tokoh bernama Keti Leksono yang berasal dari Bayat. Awalnya, ia tidak langsung menuju wilayah Kesambi, melainkan ke Desa Gandong bersama istrinya, Mbok Teng, serta empat anaknya, yaitu Sowidjoyo, Rid, Sandoyo, dan Adji atau Adjikusumo (anak angkat).
Keti Leksono kemudian membabat hutan sambil membesarkan anak-anaknya. Setelah pembabatan hutan selesai, wilayah tersebut dinamakan berdasarkan banyaknya pohon kesambi yang tumbuh dan akhirnya disebut sebagai Desa Kesambi. Dalam proses membuka hutan, ia dibantu oleh dua sosok bernama Tedjo Koesoemo dan Pandji Wungu, yang menurut cerita saat itu tidak lagi berwujud sebagai manusia.
Sebelum proses pembabatan dimulai, mereka menetapkan batas-batas wilayah serta membuat tanda-tanda lokasi peristirahatan yang kemudian dikenal sebagai punden. Di antaranya:
- Punden Tempat Mandi Pandji Wungu, ditandai dengan pohon yang masih ada hingga kini.
- Punden Ngrampal, dulunya ditanami bunga kenongo, kini tersisa pohon serut.
- Punden Ngasem, ditandai pohon asem, yang pernah ditebang namun ditanam kembali oleh kepala desa ketiga.
- Punden Serut, ditandai pohon serut dan batu, masih lestari hingga saat ini.
- Punden Bendo, ditandai dengan pohon sono kembang yang masih dijaga hingga kini.
Setelah semua tanda tersebut terpenuhi, mereka mencari lokasi yang aman sebagai pusat wilayah dan menetapkannya sebagai Punden Sentono Dowo. Di tempat ini, dua tamu bernama Tumenggung Surodiprono dan Surodjoyo sempat meminta perlindungan sambil membawa tombak. Setelah membantu pembabatan hutan, keduanya berpamitan pergi. Sebelum pergi, mereka meminta izin untuk menanam landeyan (gagang tombak) mereka di lokasi tersebut, ditandai dengan batu merah persegi panjang dan sebuah pohon beringin yang masih tumbuh besar hingga sekarang. Tempat inilah yang tetap dikenal sebagai Punden Sentono Dowo.
Selanjutnya, datang dua orang pendatang lainnya, yaitu Mangundrono dari Warawaribang dan Srokondo dari Trenggalek. Atas perintah Keti Leksono, keduanya ditempatkan di sebelah barat daya Kesambi dan membuat tempat istirahat di tepi sawah, di bawah pohon gempol. Lokasi ini hingga kini dikenal sebagai Punden Ngampel di Dukuh Baran.
Tak lama setelah itu, datang lagi seorang pendatang bernama Glaning, berasal dari Bayat dan belum berkeluarga. Ia ditugaskan membabat hutan di wilayah selatan, yang kini menjadi Dukuh Gading. Setelah seluruh proses pembukaan hutan selesai, Keti Leksono mendirikan pemerintahan yang kemudian menjadi cikal bakal berdirinya Kademangan atau Desa Kesambi.
Pohon kesambi yang menjadi dasar penamaan desa memiliki nilai manfaat, terutama sebagai buah konsumsi lokal dan bagian dari kekayaan flora tradisional setempat.