কালের সাক্ষী হয়ে দাঁড়িয়ে আছে মাই সাহেবা মসজিদ। মুসলিম স্থাপত্যের অবাক করা নিদর্শন হিসেবে বৃহত্তম অঞ্চলজুড়ে খ্যাতি রয়েছে। এটি জেলা শহরের প্রাণকেন্দ্র শেরপুর সরকারি কলেজের দক্ষিণ পাশে অবস্থিত। নামাজের সময় মুসল্লিতে ভরে যায় মসজিদটি। স্থাপনাটি তিন তলাবিশিষ্ট ও ছয় হাজার মানুষ একসঙ্গে নামাজ পড়তে পারেন। মসজিদে মহিলাদের নামাজের স্থান রয়েছে। শীতাতপ নিয়ন্ত্রিত। রয়েছে সিসি ক্যামেরা। এই মসজিদের নির্মাণ ইতিহাস থেকে জানা গেছে, সুসঙ্গ নামক এক হিন্দু মহারাজার দানের ভূমিতে আড়াই শ বছর আগে টিনের ছোট্ট ঘরে মসজিদটি গড়ে ওঠে। শেরপুর ছিল মুক্তাগাছার মহারাজাদের জমিদারি অঞ্চল। একদা মুক্তাগাছার সুসঙ্গ মহারাজাকে আমন্ত্রণ জানানো হয় শেরপুর গারো পাহাড় দেখতে। কিন্তু মহারাজা অন্যের জমিতে আহার ও রাত্রি যাপন করেন না। তাই তৎকালীন তিনআনি জমিদার রাজাবল্লব চৌধুরী তার বাড়ির পশ্চিমাংশে ২৭ একর জমি লিখে দেন মহারাজার নামে। পরে মহারাজা আমন্ত্রণ গ্রহণ করেন। মহারাজা প্রস্থানকালে ওই ২৭ একর জমি পছন্দের কাউকে দান করার ইচ্ছা ব্যক্ত করেন। জমি নিতে অনেক সাধু সন্যাসীর আগমন ঘটল কিন্তু মহারাজা কাউকে যোগ্য মনে করলেন না।
মহারাজা অবগত হলেন এক ফকির সাধক তার অবস্থানের অদূরে এক তমাল বৃক্ষের তলায় ধ্যান সাধনায় মগ্ন আছেন। মহারাজা ওই ফকিরকে ডাকলেন; কিন্তু ওই ফকির বিনয়ের সঙ্গে জানিয়ে দিলেন বেশি ভূমি নয়, তার সাধনার জন্য সামান্য জমিই চলবে। মহারাজা ওই ফকিরের কথায় মুগ্ধ হয়ে ২৭ একর জমি তাম্রপত্রের মাধ্যমে দান করেন। দান গ্রহণকারী ওই ফকিরের নাম ছিল মীর আবদুল বাকী। জনশ্রুতি আছে এই ফকির বাকী ছিলেন শেষ মোগল সম্রাট বাহাদুর শাহর নিয়োগপ্রাপ্ত সুবেদার। তিনি ধ্যান সাধনার জন্য বেছে নেন শেরপুরের জঙ্গলবেষ্টিত স্থানে। তার সঙ্গে ছিলেন নিঃসন্তান স্ত্রী সালেমুন নেছা বিবি ও ভাগনে সৈয়দ আবদুল আলী।
সাধক আবদুল বাকী ইন্তেকাল করলে বর্তমান মসজিদের উত্তর পাশে তাকে দাফন করা হয়। স্বামীর মৃত্যুর পর স্ত্রী সালিমুন নেছা বিবি ও ভাগনে ১৮৬১ সালে মসজিদের নির্মাণ কাজ আরম্ভ করেন। তিন গম্বুজবিশিষ্ট ওই মসজিদে তখন ১৮ জন নামাজ পড়তে পারতেন। সালিমুন নেছা বিবির ইন্তিকালের পর স্বামীর পাশেই তাকে দাফন কার হয়। ১৯০৩ সালে মসজিদটি সম্প্রসারণের প্রয়োজন হলে বাদ সাধেন তিনানি জমিদার। মসজিদের পক্ষে অবস্থান নেন এলাকার সম্ভ্রান্ত মুসলিম সৈয়দ সিরাজুল হক জান মিয়া ও খান সাহেব খ্যাত আফসর আলী মিয়া। তারা স্মরণাপন্ন হন তৎকালীন ঢাকার নবাব স্যার সলিমুল্লা হকের। তিনি তদন্ত করে মসজিদ সম্প্রসারণে বাধা না দিতে পত্র পাঠান জমিদার রাজবল্লবকে। ফলে জমিদার পিছু হটেন। মসজিদের প্রতিষ্ঠাকাল থেকে এর সংরক্ষণ ও তত্ত্বাবধান করেন সালেমুন নেছা বিবি (জীবদ্দশা পর্যন্ত)। তাকে সবাই মা সাহেবা বলে সম্বোধন করতেন। সেই থেকে এর নামকরণ করা হয় মাই সাহেবা মসজিদ।