Sejarah masjid ini bermula ketika Rasulullah SAW sudah berada di Madinah setelah hijrah, dan Muslimin masih menghadap Baitul Maqdis dalam shalat mereka selama 16 atau 17 bulan. Hanya Rasulullah SAW berkeberatan atas pernyataan Yahudi yang menyatakan Muhammad benci sama kita tapi Qiblatnya masih menghadap kiblat kita.

بعد مسجد، Khalid Ibn Al Walid Rd, Al Qiblatayn, Medina 42351, Arab Saudi

Pernyataan yang menyakitkan itu, akhirnya Beliau memohon kepada Allah SWT untuk bersedia menjadikan Ka'bah sebagai kiblat kaum muslimin pengganti Baitul Maqdis. Do'a beliau diterima Allah SWT dan turunlah ayat untuk menjadikan Ka'bah sebagai Qiblat Muslimin untuk selamanya.

Diriwayatkan bahwa kaum muslimin sedang shalat menghadap Baitul Maqdis, tiba-tiba ada yang memberitahukan bahwa sudah turun ayat yagn memerintahkan untuk menghadap Ka'ba. Saat itu Muslimin yang sedang melakukan shalat semuanya berputar 180 derajat ke arah Ka'bah. Masjid tempat terjadi shalat itu diberi nama dengan Masjid Qiblatain (Masjid satu shalat ke arah dua Qiblat).

Riwayat lain menyebutkan: Pada saat mampir ke kota itu, Nabi sempat melakukan takziyah ke rumah di kampung Salamah. Karena bertepatan dengan waktu shalat dzuhur, Nabi SAW dan sahabat pun shalat berjama'ah. Pada saat itulah turun wahyu dari Allah SWT, yang isinya memerintahkan supaya qiblat Masjid di ubah.

Nabi SAW pada saat itu sudah menyelesaikan dua rakaat. Karena turun wahyu secara tiba-tiba agar segera mengubah Qiblat, maka pada rakaat berikutnya, Nabi SAW langsung memutar arah kiblat tanpa menghentikan shalat. Perubahan kiblat ini langsung diikuti oleh para jamaah. Dengan perubahan tersebut, Maka jika sebelumnya arah qiblat menuju ke Masjidil Aqsa, di Palestina, maka berubah menuju Masjidil Hara, di Saudi Arabia.

Di sekitar masjid itu terdapat sebuah sumur, yang letaknya di perkarangan milih seorang yahudi. Karena keberadaan sumber air sangat penting bagi sebuah masjid, makan Nabi SAW memerintahkan kepada Ustman Bin Afan agar membeli sumur itu dengan harga 20 ribu dirham.

Hingga saat sekarang, masjid dan sumur tersebut masih ada dan berfungsi. Selain untuk keperluan masjid, seperti untuk bersuci dan keperluan dan keperluan air minum,juga air sumur itu dipergunakan untuk mengairi tanaman sekitar masjid.

Masjid Qiblatain, dalam sejarahnya telah mengalami berbagai pemugaran. Pemugaran pertama dilakukan pada tahun 893 H. Pemerintah Arab Saudi sendiri juga telah melakukan pemugara, namun pemugaran ini tidak menghilangkan ciri khas masjid.

Sumber : Buku Sahabat Setia Haji dan Umrah, DR. H. Rulis Hasbi, Lc, MA.