Sebenarnya atap masjid itu sangat beragam bentuknya, tidak selalu berbentuk kubah. Dalam sejarah Islam di dunia, setidaknya ada tiga jenis dasar atap masjid. Selain yang berbentuk kubah , ada masjid yang berbentuk lapangan empat persegi panjang, dengan bagian yang tertutup hanya pada mihrab dan keempat sisi-sisinya. Sedangkan jenis atap masjid yang lain berbentuk datar. Di awal-awal perkembangan Islam, justru masjid dengan atap yang terbuka yang pertama kali ada.
Atap berbentuk kubah diduga berasal dari bangunan di Bizzantium dan Persia. Umumnya bentuk kubah merupakan jenis atap berbentuk bulat atau setengah bulatan yang berfungsi untuk menutup bangunan dasar berbentuk segi empat, bundar atau bersegi banyak. Jika ditelusuri, masjid berkubah banyak dipakai di wilayah Iran dan Asia Tengah, serta Turki dan India. Sementara di tanah Arab sendiri, termasuk Afrika, Eropa, dan Asia, relatif lebih jarang ditemukan masjid yang berkubah.
Agama Islam tidak mengajarkan secara kaku tata bentuk bangunan masjid harus seperti apa. Pilihan-pilihan bentuk dari masjid yang akan dibangun diserahkan pada akal budi manusia, dan banyak juga yang dipengaruhi adat istiadat serta budaya setempat. Seperti tuntunan hadits yang diriwayatkan Imam Bukhari: “Dan apabila suatu itu merupakan urusan duniamu, maka engkaulah yang lebih mengetahuinya [berhak menentukannya].” Sehingga para desainer atau arsitek perancang masjid lah yang harus menentukan bentuk bangungan masjid yang akan didirikan.
Tentu saja bentuk masjid pada perkembangannya sangat beragam. Di Indonesia misalnya, justru banyak ditemukan masjid dengan arsitektur khas Jawa, yaitu atap mengerucut ke satu titik puncak, tumpang dua, sampai lima tumpuk. Atap masjid berbentuk kubah baru masuk ke Indonesia akhir abad ke-19. Bahkan di Jawa, atap berbentuk kubah pada masjid baru digunakan pada pertengahan abad ke-20, seperti yang terdapat pada Masjid Syuhada di Yogyakarta. «