Masjid ini dibangun pada masa Umar bin Abdul Aziz memerintah Madinah. Kemudian direnovasi oleh Gubernur Dhaigham Al-Manshuri, Gubemur Madinah tahun 881 H. Setelah itu juga direhab oleh Sultan Abdul Majid I, tahun 1269 H. Lalu direnovasi oleh Raja Fahd pada tahun 1411 H sehingga luasnya mencapai 682 m2 dengan menara setinggi 26 meter. Jika diperhatikan, menara Masjid Alibin Abi Thalib serupa dengan menara Masjid Umar bin Khattab.