La première pierre de cet imposant sanctuaire est posée en 1830, sous le règne du vice-roi Mohammed Ali, considéré comme le père de l'Égypte moderne. Son implantation sur un site dominant l'ensemble de la cité semble avoir été motivée par des considérations politiques et est parfois vue comme un symbole de la volonté d'affranchissement de ce qui était alors une lointaine province de l'empire ottoman. Plusieurs constructions datant de l'époque mamelouke sont détruites afin de laisser la place à la mosquée, dont les plans sont confiés à un architecte grec d'origine bosniaque, Yusuf Buchnaq. Assisté par un ingénieur égyptien du nom de Ali Hussayn, il dresse les plans d'un édifice calqué sur les grandes mosquées impériales d'Istanbul et plus spécifiquement sur la mosquée bleue, avec laquelle il existe de nombreuses similitudes. Le gros-œuvre est achevé en 1848, mais les travaux de finition se poursuivent jusqu'en 1857. Cette même année voit le transfert dans la nouvelle mosquée du tombeau de Mohammed Ali.
En 1899, l'apparition de fissures laisse présager des défauts dans la conception de l'édifice. Leur multiplication rend indispensable une campagne de restauration radicale sous le règne du roi Fouad Ier. Il a été décidé de démolir partiellement les dômes et de renforcer les assises de l'édifice, avant de les reconstruire à l'identique. Les travaux débutent en 1931 et ne sont achevés que huit ans plus tard, sous le règne du roi Farouk. Cette campagne de reconstruction aura coûté au total près de 100 000 livres égyptiennes.
D'un point de vue architectural, la mosquée s'inspire largement des canons ottomans. Elle reprend le plan des grandes mosquées impériales telles que la mosquée bleue, dont elle s'inspire largement. Ainsi, la mosquée Mohammed Ali lui emprunte la cour carrée - ou sahn - à ciel ouvert et bordée d'arcades et la cascade de dômes et de demi-dômes. La salle de prière forme un ensemble quadrangulaire s'articulant autour de la coupole centrale, laquelle atteint une hauteur de 52 mètres pour un diamètre de 21 mètres. Elle est contrebutée par une série de quatre demi-dômes, que viennent encore compléter quatre coupoles plus petites à chacun des angles du sanctuaire. Toutes sont ornées dans leur partie interne de peintures et de dorures, tandis que les murs de la mosquée intègrent de hauts panneaux d'albâtre s'élevant à plus de onze mètres. Cette particularité vaut au sanctuaire d'être parfois désigné sous le nom de " mosquée d'albâtre ".
La mosquée abrite le tombeau en marbre de Mohammed Ali, lequel a été ménagé dans la partie sud-est du sanctuaire. Il est entouré d'une grille en bronze réalisée à la fin du XIXe siècle. Le mirhab, en saillie, est coiffé d'une demi-coupole. La mosquée présente en outre la particularité de posséder deux minbars, l'un en bois de cèdre sculpté et doré et l'autre en albâtre, réalisé à la demande du roi Farouk.
Parmi les autres curiosités se trouve également une horloge monumentale en cuivre offerte par le roi des Français Louis-Philippe Ier en 1845 afin de remercier les autorités égyptiennes de lui avoir cédé l'obélisque de Louxor, installée en 1836 sur la place de la Concorde à Paris. Endommagée lors de la livraison, l'horloge n'a cependant jamais fonctionné.
Deux minarets élancés bordent la mosquée. Inspirés également de l'architecture ottomane, ils culminent à presque 84 mètres.