صار والي القاهرة يهاجم بيوت الناس ويخلع منها الرخام غصبًا. وهنا يذكر المؤرخ ابن إياس ما حدث حيث كان والي القاهرة يهاجم البيوت ومعه "المرخمون" (أي عمال الرخام) فيخلع رخام البيوت طوعًا أو كرهًا، وقام بتخريب بيوت كثيرة. لذا أطلق البعض على هذا المسجد اسم "المسجد الحرام"، نسبة لأنه بُني من "حرام" بعد أن سُرق الرخام الموضوع فيه غصبًا من العامة.‏