早在牛街清真寺修建前的唐朝，中亞商人就陸續通過絲綢之路來到中國經商，其中壹部分人長期居住在中國，是中國最早的“回”。而中國回民的發展，卻“歸功”於成吉思汗和他的蒙古騎兵。12年底，成吉思汗兩次西侵，占領多個伊斯蘭國家。除了壹貫的燒殺政策，他們還俘虜了大量穆斯林。成吉思汗深知自己的帝國戰爭需要不斷擴充軍隊，於是將數十萬穆斯林編入蒙古軍隊，驅趕他們實現自己的“帝國夢”。但是這些虔誠的穆斯林沒有忘記他們的根。半個多世紀後，忽必烈建大都城，下令所有軍隊就地定居。於是，這些穆斯林隨蒙古軍隊進入大都城，開始在北京定居。作為穆斯林，清真寺是他們生活中不可或缺的壹部分，牛街的清真寺也變得熱鬧起來。
牛街清真寺占地6000多平方米，其建築和布局是典型的古代宮廷風格和漢族阿拉伯風格相結合的產物。整個清真寺的建築框架采用漢木結構，但主體建築的細部裝飾帶有濃厚的伊斯蘭風格，形成了中國伊斯蘭建築的獨特形式。經過明清兩代的不斷擴建和修繕，清真寺形成了今天的規模。明朝弘治九年(1496)，在主祀殿的東面修建了壹座正殿，並在康熙時期為祀殿修建了三座持殿，使寺廟的建築布局更加緊湊合理，形成了較為完整的建築群。清真寺修復後，康熙帝賜“獻祀於寺”匾額，至今仍保存在寺內。