北京早在元代的時候就作爲都城。那時候，北京不叫“北京”而叫“大都”。元朝是蒙古人建立的，而“衚衕”一詞，其實是蒙古語的音譯，也就是街巷的意思。儘管後來蒙古人的統治被推翻了，但“衚衕”這種叫法在北京老百姓當中已經約定俗成，所以就一直沿續下來。
北京的史籍上關於衚衕的最早叫法有火弄、火疃、胡洞等七八種之多，關於解釋也有水井、火道和“胡人大同”幾種，更多人相信“衚衕”兩字是出於蒙語“水井”一詞的音轉，那時爲了防火，很多衚衕裏都設有水井。不管怎麼說，“衚衕”一詞自元朝起就是北京城市建設中的專有名詞已是不爭的事實，“衚衕”兩個字本身就印有深深的民族風情特徵和濃濃的老北京文化韻味，它的出現比”北京“這個名稱的出現還早了一個多世紀。北京的衚衕最早出現於金元時期。
忽必烈建大都時，按照周禮對都城進行了全面規劃設計，在都城的每座城門內都闢出一條幹道，由此再引伸出一塊塊棋盤形的間隔佈局，這些便於人馬車行的隔帶按寬窄不同就被分稱爲大街、小街和衚衕。北方冬季天氣比較冷，因爲需要日照和抵禦寒風，北京的衚衕多以東西走向爲主，南北走向衚衕都是後來因地而宜相繼產生的。
根據文獻記載，元朝的大街寬24步，小街寬12步，衚衕寬6步，大約不足現在的10米。衚衕與大街、小街不同，它是宅系、院落和房屋連成的一排排民宅間的隔離帶，所以在北京會見到很多這樣的景象：兩個院落雖然只有一牆之隔，但是要從一個院的正門到另一個院的正門，卻得繞上一個大圈子。
