Ngay từ đời các vua Lý, nhà của người Thăng Long cũng chật chội tối tăm. Sứ giả nhà Nguyên đã mô tả nhà dân ở Thăng Long: "Mái nhà làm thẳng một mạch từ đòn gióng xuống mái hiên vì vậy nóc rất cao nhưng mái hiên chỉ cách mặt đất trong khoảng từ một đến gần hai mét nên nhà có phần tối. Phải trổ cửa sổ. Trong nhà không bầy bàn ghế, có gường phản hoặc trải chiếu cói ngay xuống nền đất. Bên cạnh gường có lò than đỏ để sưởi khi trời lạnh và để tránh hơi ẩm xông lên mùa mưa nắng. Cũng có những nhà lợp ngói có hình dáng như vẩy cá".
Không lâu sau khi đánh tan quân Minh, Đông Kinh trở lại sầm uất như Thăng Long triều nhà Trần. Dân cư đông đúc, nhà cửa chật trội, các xưởng thủ công do triều đình mở thu hút thợ giỏi khắp nơi và dù mang nặng quan niệm thứ bậc theo kiểu Nho giáo "sĩ, nông, công, thương" song buôn bán ở Đông Kinh vẫn phát triển. Bất chấp lệnh cấm, các quan trong triều núp sau vợ con mở cửa hàng buôn bán và sản xuất hàng thủ công. Đông Kinh đông đúc đã nảy sinh các tệ nạn cờ bạc, trộm cướp, trước thực trạng đó, mùa thu năm 1481 triều đình ra chỉ dụ bắt tất cả những người nhập cư trở về bản quán của họ. Tuy nhiên, một viên quan trong triều là Quách Đình Bảo đã can gián, ông cho rằng làm như thế "Nơi kinh sư buôn bán sẽ thưa thớt, không còn sầm uất phồn thịnh nữa, ngạch thuế sẽ thiếu hụt". Can gián của ông được chấp thuận, tạo điều kiện cho dân các vùng tiếp tục về Đông Kinh. Đến cuối triều Lê, Đông Kinh đã được mở rộng về phía đông và đông nam Thành, khi các chúa Trịnh xây lầu bên Hồ Gươm và ngăn Hồ Gươm thành Tả Vọng và Hữu Vọng.
Cuối đời Lê, đường phố được lát gạch từng phần hoặc thành từng dải bởi người ta chừa lối di cho voi, ngựa, kiệu của vua và gia súc. Hai phần ba số lượng nhà ở đây làm bằng tre gỗ những nhà còn lại làm bằng gạch. Một trong vài ngôi nhà này chính thương điếm của người nước ngoài mà người ta nhận thấy giữa vô số nhưng ngôi nhà làm bằng tranh và đất sét. Thực sự trở thành trọng tội nếu một ngôi nhà nào đó ở đây được xây cao và có nhiều tầng. Giữa năm 1802, Nguyễn Ánh lên ngôi vua lấy niên hiệu là Gia Long rồi đưa quân ra Bắc và chiếm được Thăng Long từ quân nhà Tây Sơn. Tuy nhiên Nguyễn Ánh không đặt đô ở Thăng Long mà chọn Phú Xuân vốn trước đó là "kinh đô" của nhiều đời chúa Nguyễn. Mặt khác, Nguyễn Ánh cũng biết người dân nhất là tầng lớp sỹ phu Bắc Hà vẫn nặng lòng với nhà Lê và không tin mình nên ở lại Thăng Long là mối nguy lớn trước mắt cũng như lâu dài. Năm 1805, lấy cớ chữ Long (rồng) chỉ tượng trưng cho Kinh sư nên cho đổi chữ Long (rồng) sang chữ Long (thịnh). Thế là sau hơn 800 năm là kinh đô, Thăng Long trở thành trấn thành. Năm 1815 Gia Long công bố Hoàng Việt luật lệ (hay còn gọi là luật Gia Long), đây là bộ luật thứ hai của triều đại phong kiến Việt Nam sau luật Hồng Đức đời hậu Lê. Luật có 22 quyển với 398 điều điều bao quát các mặt của đời sống chính trị, xã hội. Năm 1820, khi Minh Mạng lên ngôi cho sửa luật để phù hợp với cách cai quản của mình. Trong luật Gia Long và luật sửa của Minh Mạng đều có các điều khoản qui định về xây dựng ở Thăng Long: "Nhà trong từng trường hợp nào cũng không được xây trên nền hai cấp hay chồng hai mái. Cấm làm nhà có gác cao bằng vai kiệu trương quan đi tuần" và "Cấm không được trổ cửa sổ ra bên đường". Dù Gia Long hạ cấp Thăng Long là trấn thành rồi đến 1831, vua Minh Mạng lại hạ tiếp thành tỉnh Hà Nội song Thăng Long - Hà Nội vẫn là trung tâm buôn bán sầm uất, hàng hóa tỏa về các tỉnh và từ các tỉnh đổ về. Dẫu triều Nguyễn không mặn mà với các thương nhân đến từ nước ngoài nhưng từ đây, hàng nông sản, thủ công vẫn lên các tầu buôn ra nước ngoài và câu phương ngôn cổ "Muốn không đói ra Kẻ Chợ, đừng lên rợ mà chết" vẫn đúng. Hà Nội chỉ hoang vắng trong hai đợt chạy loạn khi Pháp đánh thành Hà Nội lần thứ nhất vào năm 1873 và lần thứ hai vào năm 1882. Trong cuốn Chuyện kể bên dòng sông Tô của Viên mai Nguyễn Công Chí, cuốn sách ghi chép trong nhiều đời của họ Nguyễn quê gốc làng Hạ Thái (huyện Thường Tín, Hà Nội) từ khi họ rời làng lên khu phố Diên Hưng (sau là Hàng Lam và nay là Hàng Ngang) cho thấy Hà Nội dưới triều Nguyễn phát triển nhanh nên giá đất ở khu vực 36 phố phường tăng lên chóng mặt. Người ở phố Hàng Lam vốn có nghề nhuộm vải đã bán nhà rồi kéo nhau xuống mua đất ở khu vực Hàng Bông Nhuộm rẻ hơn để mở xưởng mà vẫn dư làm vốn. Chính sách thuế của nhà Nguyễn từ Gia Long, Minh Mạng, Tự Đức đến các đời vua sau đối với Hà Nội hầu như không thay đổi. Họ không căn cứ vào buôn to hay buôn nhỏ mà thu thuế theo mặt tiền của cửa hàng, bất kể chiều sâu là bao nhiêu. Vì thế chiều ngang càng rộng thuế càng nhiều. Kiểu thu thuế này khiến nhiều gia đình có mặt tiền rộng nhưng làm ăn không được phải è lưng ra đóng thuế. Thế là các ngôi nhà vốn vuông vức, rộng rãi trước đó bị xẻ nhỏ chia cho con cái, có nhà thì bán hay cho thuê. Và kiến trúc nhà ống ra đời trong triều đại nhà Nguyễn.
Khi Pháp chiếm hoàn toàn Hà Nội năm 1883 và Hà Nội trên thực tế do công sứ Pháp cai quản, nhưng người dân vẫn sợ không dám xây nhà trái với luật Gia Long. Phải đến năm 1888, Hà Nội thành nhượng địa của Pháp, luật mới bị bãi bỏ. Mô tả nhà quanh khu vực hồ Gươm của các phóng viên báo Pháp thường trú tại Hà Nội những năm 1880 cho thấy diện tích rất hẹp. Như vậy là trong suốt 73 năm, kể từ khi công bố luật Gia Long, nhà cửa ở khu vực 36 phố phường chỉ thấp và nhỏ. Ngay từ năm 1883, Toàn quyền Đông Dương đã đồng ý mở mang Hà Nội, khu hành chính mới được xây dựng ở phía đông hồ Gươm, đồng thời khu dân cư sẽ phát triển về phía Nam. Đó là một tính toán khôn ngoan vì phổ cổ đã quá chật trội. Từ những năm 20 cho đến năm 1954, nhiều gia đình khá giả đã phá bỏ nhà cũ xây nhà cao tầng lấy diện tích buôn bán, sinh sống. Dù cho phép xây mới song chính quyền không cho phép xây cao quá ba tầng, vì dân ở khu vực này quá đông đông đúc, gia đình nào muốn xây cao hơn phải ra khu vực khác.
Sau ngày tiếp quản Thủ đô 10-10-1954, hàng nghìn cán bộ từ chiến khu về không có chỗ ở đã thuê hay ở nhờ dân để tiện đi làm. Nhà báo, nhà văn Trần Chiến, người sống lâu năm ở phố Lãn Ông kể, nhiều cán bộ, viên chức ở quê còn đưa người thân ra sinh sống. Chủ các nhà lùi vào phía trong, phần cho yên tĩnh, phần nghe ngóng chính sách của chính quyền mới thế nào. Rồi những người thuê nhà hay ở nhờ lấy vợ và sinh con khiến một số nhà trước chỉ một hộ nay thành hai hộ. Một nguyên nhân khác là con cái dân phố cổ lập gia đình nên căn nhà cũng bị chia ra cho cặp vợ chồng mới vì thế mà phố cổ ngày càng chen chúc.
Theo quyết định số 70 BXD/KT-QH ngày 30-3-1995 của Bộ Xây dựng, khu phố cổ bắt đầu ở phía bắc là phố Hàng Đậu, phía tây là phố Phùng Hưng, phía nam là các phố: Hàng Bông, Hàng Gai, Cầu Gỗ và Hàng Thùng và phía đông là đường Trần Quang Khải, Trần Nhật Duật. Tổng diện tích vào khoảng 100 ha với 76 tuyến phố thuộc 10 phường gồm: Hàng Đào, Hàng Bạc, Hàng Buồm, Hàng Bồ, Hàng Bông, Hàng Gai, Hàng Mã, Đồng Xuân, Cửa Đông và Lý Thái Tổ. Mặc dù các phố cổ của Hà Nội còn nằm cả bên ngoài khu vực này, nhưng do đây là khu vực tập trung phố cổ nhiều nhất và còn giữ được những đặc trưng nên được gìn giữ, bảo tồn. Tại 76 phố chính có 15.270 hộ với hơn 1000 nhà cổ và cũ. Theo thời gian, diện tích tính theo đầu người ngày càng ít hơn. Đến 12-2005, dân số khu vực này khoảng 66.191 người, bình quân mỗi hộ là 21,4 mét vuông và không thiếu các gia đình "tam đại đồng dường, tứ đại đồng đường". Đầu thập niên 90, diện tích phụ trung bình ở khu phố cổ là 1 mét vuông/người, 20% số hộ không có nhà bếp, trên 50% số hộ có 6 người ở trong một buồng. Hiện tại, khu vực cần bảo tồn có tới 84.000 người đang sinh sống, chưa kể hàng vạn người các tỉnh tá túc làm công cho các cửa hàng ăn uống, dịch vụ, giúp việc... Tính trung bình một người dân chỉ có khoảng 12m2. Nhưng diện tích nhà ở trên đầu người thì thấp hơn nhiều, chỉ đạt 1,5-2 m2/người. Rất nhiều số nhà trong 76 tuyến phố có tới hàng chục hộ. Muốn thưởng thức món bít tết Lợi nổi tiếng ở phố Hàng Buồm, phải đi vào cái ngõ mà hai người đi ngược chiều nhau phải nghiêng người. Ở nhiều phố, có hộ chật đến mức ngày giỗ cha, mấy chục con cháu phải ăn rải từ sáng đến chiều mới xong. Tôi đã từng ăn tết đứng ở phố Hàng Đào vì nhà quá chật. Chuyện vệ sinh thì không chỉ thời bao cấp mà bây giờ vẫn giở khóc, giở cười. Bạn tôi ở đầu Hàng Buồm, lúc nhỏ bị mẹ huấn luyện phải ngồi bô vào tầm trưa để không phải chờ đợi nếu đi vào buổi sáng. Nhiều nhà chật nhưng không có khả năng mua nhà mới nên con trai lấy vợ chỉ còn cách làm gác xép. Gác xép chỉ cách sàn nhà chừng hơn một mét, ban đêm có cả đống người ngủ ngay phía dưới nên khổ cho cặp vợ chồng kia cứ phải nhẹ nhàng như kẻ trộm. Bây giờ vẫn thế.
Tồn tại và phát triển song song với cấm thành trong 1000 năm nên khu phố cổ có rất nhiều di tích văn hóa, lịch sử giá trị. Theo thống kê, khu vực này hiện có 128 di tích, gồm: đền, chùa, quán, đình, nhà thờ họ, di tích cách mạng... trong đó có nhiều di tích được xếp hạng quốc gia và thành phố. Nhưng còn một giá trị vô hình nữa là không gian sống, nó hòa quện cùng với những di tích lịch sử, văn hóa làm khu phố cổ đã trở thành đô thị truyền thống độc đáo ở Việt Nam. Kỷ niệm 1000 năm Thăng Long - Hà Nội, thành phố đã bỏ kinh phí trùng tu nhiều công trình trong đó có đình Kim Ngân (42 Hàng Bạc), xây từ thời Hậu Lê, thờ ông tổ nghề kim hoàn; đình Nam Hương (75 phố Hàng Trống) thờ Ngũ thượng đẳng thần và Công chúa Hà Dung; đền Bạch Mã (76-78 Hàng Buồm), một trong tứ trấn của thành Thăng Long xưa thờ thần Long Đỗ,... Đồng thời thành phố cũng đã chuyển các hộ dân trong sống trong di tích ra khu vực khác. Tuy nhiên, do quá đông dân và chật trội nên vẫn có nhiều công trình văn hóa vẫn bị chiếm dụng không gian, gây mất mỹ quan. Chùa Vĩnh Trù ở số 59 phố Hàng Lược được Bộ Văn hóa- Thể thao và Du lịch xếp hạng di tích, cổng chùa có tấm biển "Di tích đã được xếp hạng, cấm được xâm hại", nhưng không gian chùa đã bị biến thành quán cơm, quán nước. Chùa Huyền Thiên (54 phố Hàng Khoai) được cho là xây dựng vào thế kỷ XIV, xưa là một trong tứ quán của Kinh thành Thăng Long, gồm có: Trấn Vũ (Quán Thánh), Huyền Thiên, Đồng Thiên (đền Kim Cổ) và Đế Thích (chùa Vua) có kiến trúc đẹp và vừa thờ Phật vừa thờ Mẫu nên Huyền Thiên là di tích độc đáo của Hà Nội, nhưng nay cổng tam quan bị người dân biến thành nơi kinh doanh đồ sứ, nên khó mà nhận ra từ xa. Một khảo sát chưa đầy đủ cho thấy quận Hoàn Kiếm có 593 hộ đang sinh sống trong khuôn viên các di tích lịch sử - văn hóa, 39 hộ sinh sống trong khuôn viên trường học, 72 hộ ở công sở, 217 hộ sinh sống trong nhà cũ nát, nguy hiểm có nguy cơ sụp đổ. Không chỉ di tích lịch sử - văn hóa mà không gian phố cổ dường như bị xóa xổ bởi các tòa nhà cao tầng xây dựng không giấy phép, quá phép. Năm 1997, khi dự án liên doanh với một công ty của Hồng Công xây Khách sạn Vàng (nay là tòa nhà Bảo Việt) ở phố Lê Thái Tổ cao tới 23 mét có thể biến hồ Gươm thành cái ao nên giới kiến trúc, sử học cùng các nhà báo đồng loạt lên tiếng nên dự án bị đình lại. Nhưng nay thì nó vẫn ngất ngưởng bên công trình kiến trúc Thủy Tạ xinh xắn. Rồi tòa nhà "hàm cá mập" (nay là trung tâm thương mại đầu phố Đinh Tiên Hoàng) không chỉ xấu về kiến trúc mà còn trở thành bức tường ngăn không gian phố cổ với hồ Gươm. Không chỉ có vậy, trong 76 tuyến phố, các hộ dân cải tạo, cơi nới với đủ các loại vật liệu từ khung nhôm kính, nhựa đến các vật liệu truyền thống như cót ép, mành... lẫn với mớ dây điện, viễn thông, cáp truyền hình làm cho không gian phố chắp vá và nhem nhuốc. Cư dân cho rằng, do quá chật trội nên đành nhắm mắt làm vậy để cải thiện sinh hoạt vì không còn cách nào khác, họ cũng muốn di dời nhưng dự án giãn dân đợt 1 đưa 1800 hộ sang khu đô thị mới Việt Hưng trong năm 2012 vẫn chưa chuyển động. Và như thế, phố cổ còn tiếp tục ngột ngạt.