当时北京旧城改造工作进行得如火如荼，人们纷纷提议拆除城墙建道路，摧毁城门盖大楼，反正一切与封建社会有关系的建筑物人们都恨不得将其拆之而后快。在城墙被毁之时，梁思成与林徽因感到无比绝望，面对群众汹涌的叫好声，林徽因几乎绝望地发声：“为什么经历了几百年的战乱与沧桑，在解放前夕还能从炮口下抢救出来的古城，反而在新中国的和平建设中要被毁弃呢？为什么我们在博物馆的玻璃橱里精心保存几块残砖碎瓦，同时却把保存完好的世界上独一无二的古建筑拆得片瓦不留呢？”以研究东方古建筑为己任的梁思成更是无比痛心，即使旧城改造项目结束多年后，他依然深陷在自责中无法自拔，他痛恨自己无法保护那座古老而厚重的北京城，他曾说过“拆掉一座城楼，就像割掉我一块肉；扒掉一段城墙，就像剥掉我一层皮”。
在20世纪50年代，梁思成与林徽因用尽了一切方法阻止旧城改造项目的落成。梁思成四处奔走，找到相关部门大力呼吁保护古建筑，说到动情处更是声泪俱下，然而，在当时“摧毁旧世界”的浩大声势中，他的声音被淹没了。梁思成的努力仍然无力回天，旧城改造项目以及拆除城墙终究成为现实。当时，担任北京市副市长的吴晗负责古建筑拆除工作，在一次文化部举办的聚会中，林徽因与吴晗发生了一次面对面的冲突，她大声谴责：“你们真把古董给拆了，将来要后悔的！即使再把它恢复起来，充其量也只是假古董！”
