早在五十万年前的旧石器时代，中国原始人就已经知道利用天然的洞穴作为栖身之所，北京、辽宁、贵州、广东、湖北、浙江等地均发现有原始人居住过的崖洞。到了新石器时代，黄河中游的氏族部落，利用黄土层为墙壁，用木构架、草泥建造半穴居住所，进而发展为地面上的建筑，并形成聚落。长江流域，因潮湿多雨，常有水患兽害，因而发展为杆栏式建筑。对此，古代文献中也多有「构木为巢，以避群害」、「上者为巢，下者营窟」的记载。据考古发掘，约在距今六、七千年前，中国古代人已知使用榫卯构筑木架房屋（如浙江余姚河姆渡遗址），黄河流域也发现有不少原始聚落（如西安半坡遗址、临潼姜寨遗址）。这些聚落，居住区、墓葬区、制陶场，分区明确，布局有致。木构架的形制已经出现，房屋平面形式也因造做与功用不同而有圆形、方形、吕字形等。这是中国古建筑的草创阶段。
西元前二十一世纪夏朝建立，标志着原始社会结束，经过夏、商、周三代，而春秋、战国，在中国的大地上先后营建了许多都邑，夯土技术已广泛使用于筑墙造台。如河南偃师二里头早商都城遗址，有长、宽均为百米的夯土台，台上建有八开间的堂，周围以廊。此时木构技术较之原始社会已有很大提高，已有斧、刀、锯、凿、钻、铲等加工木构件的工具。木构架和夯土技术均已经形成，并取得了一定的进步。西周兴建了丰京、镐京和洛阳的王城、成周；春秋、战国的各诸侯国均各自营造了以宫室为中心的都城。这些都城均为夯土版筑，墙外周以城濠，辟有高大的城门。宫殿布置在城内，建在夯土台之上，木构架已成为主要的结构方式，屋顶已开始使用陶瓦，而且木构架上饰用彩绘。这标志着中国古代建筑已经具备了雏形，不论夯土技术、木构技术还是建筑的立面造型、平面布局，以及建筑材料的制造与运用，色彩、装饰的使用，都达到了雏形阶段。这是中国古建筑以后历代发展的基础。