中国古代很早就用石灰来做建筑材料了。拿秦代的长城来讲吧，它是一段段建造的，先将一份调水极少的石灰，混合两份砂、小石子倒进两层木板中间，接着用木槌将木板中间的混合物夯得结结实实，再在上面浇上水。两三天后待里面的混合物凝结住了，就可以拆去木板移到另一段再行建造了。
这样筑成的长城其坚固程度自然不能与现代的混凝土相比，历时久了便可能风化、坍塌，如今我们已见不到较完整的秦长城了。
利用石灰做建筑材料的，不仅仅是古代中国人。古埃及在修建金字塔，古罗马在修筑城市时都使用了石灰，他们在黏糊糊的熟石灰中掺进砂子，让这种混合物在空气中吸进二氧化碳，变成硬梆梆的碳酸钙，从而把砖和碎石等牢牢地黏合在一起。
古罗马人还创造性地使用火山灰做建筑材料。火山灰主要含硅酸盐物质，它是地下熔岩的细粉，本身并没有硬结性。可是，细心的古罗马人发现，如果把火山灰和石灰、黏土拌和在一起，浇上水，就是一种胶粘力很强的建筑材料。而且，这种材料即使在水里也能硬结，可用于水下施工。
可惜的是，火山不是到处都有、天天爆发的，火山灰毕竟很有限，所以人们使用最多的建筑材料仍是石灰。令人难以想象的是，这种以今人的眼光看来十分简单的建筑材料，竟然在古罗马人手中大放异彩。如古罗马建于公元2世纪初的万神庙，庙基是圆形的，直径与圆顶离地面的高度一样，都是43米，如此大跨度的穹隆建筑，即使在今天也是十分了不起的。
石灰就这样被人们用了数千年，一直到史密顿遇上了“倒霉事”为止。
1756年，英国海峡群岛上的一座灯塔，突然失火烧毁了。这真要命，要知道这可是英吉利海峡南端最重要的灯塔，没有了它，要影响无数船只的航行。英国政府命令工程师史密顿用最快的速度重建这座灯塔。
史密顿立即通知将石灰石运往灯塔所在的小岛，以便烧成石灰后将岛上产的石头黏合起来重砌灯塔。由于史密顿多次完成过类似的工程，对如期完成重建任务充满信心。
两星期后，石灰石运到了，史密顿兴冲冲地赶到卸料码头。当他见到这些越山跨海送来的石灰石时，不由失声惊叫起来：“真倒霉，这石头怎么是带有黑色的？它混有太多的土质，用这种次品原料建造高标准的灯塔，不是开玩笑吗？”可是，时间已不允许他再调运优质石灰石了，史密顿只好将就着用这些劣质原料进行烧制。
不料，史密顿却因祸得福。用这批石灰石烧出来的石灰，性能居然好得出奇，将石块黏结得从来没有过的结实。当监工官员将这出人意料的结果通知史密顿时，他惊喜得跳了起来。随即他又冷静下来，“这石灰中有名堂，要查一查。”史密顿马上对这些石灰进行了检验，结果发现这些石灰的确不纯，其中竟含有多达约20％的黏土。
“看来，正是这些被视为杂质的黏土起了好的作用。”史密顿后来就有意识地把黏土同石灰石适当地配合加以煅烧，这种石灰性能果然理想。史密顿高高兴兴地对人讲了他的经验。
史密顿的做法很快传遍欧洲各国，引起了许多人的兴趣，人们仿效此法去煅烧也都获得了成功。1820年前后，俄国建筑师契利耶夫在莫斯科地区从事建筑施工时，就用这种方法烧石灰，造了好些建筑物，其中最著名的是用它来修复克里姆林宫的墙垣。
“能不能使它的性能更好一些呢？”一位名叫亚斯普丁的英国工匠企图对史密顿的发明进行改进。他联想到古罗马人为增强石灰的黏结力，曾在石灰中加入火山灰的做法，因而产生了新的想法：火山灰是岩石高温熔烧后的产物，那么，把陶器、砖瓦的屑片磨成细粉，是不是也跟火山灰差不多呢？
亚斯普丁试了一下，效果果然不错。后来他又由此想到，煤高温燃烧后的煤渣、炼铁高炉里流出的经高温冶炼的矿渣可能也有类似的功能，经试验也证实了他的想法是对的。
1824年，亚斯普丁在反复试验的基础上，总结出石灰、黏土、矿渣等各种原料之间的比例以及生产这种混合料的方法。亚斯普丁为他的这项发明申请了专利，用这项专利生产出来的便是今天被我们称为“水泥”的建筑材料。由于亚斯普丁的水泥在硬结后的颜色和强度，都和当时英国波特兰岛上所产的石材差不多，所以人们就称它为“波特兰水泥”。
“波特兰水泥”最早的一次大规模应用，是建造了穿越泰晤士河河底的隧道。尔后，它在世界各地迅速推广开来，法国和德国分别在1840年和1855年建设了水泥制造厂。现在，水泥已成为现代人类生活中不可缺少的物资了。
中国最早的水泥厂是外资企业澳门的青洲英坭厂，建于1886年。唐山细绵土厂是中国最早的民族水泥企业，创建于1889年，比澳门的青洲英坭厂晚了3年，是中国人开办的第一个水泥厂。
最早使用“水泥”这一名称的是位于湖北省大冶县黄石港明家嘴的湖北水泥厂，也是现在的华新水泥股份有限公司的前身，于1909年5月2日建成投产，日产水泥180～200吨。
