原始人类即能辨别自然界存在的无机物质的性质而加以利用。后来偶然发现自然物质能变化成性质不同的新物质，于是加以仿效，这就是古代化学工艺的开始。
如至少在公元前6000年，中国原始人即知烧粘土制陶器，并逐渐发展为彩陶、白陶，釉陶和瓷器。公元前5000年左右，人类发现天然铜性质坚韧，用作器具不易破损。后又观察到铜矿石如孔雀石 (碱式碳酸铜)与燃炽的木炭接触而被分解为氧化铜，进而被还原为金属铜，经过反复观察和试验，终于掌握以木炭还原铜矿石的炼铜技术。以后又陆续掌握炼锡、炼锌、炼镍等技术。中国在春秋战国时代即掌握了从铁矿冶铁和由铁炼钢的技术，公元前2世纪中国发现铁能与铜化合物溶液反应产生铜，这个反应成为后来生产铜的方法之一。
化合物方面，在公元前17世纪的殷商时代即知食盐(氯化钠)是调味品，苦盐(氢化镁)的味苦。公元前五世纪已有琉璃(聚硅酸盐)器皿。公元七世纪，中国即有焰硝(硝酸钾)、硫黄和木炭做成火药的记载。明朝宋应星在1637年刊行的《天工开物》中详细记述了中国古代手工业技术，其中有陶瓷器、铜、钢铁、食盐、焰硝、石灰、红矾、黄矾、等几十种无机物的生产过程。由此可见，在化学科学建立前，人类已掌握了大量无机化学的知识和技术。
古代的炼丹术是化学科学的先驱，炼丹术就是企图将丹砂(硫化汞)之类药剂变成黄金，并炼制出长生不老之丹的方术。中国金丹术始于公元前2、3世纪的秦汉时代。公元142年中国金丹家魏伯阳所著的《周易参同契》是世界上最古的论述金丹术的书，约在360年有葛洪著的《抱朴子》，这两本书记载了60多种无机物和它们的许多变化。约在公元8世纪，欧洲金丹术兴起，后来欧洲的金丹术逐渐演进为近代的化学科学，而中国的金丹术则未能进一步演进。
金丹家关于无机物变化的知识主要从实验中得来。他们设计制造了加热炉、反应室、蒸馏器、研磨器等实验用具。金丹家所追求的目的虽属荒诞，但所使用的操作方法和积累的感性知识，却成为化学科学的前驱。
由于最初化学所研究的多为无机物，所以近代无机化学的建立就标志着近代化学的创始。建立近代化学贡献最大的化学家有三人，即英国的玻意耳、法国的拉瓦锡和英国的道尔顿。
玻意耳在化学方面进行过很多实验，如磷、氢的制备，金属在酸中的溶解以及硫、氢等物的燃烧。他从实验结果阐述了元素和化合物的区别，提出元素是一种不能分出其他物质的物质。这些新概念和新观点，把化学这门科学的研究引上了正确的路线，对建立近代化学作出了卓越的贡献。
拉瓦锡采用天平作为研究物质变化的重要工具，进行了硫、磷的燃烧，锡、汞等金属在空气中加热的定量实验，确立了物质的燃烧是氧化作用的正确概念，推翻了盛行百年之久的燃素说。拉瓦锡在大量定量实验的基础上，于1774年提出质量守恒定律，即在化学变化中，物质的质量不变。1789年，在他所著的《化学概要》中，提出第一个化学元素分类表和新的化学命名法，并运用正确的定量观点，叙述当时的化学知识，从而奠定了近代化学的基础。由于拉瓦锡的提倡，天平开始普遍应用于化合物组成和变化的研究。
1799年，法国化学家普鲁斯特归纳化合物组成测定的结果，提出定比定律，即每个化合物各组分元素的重量皆有一定比例。结合质量守恒定律，1803年道尔顿提出原子学说，宣布一切元素都是由不能再分割、不能毁灭的称为原子的微粒所组成。并从这个学说引伸出倍比定律，即如果两种元素化合成几种不同的化合物，则在这些化合物中，与一定重量的甲元素化合的乙元素的重量必互成简单的整数比。这个推论得到定量实验结果的充分印证。原子学说建立后，化学这门科学开始宣告成立。
19世纪30年代，已知的元素已达60多种，俄国化学家门捷列夫研究了这些元素的性质，在1869年提出元素周期律：元素的性质随着元素原子量的增加呈周期性的变化。这个定律揭示了化学元素的自然系统分类。元素周期表就是根据周期律将化学元素按周期和族类排列的，周期律对于无机化学的研究、应用起了极为重要的作用。
目前已知的元素共109种，其中94种存在于自然界，15种是人造的。代表化学元素的符号大都是拉丁文名称缩写。中文名称有些是中国自古以来就熟知的元素，如金、铝、铜、铁、锡、硫、砷、磷等；有些是由外文音译的，如钠、锰、铀、氦等；也有按意新创的，如氢(轻的气)、溴(臭的水)、铂(白色的金，同时也是外文名字的译音)等。
周期律对化学的发展起着重大的推动作用。根据周期律，门捷列夫曾预言当时尚未发现的元素的存在和性质。周期律还指导了对元素及其化合物性质的系统研究，成为现代物质结构理论发展的基础。系统无机化学一般就是指按周期分类对元素及其化合物的性质、结构及其反应所进行的叙述和讨论。
19世纪末的一系列发现，开创了现代无机化学；1895年伦琴发现 X射线；1896年贝克勒尔发现铀的放射性；1897年汤姆逊发现电子；1898年，居里夫妇发现钋和镭的放射性。20世纪初卢瑟福和玻尔提出原子是由原子核和电子所组成的结构模型，改变了道尔顿原子学说的原子不可再分的观念。
1916年科塞尔提出电价键理论，路易斯提出共价键理论，圆满地解释了元素的原子价和化合物的结构等问题。1924年，德布罗意提出电子等物质微粒具有波粒二象性的理论；1926年，薛定谔建立微粒运动的波动方程；次年，海特勒和伦敦应用量子力学处理氢分子，证明在氢分子中的两个氢核间，电子几率密度有显著的集中，从而提出了化学键的现代观点。
此后，经过几方面的工作，发展成为化学键的价键理论、分子轨道理论和配位场理论。这三个基本理论是现代无机化学的理论基础。
