张衡的家族世代为当地的大姓。他的祖父张堪,自小志高力行,被人称为圣童,曾把家传余财数百万让给他的侄子。
公元100年(永元十二年),张衡应南阳太守鲍德之请,作了他的主簿,掌管文书工作。八年后,鲍德调任京师,张衡即辞官居家。
公元136年(永和元年),张衡被外调任河间王刘政的国相。 [10] 刘政骄奢淫逸,不遵法纪;又有不少豪强之徒,纠集在一起做乱。张衡到任后,严整法纪,打击豪强,暗中探得奸党名姓,一时收捕,上下肃然,他为政以清廉著称。任职三年后,张衡上书请求辞职归家,被征召拜为尚书。
公元1109年(宋徽宗大观三年),张衡因算学方面的成就被北宋追封为西鄂伯。