早在20世纪初,国际商事仲裁起初发展的时候,当时完全依据的是国内立法。当时的国内立法和许多国家的法院通常并不支持仲裁。这些法律一般是限制性的,而且相互之间差别很大;有些国家的法院实际上是把仲裁看成他们自己的“对手”。
第一次世界大战后,对国际商事仲裁的需求增多导致了在巴黎重新建立的国际商会建议给仲裁订立一项国际公约,通过该公约修改当是不利的一些立法。例如,当时许多国家的法律规定只能将已经发生的纠纷经过当事人的约定提交仲裁,而不能事先约定将未来的纠纷提交仲裁。也就是说,把将来发生的纠纷提交仲裁的约定或条款是无效的。后来国际联盟采纳了这一建议,随之产生了1923年的《日内瓦仲裁条款议定书》(简称“日内瓦议定书”)。该议定书第1条宣布:无论将已有的或将要发生的纠纷提交仲裁的协议都是有效的。该协议书还规定了缔约国法院有义务命其受理的争议的当事人将双方已同意仲裁的争议提交仲裁。
随着仲裁条款的国际有效性和强制效力的确立,下一步即关于仲裁裁决的国际执行并未花很长的时间。在国际联盟的倡导下,《关于执行外国仲裁裁决的公约》(简称“日内瓦公约”)于1927年在日内瓦缔结。该公约调整有关按照1923年日内瓦议定书项下的仲裁协议作出的仲裁裁决的执行事项。
尽管上述日内瓦两个条约无疑较以前有了非常重要的进展,但他们仍有明显的不足(具体不足在下文与纽约公约对比中详述)。
正是因为上述条约存在的不足,促使国际商会在第二次世界大战后发起了一项新公约的制定活动。国际商会起草的公约草案在1953年完成,旨在确立一种不受国内法支配和限制的仲裁。然而这种只依据国际公约的真正的国际商事仲裁的理想未被绝大多数国家接受。国际商会的公约草案提交联合国经社理事会后,1955年联合国经社理事会又拟定了另一份公约草案,该草案与日内瓦公约比较接近。从经社理事会草案与国际商会草案的名称就可以看出二者的不同。国际商会的公约草案的名称为关于“国际仲裁裁决”的公约,而经社理事会的公约草案的名称是关于“外国仲裁裁决”的公约。
经社理事会的公约草案被送给了许多国家的政府和政府及非政府间的组织进行审议。在收到了有关审议意见后,联合国经社理事会决定召开“国际商事仲裁大会”。这次大会于1958年5月20日至6月10日在纽约联合国总部召开。该次会议通常称为1958年纽约会议,其结果是通过了著名的1958年《纽约公约》。