波中关系历史可以追溯到十七世纪波兰传教士的活动，其中最著名的是耶稣会传教士卜弥格（Michał Boym） (1612-1659)。而更广泛地交流可以说是发生在清朝末期，即1896年清朝给予俄罗斯帝国在中国东北修建中东铁路的特许权。当时派来的专家中有一大批是来自祖国被瓜分的波兰人。十月革命后，从俄罗斯内战的混乱中逃离的同胞也加入了他们。这几千个波兰人主要居住在哈尔滨市，波兰的文化、教育和宗教机构也在这里运行了几十年，而在波兰重获独立后，又成立了领事代表处。在第一次世界大战和第二次世界大战期间以及在1949年中华人民共和国成立后，居住在中国哈尔滨及东北其他地方的波兰人大多数都离开了中国，尽管这一团体的最后一位代表直到1993年才回到波兰。
波中关系建立于第一次世界大战和第二次世界大战期间。但是因为两国在地理上的距离，两国不同的外交政策以及中国当时的内部困难局面致使波中双边关系在此期间没有获得显著发展。直到1920年3月27日北洋政府承波兰独立。随着南京新首都的设立，1929年9月18日签署《友好通商航海条约》（1931年10月生效）后，两国外交关系正常化（1928年与北京北洋政府签订的《友好通商条约》未生效）。甚至在条约签订之前就在中国境内的上海和哈尔滨设立了波兰办事处，其目的是为确保居住在那里的波兰人的利益。1929年3月，波兰在南京中华民国政府设立了公使，1937年抗日战争爆发后，其与中国政府一起被转移到了重庆。在第二次世界大战期间，这一代表权被提升为使馆级别，而1942年12月阿尔弗雷德·波涅斯基（Alfred Poniński）成为第一位波兰驻华大使，一直任职至1945年7月。
1945年7月5日，中华民国政府撤销了对波兰流亡政府的承认，并承认了华沙的民族团结临时政府。当时在重庆的使馆要在一个月内撤离中国境内，由于时间仓促，闭馆工作十分艰难。随着时间的推移，代表华沙新当局的使馆迁至战前的首都南京。中华人民共和国成立后，1949年10月4日波兰政府承认与中华民国政府的外交关系不存在。事件发生后不久，中国总理兼外交部长周恩来收到了提议建立使馆级别外交关系的信件，周恩来总理的答复于10月7日到达华沙，这也是波兰与中国正式建立外交关系的官方日期。
波兰是继苏联之后向新中国开放外交代表处的第二个国家。1950年2月，使馆总部正式从南京迁至北京，同年6月，第一任波兰驻中华人民共和国大使递交了国书。除使馆外，两国还开设了总领事馆。在1951-1954年间，在天津设有波兰领事馆，1954年闭馆后在上海开设了领事馆。于1955年在广州设立领事馆，但其在1981-1988年间暂停。同样地，中国于1958年在格但斯克开设了总领事馆。1950年，新中国最高领导人毛泽东主席、总理兼外交部长周恩来和朱德总司令参加了波兰驻华使馆举办的第一次过国庆招待会，象征了当时紧密的初期波中外交关系。
1989年以前对波中关系的决定性影响是两国与苏联的关系状况以及中国的内部局势。建交后第一阶段的特点是双边在许多领域活跃地互动，但随着自二十世纪50年代后期北京与莫斯科之间分歧的扩大以及中国的内部局势，这种关系开始弱化。最终，在1966年中方暂停了在各个领域的接触与合作，尽管在二十世纪70年代初，中国为重建双边关系进行了一些尝试，然而，中国外交政策发生根本性的变化还是在1978年改革开放政策的出台，使中国与波兰等国家的关系逐步正常化。直到二十世纪80年代，两国关系才得以恢复，特别是在经贸合作领域。尽管在社会主义国家阵营框架下，波兰和中国在冷战的大部分时期处于遥远的位置，但双边关系仍是正常的，在某些问题上，波兰和中国的利益趋于一致。