在两个德国之间也存在着极其复杂的关系。在形式上，双方都正式承认了对方，但两国之间的意识形态争端有增无已；两国仅仅靠分区边界相互隔离，这是德国被分割为占领区的时候由同盟国决定的；这种边界并不妨碍德国人民在两个德国之间相互往返。柏林也同样仅仅被各区之间的边界分隔开来，这个城市的两部分由统一的交通运输系统以及市政经济联结在一起。不少家住西柏林的居民到东柏林去工作，许多东柏林市民则每天前往西柏林上班。不需任何证件就能在区与区之间来往。
相对于西德而言，这种形势对东德造成的困难更大得多。在战争期间，现在属于德意志民主共和国的地区受到了更为严重的破坏，甚至早在1939年以前，这一地区的经济发达程度就远逊于西德所在地区。不仅如此，落在德意志民主共和国身上的战争赔偿负担也更为沉重，结果，民主德国的生活水平要比联邦德国差许多。从前的资本家、大地主、甚至还有一批富农，对在民主德国发生的社会变革深惑不满，纷纷移居西方，这时的东德政府尚能对此泰然处之。但是，高级专家和熟练技工的离去带来的负作用非常大。在某些高等学府里，全体毕业生中竟有多达1/3的人刚一毕业就跑到联邦德国，这对于年轻的民主德国来说无疑是严重的损失。
这个问题还有另外一个方面。如同在其他社会主义国家一样，在民主德国许多消费品的价格，尤其是基本食品、儿童玩具、书本等的价格十分低廉，因为这些商品得到国家预算补贴。因此，成千上万住在联邦德国的居民定期跑到民主德国大量采买，这种抢购对民主德国的经济不啻为一个沉重的打击。
对德国原首都柏林的分割也产生了一个特殊的问题。战争结束之后，这个城市的最高权力由苏联、美国、英国和法国的军事司令官掌握。当德意志民主共和国成立之际，新国家宣布东柏林为其首都。而德意志联邦共和国却不能采取同样的行动，因为西柏林完全在民主德国领土的四面包围之中。尽管这样，联邦德国仍声称，西柏林是西德国家的组成部分，享有西德一个选区的全部权利，并将这一主张正式列为德意志联邦共和国宪法第23款。这一主张也得到西柏林大多数居民的支持。不仅如此，联邦德国的某些机构还设在西柏林，现存各政党在这里亦都有代表。这个城市西半部的司法系统与联邦德国的毫无两样。在经济上和文化上，西柏林也肯定是联邦德国的组成部分。但是，这个城市的合法地位还没有得到明确规定。例如，西柏林在联邦议会并没有自己的代表。西方大国在认可德意志联邦共和国和西柏林的宪法时，注意到这个城市西半部的地位十分特殊。虽然它们把西柏林视为西方世界的一部分，但没有无条件支持联邦德国关于对西柏林拥有主权的观点。
赫鲁晓夫提议用快刀斩乱麻的方式来解决这个棘手的问题，他呼吁西方国家同两个德国签订和平条约，承认目前事实上的边界。至于西柏林，他建议宣布其为自治的“自由”城市，该城的统一及其同外界的联系应当由大国予以保障。这些提议遭到西方国家的拒绝。于是赫鲁晓夫又宣称，如果西方拒不接受苏联的建议，那么苏联及其盟国将同其中一个德国（即指民主德国）单独签署一项条约，然后单方面放弃做为占领国所享有的权利。他还援引了一个先例：不久前在旧金山，美国及其他一些国家同日本缔结了和约，但条约的签字国却没有包括苏联、中国、印度、蒙古或缅甸这些在第二次世界大战中同样与日本作战的国家。
西方国家对这一前景极感不安。迄今为止，西柏林通道一直由苏联当局予以保障，而不是由只同极少数西方国家建立了外交关系的德意志民主共和国控制。授予民主德国充分权利，使之能够发放或撤销美国、英国、法国控制西柏林的许可证，这对西方来说是有失尊严的做法，根本不能接受。西方的好战分子气急败坏地叫嚷：如果苏联撤出柏林，西方国家将被迫“强行冲进西柏林”。任何改变现状的做法都是极其危险的，都会造成难以逆料的混乱的国际局势。
同肯尼迪的维也纳会谈向赫鲁晓夫表明，缔结和约的问题不宜匆忙决定。然而，他却得出结论，认为苏联可以施加一定的压力，以便帮助德意志民主共和国建立对自己边界的严格控制。
德国问题成为这一时期赫鲁晓夫几次演讲的焦点。一天晚上，在克里姆林宫为军事学院举行的盛大毕业典礼上，赫鲁晓夫说：“我们将签署一项和约，但与此同时我们要指示我们的部队，任何敢于向苏联和苏联盟国寻衅的侵略者都将遭到应有的回击。”