在两人的谈话过程中依然没有插嘴，因为秦桧的说词再怎么厉害，也比不上他血缘带来的亲情、以及长期待在赵构身边的便利。而且秦桧所言看似全是真话，实际上多次偷换概念，与《三国演义》里诸葛亮舌战群儒时估计曹操兵力时有些类似，赵旉想通这一点后，自认为不难将其驳倒，所以也不急在一时。
本来秦桧已经完全抓住了赵构的心，可这时他却犯下了一个低级的错误，令赵构对其兴趣大减，那便是历史上他那臭名昭著的言论——“南人归南，北人归北”。秦桧的理由是不如此不足以显示大宋求和的诚意，毕竟现在挞懒在金国朝堂上的权势有限，如果不给出足够的好处，是换不来和平的。
但赵构虽然已经被秦桧说动，智商却还没下降到白痴的地步，如果按照秦桧的方法去做，那自己岂不是应该自动去北方投降？就算自己的皇位还能保住，但若是以南渡的北方人为主力的宋军都没了，赵构到那时还有什么交涉的筹码呢？以金人的习性，只怕到时候不会大发慈悲放过自己吧？赵构可是过来人了，他父兄昔日的教训依然历历在目，怎么会再犯同样的错误呢？
这样一来，秦桧一下子便被赵构冷落了下来，不过考虑到日后求和还得靠他，赵构在物质上对其还是多加关照的。但是，没过多久这件事竟又发生了戏剧性的变化。
秦桧回朝后引来了无数的非议，但赵构对此只是置之不理，既没有听取他们的谏言处罚秦桧，也没拿那些言官怎么样。可谁知早就被赵构冷落的强硬主战派领袖李纲听说了秦桧的事情后，立即上书要求赵构将秦桧处死以谢天下，口气也一如既往地令人不快。赵构还年轻，逆反心理很强，随即赌气似的提拔秦桧为参知政事（即副相），结果李纲的上书适得其反，反而帮了秦桧一个大忙