、诱使北人南迁，并给予最大的物资支持当主守派得势的时候，归正人就会陷入很尴尬的局面，甚至有时面临被遣返的下场，这些被迫北返的归正人，饱受报复与歧视，生活常陷于绝境，必然会使这个群体对宋生产了严重的怨恨
与此同时，在宋朝官冗、财政危机局面形成及日趋严重的过程中，归明、归朝、归正人起到了推波助澜作用鉴于此，宋朝虽然总体上对他们采取了优待政策，但迫于压力，只能根据国家安全形势及其所起作用的变化，在已有优待政策基础上，进行适当调整，限制优待对象，降低优待标准，以缓解冗官、冗费和财政危机的压力
朝野中也对移民问题争论不休支持者认为，对归正人的态度，显示着宋王朝的“正统”，是收揽中原人心、争夺中原人才的一个必要举措同时可以增加人口与耕地面积，可以补充军队兵员，还可以了解敌国的内部情况与动向因此，不仅不能拒绝，还要重金招纳
反对者认为，这些南迁的归正人是敌国的设下的毒计，利用这些流民来蚕食宋国一方面，南迁官员众多，使南宋冗官现象非常严重，给国家带来巨大的负担另一方面，本来土地有限，蜂拥而入的归正人侵占了宋人的土地，又增加了东南民众的生存压力，把原来的良民逼成“盗贼”
还有在宋军中，尤其是前线最具战斗力的部队中，由于归正人的比例逐年增加，使军队的管理出现隐患端平年间，襄阳、唐州、邓州、黄陂等地北军相继动叛乱一方面是这些北军饱受排挤，另一方面是宋正军在数量上不占优势，使军队内部管理失控
事实上的确米仓中会混有几粒老鼠屎，大量的归正人之中，其中投机者不少有些伪造履历以骗取南宋的官职，或不断地索要官职差遣让南宋朝廷疲于应付有些归正人官员在地方上作威作福，仗势欺人，败坏吏治，还有一些是金国人安插的奸细，或窃取情报或从事破坏活动
这些都增加了南宋官员对归正人的疑虑与不信任而不信任感是长期存在于南宋朝廷之中的主流态度包括朱熹，都直接把归正人与汉代时的宦官、唐代时的藩镇视为一类，认为这些人都是造成社会动乱的病根因此，许多归正的文官多不被授实职，添差后就将他们分散地安置在各州郡中
在军队中，归正人受排挤的现象更为严重影响最大的一个是山东李全的“忠义军”，因为宋对其采取利用与挑拨的策略，使“忠义军”最终覆灭，名义上归附宋国的山东全境因此落于蒙古手中另一个是宋末的刘整，因为受到排挤而投降忽必烈，成为灭宋的一支重要力量……
“陛下，如何安置这些归正人，是否需与朝中众臣详议之后再做主张？”刘辰翁见小皇帝久