更有甚者，因当时蔡京的威势，李清照的父亲被打为元祐党籍，赵挺之为了避嫌，虽然没有让儿子休妻，却故意找借口把李清照留在青州老家，然后把赵明诚接到京城念书，让他们这对新婚夫妇分开了近两年之久，就是不许相见。
李清照是洒脱又贤惠的人，她便不多想，闭门做学问，自得其乐，不让公公为难，不让丈夫为难。
其后蔡京因星变罢相，元祐党被一定程度平反，赵挺之掌权登入宰执后，这才允许李清照进京和丈夫相会。然后历史传言，佳人带着这两年潜心研究的学问、收集的金石字画，急忙返京想和夫君长谈分享，却是发现赵明诚留恋青楼，且有了宠妾。
李清照作为女人，又是思维相对先进的文青，对此不高兴是正常的。但在这个时代又是赵明诚的权利，加之李清照又无子嗣，话语权便很有限，所以对此只有保持沉默。
这些应该就是历史传闻中，李清照和赵明诚不和睦的第一个导火索。
“清照一直都很感激高兄。”李清照微微躬身道，“以前在京城那个时期，其实清照内心有些苦楚无法诉说，遇到高兄的另类风格后引为知己，转移了注意力，这在一定程度上缓解了家庭中的一些不和，也让家夫知晓清照是有独立人格的人。后来去到杭1州其实还好，至少他对高兄很酸，感觉到危机，便疏远了小妾，对清照也相对变好了些。”
高方平尴尬的道：“有天我敢断天下的案子，但是清官难断家务，这些我少听为妙。”
李清照脸一红，也觉得自己的作为有些问题，于是很不好意思。但她真的有些忍不住，想把一些奇怪的心态和高方平分享，甚至想听他再说两个类似“一个衙内两只眼”那类名句。
高方平忽然好奇的问：“种师道写下两字‘道士’提醒我，是清照你的心得吗？”
“是的，小种相公在京不久，对京城并不多少心得。”李清照点头道。
“既然你不认为赵挺之是被害，为何于那个时刻对我进行‘引导’？”高方平道。
李清照叹息一声道：“高兄知道吗，清照都险些是那群道士的受害者。张怀素此妖道和赵公公来往较深，公公被他蛊惑，很崇拜妖道的花言巧语，加之汴京权贵交往张怀素，皇帝信任道士，此乃流行，而我一直无子……”
到此李清照没有往下说。
高方平点了点头道：“难怪如此。以清照的为人，当然不信妖道的那一套。”
李清照道：“后来我对道士留了心思，我察觉了一些道士的危害。但因为公公贵为相爷都信任张怀素，皇帝也信任道士，汴京人人相信，清照人微言轻，无法揭露。所幸公公病逝之际，因赵明诚的固执，宗公说动张叔夜等人出手，促成高兄带永乐军返京查案，那时