后，从精神到肉体惨遭摧残吴晗的家人常常被“深夜里猛烈砸门声惊醒”，他的小儿子吴彰后来回忆说：“（我）老是吓得缩在妈妈怀里他们翻过围墙，破门而入整个院子贴满了‘绞死’、‘砸烂’的大标语”不久，吴晗进了劳改队，“他的身上总是旧创未平，新伤又起”
接下来，吴晗的家人也未能幸免bayi8◆cc1968年4月，吴晗的妻子袁震也被送入劳改队不久，在折磨下本来就身体欠佳的袁震，双腿瘫痪了父母被双双关进监狱后，家里只靠年仅14岁的养女吴小彦支撑，独自承担起照顾弟弟吴彰的责任
1969年3月18日，袁震被迫害致死次日，11岁的吴彰跟着15岁的姐姐吴小彦去太平间看已于前一天去世的妈妈时，妈妈留给他们的最后形象是：“双眼半睁，面颊上还有几滴泪珠”
就在袁震含冤去世半年后的1969年10月11日，吴晗被迫害致死吴晗死前，头发被拔光，其骨灰至今下落不明作为吴晗的养女，吴小彦饱受生活上的煎熬和精神上的摧残，最终走投无路，于1976年9月的一天，在精神病院自杀
有一则流传广远的学林掌故说，1990年代前后，某次学术圏大佬们聚会，座间有人谈起吴晗全家的惨事一向不问世事、沉默不语的钱钟书，忽然对着邻桌的费孝通大声说：你记得吗？吴晗在1957年时整起別人来，不也一样无情得很吗？”底下唏嘘一片
或许，吴晗的悲剧在于丧失了知识分子独立的特点，丧失了历史学家的客观立场，学术为政治服务随波逐流吴晗写的《朱元璋传》四易其稿，在1943年该书叫《由僧钵到皇权》是“影射史学”，60年代的《朱元璋传》又改成了“命题史学”，观点跟着形势走如何能做史学呢？
新中国成立后，吴晗以大学教授和文人身份成为北京市副市长，可是一个历史学家的副市长居然支持把北京的城墙、牌楼和部分寺庙、古建筑都给拆掉，直到今天人们也感到不可思议吴晗还积极主持挖掘了明十三陵的定陵，造成了不可恢复的损失吴晗对朋友检举，落井下石反戈一击，当年整人真的很无情
在知识圈内说吴晗好话的不多，有人说是欺师灭祖、媚权、篡史等等但也有人说，吴晗的悲剧不单纯是一个人的悲剧，而是一个时代的悲剧吴晗太迷信，太听话，在历史大潮中迷失了自己
吴晗承认胡适是老师，但是否认了胡适对自己的帮助，在当时的历史环境里这样说也是没有办法bayi8◆cc1954年，胡适在大陆的许多弟子与友人都在批判胡适，包括胡适的亲密弟子罗尔纲，但吴晗却始终没写批判文章罗尔纲认为吴晗没有写文章批判胡适是“为