回乡后，因为家童杀人被诬，他再次入狱，元气大伤，家财几乎散尽。在辛弃疾等友人的搭救下，免了一死。
多番上诉无果，两次入狱之灾，他应该懂得收敛，懂得和现实妥协，低下头，做一个精明的实用主义者或无难无灾的保守主义者，行走江湖之中，也可以全身远祸，风平浪静地过一生。
可他不。他认为一定是自己的前几次上疏太空泛，缺少实地考察的依据。1188年，44岁的他，在建康京口实地考察一番后，写下了《念奴娇·登多景楼》一词，再次触怒众人，被目为狂怪。回乡后，等着他的是另一次精心罗织的入狱，朋友再次搭救。
就是这样的一个江湖书生，总是拿自己心中的那把尺子去衡量是非曲直，世态人心。却不知道，这个社会中每人心中都有一把尺子。
他同时还是一个思想家，是永康学派的创始人。他反对性命之说，主张功利之学。专言事功而蔑视空谈心性命理之学。在南宋理学家朱熹主张“存天理，灭人欲”之时，他却认为义利就在利欲之中，人欲即天理。
