1856年,菲尔莫尔再次参加了总统竞选,但是惨败而归,他彻底地放弃了。之后,他便把主要的精力投入到家乡布法罗的公众事业上。他出钱建立了布法罗的第一所中学,除此之外,他还向公共图书馆提供资助。
虽然菲尔莫尔给自己安排了种种事务,但鳏居的孤清生活总使他感到有些寂寞——他打算再续娶一位夫人。1858年2月10日,菲尔莫尔与纽约州奥尔巴尼的富孀卡罗琳·卡迈克尔·麦金托什结婚。卡罗琳的前夫是奥尔巴尼著名的实业家伊齐基尔·麦金托什,所以卡罗琳非常富有。结婚前,她与菲尔莫尔还签了一份协议,让菲尔莫尔作她的财产代理人。那时,菲尔莫尔58岁,卡罗琳45岁。和卡罗琳结婚,对于年老的菲尔莫尔来说未尝不是件好事,她给菲尔莫尔带来了一大笔财产,解决了菲尔莫尔的拮据困境,偿付了欧洲之行欠下的账单,还在布法罗的尼亚加拉广场买了一幢豪华的大宅。他们经常在那里召开盛大的宴会,招待该市的达官贵人和社会名流,他们夫妻俩也成了当地社交界的中心人物。在此之前,他们夫妻两人又到欧洲法国和西班牙旅游了一次。按道理来说,续娶夫人之后的菲尔莫尔应该比较幸福美满了,然而,美中不足的是,他唯一的儿子与这位后母总是难以和睦相处,这给菲尔莫尔带来了难以免除的遗憾。作为政治家的菲尔莫尔在处理自己的家庭问题上苦无良策,为自己、为儿子都留下了永久的遗憾。虽然菲尔莫尔在遗嘱中要求儿子和后母努力和睦相处,但是这对母子却在继承权问题上争执得不可开交。或许菲尔莫尔与儿子之间的关系也不是太融洽,他在遗嘱中把他的绝大部分遗产都留给了自己的第二任妻子,而不是自己唯一的儿子,这让人难以理解。鲍尔斯为了遗产问题和他的后母闹到法庭上,最后,他胜诉了,获得了属于他的遗产。但是,获得遗产后,菲尔莫尔的儿子并没有把钱花在应该花的地方,而是整天生活在醉生梦死中,大肆挥霍,不久这笔遗产就被他挥霍一空了。