少年时代的高野五十六家境十分贫困。戊辰战争结束后,明治政府颁布了一系列改革措施,废除了武士阶层的封建特权和食禄制度。武士们过去长期不从事生产劳动,缺乏基本的生活技能,尽管政府采取了一定的扶持政策,但大多数武士生活水平急剧下降,家境贫寒。高野家在明治维新前俸禄是120石,在长冈镇算得上中上家庭。戊辰战争中,高野家2死3伤,财产付之一炬,家境一下子败落了。战争结束后,仅仅依靠政府发放的金禄公债勉强生活。偏偏是祸不单行,高野五十六的大哥高野让主持的农场在一场火灾中化为灰烬,让不得不用全部家产赔偿,其女高野京子被迫放弃学业,到东京帝国大学医院当了一名护士。生活在这样一个破败的士族家庭中,高野五十六从幼年就开始参加一些力所能及的劳动,如照看菜园、打扫庭院,以至和大人一起参加捕鱼。艰苦的生活磨炼了高野五十六的意志,造成了他沉默寡言的性格。
1890年3月,高野五十六进入阪上小学,开始了学校生活。他聪明伶俐,勤奋好学,学习成绩一直很好,每年都能得到学校的奖励。小学毕业那年,得到学校的优等奖,并获得教育奖励会樱花银质奖牌一枚。1896年4月,高野五十六升入长冈中学。这是一个有着特殊背景的学校,学校的老师大部分是旧长冈藩的武士,学生则是士族子弟。当时,无论是学校老师还是社会上的武士都认为,要改变长冈的地位,最有效的手段就是用他们的武士精神培养优秀人才。1875年成立的长冈社,就是一个武士发起的育英事业团体,专门资助那些家境困难但品学优秀的有用人才。高野五十六的情况十分符合长冈社的标准,因而得到了长冈社的资助,每月1日元。资助的数额虽小,但高野五十六受到了莫大的精神鼓励,他几乎放弃一切有碍学业的娱乐,一门心思用在学习上。对待资助的奖金,高野十分珍惜。在上中学的几年中,大部分教科书都是自己抄写的,5年的时间,他只穿了一套校服,回到家马上脱下,换上母亲做的土布衣服。长冈社对高野五十六的一生产生重要影响,他后来的许多思想都与长冈社的宗旨有关。以至于在成为将军后,山本还时刻关注长冈社的发展,经常进行捐款和帮助,直到战死。