少年时代的高野五十六家境十分贫困。戊辰战争结束后，明治政府颁布了一系列改革措施，废除了武士阶层的封建特权和食禄制度。武士们过去长期不从事生产劳动，缺乏基本的生活技能，尽管政府采取了一定的扶持政策，但大多数武士生活水平急剧下降，家境贫寒。高野家在明治维新前俸禄是120石，在长冈镇算得上中上家庭。戊辰战争中，高野家2死3伤，财产付之一炬，家境一下子败落了。战争结束后，仅仅依靠政府发放的金禄公债勉强生活。偏偏是祸不单行，高野五十六的大哥高野让主持的农场在一场火灾中化为灰烬，让不得不用全部家产赔偿，其女高野京子被迫放弃学业，到东京帝国大学医院当了一名护士。生活在这样一个破败的士族家庭中，高野五十六从幼年就开始参加一些力所能及的劳动，如照看菜园、打扫庭院，以至和大人一起参加捕鱼。艰苦的生活磨炼了高野五十六的意志，造成了他沉默寡言的性格。
1890年3月，高野五十六进入阪上小学，开始了学校生活。他聪明伶俐，勤奋好学，学习成绩一直很好，每年都能得到学校的奖励。小学毕业那年，得到学校的优等奖，并获得教育奖励会樱花银质奖牌一枚。1896年4月，高野五十六升入长冈中学。这是一个有着特殊背景的学校，学校的老师大部分是旧长冈藩的武士，学生则是士族子弟。当时，无论是学校老师还是社会上的武士都认为，要改变长冈的地位，最有效的手段就是用他们的武士精神培养优秀人才。1875年成立的长冈社，就是一个武士发起的育英事业团体，专门资助那些家境困难但品学优秀的有用人才。高野五十六的情况十分符合长冈社的标准，因而得到了长冈社的资助，每月1日元。资助的数额虽小，但高野五十六受到了莫大的精神鼓励，他几乎放弃一切有碍学业的娱乐，一门心思用在学习上。对待资助的奖金，高野十分珍惜。在上中学的几年中，大部分教科书都是自己抄写的，5年的时间，他只穿了一套校服，回到家马上脱下，换上母亲做的土布衣服。长冈社对高野五十六的一生产生重要影响，他后来的许多思想都与长冈社的宗旨有关。以至于在成为将军后，山本还时刻关注长冈社的发展，经常进行捐款和帮助，直到战死。
