由参谋长联席会议主席掌握的内部机构主要有事务局、联合参谋学校和情报本部等。事务局是参谋长联席会议的办事机构，局长由中将或少将担任，奉参谋长联席会议主席之命掌管事务局工作，为会议准备方案，并列席会议对有关问题进行说明。联合参谋学校是参谋长联席会议的附属机关，主要培训中校级军官，使其掌握部队联合运用的有关知识和技能，并能胜任高级指挥官和高级参谋的职务。情报本部的主要任务是对新的世界军事形势下的日本防卫所必需的情报进行搜集、处理和分析，以提高防卫厅整体的情报机能。
另据报道，日本政府已在安全保障会议上决定，通过修改《自卫队法》来扩大参谋长联席会议的职能，使目前仅限于日本有事时的参谋长联席会议及会议主席的指挥权扩大到联合国维和行动和救灾等领域。这就使参谋长联席会议既能够在平时根据需要进行指挥和下达命令，也能够在新《日美防卫合作指导方针》中所强调的周边地区出现紧急事态时做出反应。扩大的参谋长联席会议主席的权限包括：海上警备行动；救灾出动；防止侵犯领空措施；国际紧急救援活动；救助侨居海外的日本人的活动等。
日本三个自卫队的参谋长是防卫厅下设各军种参谋部的主管，具体领导各军种的参谋部工作，协助长官指挥、管理各自军种。各军种参谋长组织各军种参谋部具体完成以下工作：制定防卫、警备计划；制定教育训练、行动、编制、装备、部署、情报、财会、采购补给、卫生保健、人事、兵员补充计划；对部队的管理和运用调整，对部队各项业务工作效率进行调查研究；贯彻执行防卫厅长官的方针；完成防卫厅长官交办的其他事项。各军种参谋长要在防卫厅长官指挥和监督下，统管各自军种的事务，而副参谋长要协助完成参谋长的工作。
