明治维新后，日本成为近代国家，其军队也走向了正规化，其军队权力从各藩国手中转移到了中央政府的手里，1868年3月13日，明治政府有了自己的“御亲兵”，这便是日本近卫师团的前身。
之后，日本开始组建陆军军团，1871年(明治4年)4月，日本政府决定在石卷和小仓设东山、西海二镇台，归兵部省管辖，但未实行；但当年7月明治政府进行了废藩置县，建立了统一的中央集权，于是开始建立统一的陆军兵团了。
而日本政府建立的陆军军团，最初便称为镇台。
1871年8月设东京、大阪、镇西、东北四镇台，共配备官兵约一万五千人。1872年制定《镇台条例》。1873年1月设东京、仙台（即东北镇台，后改名为仙台镇台）、名古屋、大阪、广岛和熊本六镇台。
1888年废除镇台，代之以师团，此时日本陆军拥有六个师团。
而这六个师团，便是日本陆军中资历最老的部队，东京镇台改称第1师团，仙台镇台改称第2师团，名古屋镇台改称第3师团，大阪镇台改称第3师团，广岛镇台改称第5师团，熊本镇台改称第6师团。
此外北海道还有一支屯田军（屯田兵身兼北海道的开发和北方防御这两项重任。平时开垦、从事农耕），以此为基础，1888年5月12日日本于北海道旭川建立了第7师团，外号外号北镇部队。其通称号是熊兵团。
第1师团到第7师团，这是日本陆军中资历最老的7支部队，这7个在甲午战争（日本称日清战争）前建立的师团（不包括1891年12月14日成立的近卫师团）一直被日本陆军视为第一等部队，装备优先保障。
值得一提的是，日本陆军有一个特殊情况，其同一支部队中的人多是老乡（军官除外），一个师团的部队来自同一师管区，一个联队则来自一个县（比如第34步兵联队就来自静冈县），希望通过这种“乡土关系”提升部队的凝聚力，当然，部队战斗力也和民风有关，比如第一师团（东京周边）和第四师团（大阪周边）的兵员多是城市兵，养尊处优；而第二师团（仙台师团，兵源来自东北苦寒之地）和第六师团（熊本师团，兵源来自民风彪悍残忍的西南九州岛）作战就凶悍一些，其中第六师团还是参与南京大屠杀的主要元凶！
