鉴于胡人造成的伤害过于惨痛，桓温决定推行汉代执行的都护府制，分别设置了四个都护府用于镇守四方的胡人部落。

其中在乐浪郡以东二百里的汉江流域新筑平壤城，以熊本城为基本设置安乐都护府，除了管理辽东、高句丽以及朝廷半岛上的三韩部落等地外，也管理东北地区的渤海、契丹、库莫奚、靺鞨、室韦等其他少数民族，首任都护为北府名将刘牢之，率军两万余人镇守安东都护府。

以朔方郡为基础设置安北都护府，用于管理鲜卑拓跋部、鲜卑秃发部、鲜卑越质部、匈奴铁弗部、匈奴贺兰部、匈奴孤独部、高车族、柔然等少数民族，首任都护为北府名将刘轨，率军三万余人镇守安北都护府。

在西域桓温则以前秦时期在西域设立的西域长史府为基础，成立新的安西都护府，安西都护府以鄯善城为治所，设立西域都护、戊已校尉、伊吾都尉、玉门大护军等职位，同时在高昌设郡的基础上，又设立了敦煌郡、晋昌郡、鄯善郡等治所，进一步完善了行政管理，安西都护府不但负责治理西域诸国，也负责管理中亚地区的康居、大月氏等其他部落，首任都护为桓冲手下大将田洛，率军两万镇守安西都护府。

在交州地区，桓温决定重建日南郡，并在日南郡境内的宋平城设立安南都护府，以自己的心腹旧将、原宁州刺史孙恩的儿子孙绰为首任都护，率军两万镇守安南都护府。

桓温之所以大费周章的跑到大南边设立安南都护府，主要是因为那里有一个叛乱的国家－林邑国。

在桓温发动统一全国的战争时期，林邑国趁机发动叛乱，屡屡侵扰交州，掠夺交州的人口和财产，因此当时桓温正在全力征伐北方诸割据势力，无暇顾及极南之地，所以只得以安抚为主，并没有大动干戈。

但是没想到林邑国见东晋王朝无暇顾及自己，反而变本加厉，最终将整个日南郡全部吞并，虽然桓温有意想要讨伐林邑，但终因路途太过遥远而作罢。

但这一直是桓温心里的一道坎，因为后世的越南之所以在南海问题上为非作歹，处处与中国为敌，就是因为当时的统治者放弃了此地的原因。

因此本着不为后世子孙留麻烦的想法，桓温才决意在日南郡设立安南都护府，用于巩固在当地的统治。

林邑国是从日南郡象林县分离出来的，而日南郡又是着名的交趾三郡之一，交趾三郡为交趾郡、九章郡、日南郡，这其中日南郡在最南部，由于全境地处热带，一年有2个月时间太阳是从北面照射的，日影在南部，这是当时全国唯一一例，故曰“日南郡”。

日南郡相对于其它两郡，有其更特殊的地方：它位置当时中国疆域的最南边，所以当年汉朝征服这里的时候，因此实在太过偏远，所以开发程度和控制程度都是最低的。

汉朝虽然大力开发日南郡，鼓励内地移民过去拓殖，但日南郡的人口因为实在太过于偏远而始终维持在很低的一个水平，和交趾其他两郡根本无法相比，在汉朝的一次人口统计中，仅有6.9万，还不如现在的一个镇的人口规模。

而且，日南郡的民族成分也相当复杂，这里的主体民族既不是汉人，也不像其它岭南州郡一样是越人土着或汉越混杂，这里主要居民是：占人！

占人是中南半岛很古老的一个民族，该族群跟交趾、九真两郡的越人土着有很大不同，他们不受汉人文化的影响，而是深受印度文化影响，这也就造成了他们与其他两郡的很大不同。

对于汉人统治者来说，此处人文风貌实在是太过于迥异，移民到这里的汉人根本就不可能接受他们的风俗，但是如此偏远的地方又恰好是犯人流放的好地方，

因此在两汉时代，日南郡是犯人流放的集中地，有记载的有就有汉和帝时阴皇后的二弟、汉安帝乳母与女婿樊严、侍中周广、虎贲中郎将谢恽等都曾流放至此。

但即便如此难以统治，对于汉王朝来说，这里也不能放弃，因此它是直属郡县，因此为开发此处汉朝尽了最大努力：设置政府、征收赋税、移民实边。