桓管家口中啧啧称赞的白衣司，也可叫作白衣衙门，用现在的眼光来看，其实就跟武周时期的内卫，大明王朝时期的锦衣卫、东厂之流差不多，他们的作用，就是充当皇上的耳目。
白衣司最初由晋成帝司马衍所创立，是不同于三公九卿之外的存在，不在朝廷编制内。
不在朝廷编制，自然就有所区别。由于白衣司直接听命于皇上，则其所有司员的俸禄，是随皇宫内伺候皇上起居的内侍们一同发放，都是从皇宫内皇上个人的小金库中出银钱，包括平日里采取行动而产生的车马费、餐食费、住宿费等。
设立白衣司，最主要的原因，或者诱因、导火线，便是王敦之乱。
王敦乃琅琊王氏，是东晋四大家族之一，晋元帝永昌元年，王敦以诛刘隗为名，突然率大军进攻都城建康，朝廷军队在没有任何准备的前提下，被王敦击败。
后王敦自封为当朝丞相，一人之下万人之上，后，又诛杀周顗等人，并在武昌遥控指挥朝廷的一切政治、军事事务。
然，东晋朝廷气运未绝，也许是天意，王敦在实际掌权后不久，便身染重疾，卧床不起，晋明帝继位后，趁势率军反扑，一举粉碎了王敦的叛乱，还政权于朝廷，王敦也在朝廷平叛的过程中离世。
王氏叛乱虽被粉碎，但由于琅琊王氏根深蒂固，又素有朝廷为官，王氏过半的说法。
故此，东晋朝廷想要借此平叛的机会将琅琊王氏连根拔起，却是心有余而力不足，此次叛乱，仅仅只是处置了王敦一家，并未牵连其余王家势力，大家依旧相安无事。
司马衍明知其中缘由，也无可奈何，他认为王敦之乱皆是因为朝廷信息不畅、体察不明，甚至有部分朝中大臣，知而不报，以至于让朝廷没有提前准备，吃了败仗。
如果朝廷能提前知道消息，不管是王家、还是谢家，但凡有所异动，朝廷提前采取行动，一定会狠狠挫败他们的阴谋，这样，不仅仅是取得胜利这么简单，更对那些有不臣之心的人，起到敲山震虎的威慑作用。
故此，司马衍经过两年的思考和筹备，在自己继位第三年初的时候就设立了白衣司。
白衣，即素服，正是两晋文人雅士，甚至普通老百姓喜欢的服饰。
两晋朝廷，虽然国力不富，军力不强，自保都成问题。但是，文化的发展却是相当鼎盛，在延续汉赋的基础上，发展出一套自己的文化系统，书法造诣更是达到了前无古人的地步，附庸风雅，在王公大臣、浪荡子弟中，已经蔚然成风。
最开始的白衣司，只是在京城中活动，也没那么多人，衣着打扮以素服白衣为主，故称之为白衣司。
这些人浪迹于文人墨士之间、穿梭在市场茶楼酒肆之中，这些地方，最是鱼龙混杂，三教九流的消息，源源不断。
这些白衣打扮的司员，将探听到的消息，及时汇报给自己的上级，再经过上级对得来消息的层层筛选，然后报于白衣司元司大人，最后，再由当家的元司奏报给皇上。
这样，就形成了一整套、完整的消息传递系统。
按照司马衍的最初设想，这样一来，京城中大大小小的事物，他都能实时掌握，以便及时做出应对措施。