俗稱「寮仔部」的寮屋管制組，以前是專責處理本港木屋區，一直由房屋署管轄，直至○二年四月起，分批轉交由地政總署管理，首批約二百名市區寮仔部員工「過檔」至地政總署，薪酬福利不變，至○六年四月一日，地政總署全面接收整個寮屋管制組，目前任職員工達四百多人。本港的寮屋問題表面看似已經解決，但隨着近年愈來愈多人遷至寮屋區，目前的人員數目根本不足以解決寮屋問題。
公屋聯會主席王坤表示，過去房屋署有較多公屋資源及人手，受清拆影響的家庭都會交由房屋署處理。後來寮仔部需要經常替各政府部門執行收地和取締非法寮屋職務，其涉及的職務已非昔日單純替房屋署工作。
王指出，由於房署後期強調處理核心業務，加上大型清拆行動較以前減少，政府基於上述多個因素，遂於○二年開始逐步將房署轄下的寮仔部撥歸地政總署負責，由該署執行寮屋政策。
王稱，「寮仔部」始於五十年代，當年專責取締全港非法搭建寮屋，初期隸屬市政署，並集中在新界工作，及後由新界理民府接管，而徙置事務處，則負責市區寮屋管制。房屋署後來分別在一九七三年及一九八一年合併市區及新界寮屋管制工作，演變成後來的「寮仔部」。