現今豪門大宅林立的渣甸山，在以往並非單純的豪宅區，早於十九世紀，該地原本有不少梯田，由於具備居高臨下的地理優勢，有英商洋行因而於該區設置瞭望台，作為指揮商船之用，該地亦因此而獲命名為「Jardine's Lookout」，中文稱為渣甸山。
在四、五十年代，大量內地新移民湧入香港，當時的港府在渣甸山建立多個平房徙置區，成為貧富共居的社區其後才逐步發展為高尚住宅區，並且成為繼港島山頂及南區之外，供應最多洋房的一線豪宅地段。
