1977年：未滿20歲的林建岳與台灣女星妞妞訂婚，但後來有指妞妞主動退婚。

1980年：與台灣美人謝玲玲拉埋天窗，筵開140席。「林謝」婚後育有五名子女，可惜於95年離婚，但林母余寶珠仍稱她是「永遠的媳婦」。

1991年：被指與翁虹交往甚密，而翁虹亦自稱曾與有婦之夫拍拖；另外，林建岳與萬綺雯拉上關係，更有指萬綺雯與翁虹曾為林建岳而嗌交。

1991年：與袁詠儀（靚靚）鬧緋聞，有指靚靚當年入住麗新集團的「瑰麗新村」。靚靚於07年接受《志雲飯局》訪問時坦言，當年曾因貪慕虛榮而與有婦之夫一起。

1992年：與王祖賢交往，一年後傳同居，當年祖賢還被指是第三者，破壞林建岳與謝玲玲的婚姻，林母余寶珠曾揚言：「當個仔叫雞！」成為一時佳話，兩人最後於95年分手。

1995年：與下屬林學華戀情曝光，兩年後傳婚訊，但直至99年分手。

1998年：林建岳在台灣電視洗髮水廣告中，發現陳浥萍（Monica）後一見鍾情，經朋友介紹後開始交往，Monica移居香港，兩年後為林建岳誕女。

1999年：台灣性感女星林熙蕾獲林建岳欽點而成為新寵，林建岳還被拍到曾進出女方的香閨。

2002年：與娛樂公司公關鄺心怡爆出緋聞，女方更由小康之家，升呢遷到中半山梅道，但林建岳指報道是個笑話。

2007年：有傳鐘錶界美女胡敏珊與林建岳爆出緋聞，但胡敏珊怒斥報道失實，否認緋聞。

除了以上「女伴」外，林建岳對舒淇疼錫有加，有傳曾送贈千五萬豪宅給她。