相傳在南朝宋元嘉年間（公元424至453年間），有異鳥飛臨金陵（今南京），官府認為該處是鳳凰棲息寶地，遂興建鳳凰台，後因李白賦詩《登金陵鳳凰台》而聞名。據稱李白當時政途失意，登鳳凰台後，感慨大唐江山遭安史之亂蹂躪，想到象徵祥瑞的鳳凰憩息鳳凰台的傳說，寫下「鳳凰台上鳳凰遊，鳳去台空江自流。吳宮花草埋幽徑，晉代衣冠成古丘。三山半落青天外，二水中分白鷺洲。總為浮雲能蔽日，長安不見使人愁」的詩句，抒發愛國情愁。

據《宮苑記》記載，鳳凰台上曾有樓閣，李白在《登瓦官閣》中亦寫道「門餘閶闔字，樓識鳳凰名」，證明鳳凰台上曾有樓閣鳳凰樓。