清廷於甲午戰爭敗給日本後，一八九五年與日本簽訂《馬關條約》，把台灣、澎湖割讓。日本同年佔領台灣，由大阪中立銀行於基隆開設辦事處，為後來設立台灣銀行作準備。一八九七年，日本公布《台灣銀行法》，正式着手設立台灣銀行。兩年後，經日本政府投入一百萬日圓，株式會社台灣銀行成立。
台灣銀行隨後於福建、廣東、湖北、上海等地，先後開設三十五間分行。其中，上海的台銀大樓建於一九二四年。日本藉台銀在大陸吸納資金，除養肥了各大日本財閥，部分資金後來甚至成為侵華資本。日本戰敗後，包括台銀在內的日資企業撤離。
至國民政府遷台後，於一九四六年核准台灣銀行復業，於日治時代開設的全台分行也重新啟用。此後，台銀承辦台發行貨幣等業務。至二○○二年，發鈔業務才完全交台灣的中央銀行接手。