西の丸西南隅櫓や宗門櫓、着到櫓が水面に映える
慶長2年(1597)、福原直高 が府内に入封 後、築城を開始、動4年(1599)に楼房型 の四重天守が築かれた。関ヶ原の戦い後、竹中重利 が創建当初の天守を新式の層塔型 へと改めるなどの大改修を行った。北方は海、東方は大分川 に面した縄張り で、本丸、二の丸、山里丸 、北の丸が梯郭式 に配された。
寛保 3年(1743)に城下からの出火により天守ほか多くの建物が焼失。以後天守は再建されず、焼失を免れて明治維新後も残っていた着到櫓 なども戦災によって失われてしまった。
現在の建物は宗門櫓 と人質櫓 のみであるが、戦後、西の丸西南隅櫓 、大手門、東の丸西南隅櫓、廊下橋 が再建された。