西の丸西南隅櫓や宗門櫓、着到櫓が水面に映える

慶長2年（1597）、福原直高 （ふくはらなおたか）が府内に入封 （にゅうほう）後、築城を開始、動4年（1599）に楼房型 （ろうぼうがた）の四重天守が築かれた。関ヶ原の戦い後、竹中重利 （たけなかしげとし）が創建当初の天守を新式の層塔型 （そうとうがた）へと改めるなどの大改修を行った。北方は海、東方は大分川 （おおいたがわ）に面した縄張り （なわばり）で、本丸、二の丸、山里丸 （やまざとまる）、北の丸が梯郭式 （ていかくしき）に配された。

寛保 （かんぽう）3年（1743）に城下からの出火により天守ほか多くの建物が焼失。以後天守は再建されず、焼失を免れて明治維新後も残っていた着到櫓 （ちゃくとうやぐら）なども戦災によって失われてしまった。

現在の建物は宗門櫓 （しゅうもんやぐら）と人質櫓 （ひとじちやぐら）のみであるが、戦後、西の丸西南隅櫓 （すみやぐら）、大手門、東の丸西南隅櫓、廊下橋 （ろうがばし）が再建された。