สวนปราสาทโทยามะตั้งอยู่บนซากปรักหักพังของปราสาทโทยามะในอดีต ปราสาทแห่งนี้สร้างขึ้นครั้งแรกในปี ค.ศ. 1543 และทำหน้าที่เป็นฐานทัพของตระกูลมาเอดะผู้ปกครองจนถึงยุคเมจิ จากนั้นจึงถูกรื้อถอนพร้อมกับปราสาทอื่นๆ ทั่วประเทศ
ปัจจุบันปราการหลัก (หอคอยปราสาทหลักที่สร้างขึ้นในปี 1954) ได้รับการบูรณะใหม่ และรายล้อมไปด้วยพื้นที่อันงดงามและสวนแบบญี่ปุ่นดั้งเดิม กำแพงปราสาทและคูน้ำบางส่วนยังคงมองเห็นได้ และในฤดูใบไม้ผลิ ต้นซากุระที่สวยงามของสวนจะบานสะพรั่ง ดึงดูดนักท่องเที่ยวจากทั่วทุกภูมิภาค
พิพิธภัณฑ์ศิลปะอนุสรณ์ซาโตะ ซึ่งตั้งอยู่ตรงข้ามสวนสาธารณะ จัดแสดงคอลเลกชันส่วนตัวของซาโตะ สุเกะคุโระ ผู้มีอุปการคุณผู้มั่งคั่ง ซึ่งรวมถึงเครื่องประดับ เซรามิก เครื่องเขิน และภาพวาดมากมาย ตั้งอยู่บนแม่น้ำมัตสึกาวะ สามารถเข้าถึงชานชาลาเรือสำราญมัตสึกาวะได้จากสวนสาธารณะ