Antiguamente eran los jardines de una casa de verano de la familia Tokugawa y más tarde los jardines de recreo del emperador Meiji, que podía ir en barco hasta Hamarikyu por canales desde el palacio en el centro de Tokyo.