En realidad se trataba de una fortaleza y sirvió como defensa ante el ataque de los piratas y luego, durante muchos años, estuvo en estado ruinoso e incluso llegó a utilizarse como refugio para el ganado. Finalmente se utilizó como guarnición militar hasta el año 1964, en que es cedida al ayuntamiento de la ciudad. Años más tarde, a principios de los años setenta del pasado siglo XX, se decidió derribar una parte de lo que quedaba de ella para construir el actual edificio del ayuntamiento. Incluso llegó a plantearse el derribo de la totalidad, sin embargo, consiguió salvarse in extremis y gracias a ello aún podemos observar algunas de sus partes, como la garita que vigila el horizonte y que pasa inadvertida para muchos vigueses. Pero la construcción del nuevo ayuntamiento sobre la fortaleza de San Sebastián no fue la única obra controvertida de la ciudad de Vigo en aquellos años en los que todo valía para un crecimiento urbanístico anárquico, pero muy rentable. Numerosos edificios singulares también quedaron arrasados por la fiebre del gran negocio de la construcción, una gran lista de edificios de los que ahora sólo queda constancia fotográfica. Por tal motivo conviene recordar los nombres de los alcaldes de esa época, para que la historia comience a pasarles la factura que corresponda por todas las barbaridades urbanísticas que han motivado la eliminación de importantes páginas de la historia de la ciudad: 1970 – 1974: Antonio Ramilo Fernández-Areal; 1974 – 1978: Joaquín García Picher.