Der Speicher XI ist heute der wesentliche Rest der für den Überseehafen errichteten Gebäude. Die nach Entwürfen des Architekten Nause von der bremischen Bauinspektion gebauten Speicher XI und XIII wurden jeweils landseitig hinter den zugehörigen Kajeschuppen gebaut und 1911/1912 in Betrieb genommen. Beide Gebäude haben den Zweiten Weltkrieg mit verhältnismäßig geringen Beschädigungen überstanden und konnten nach Kriegsende wieder Instand gesetzt werden. Dabei schloss man die Lücke zwischen den beiden Speichern durch ein verbindendes Betriebsgebäude.

Speicher XI galt von nun an als Bezeichnung für den Gesamtbau, und auch die Nummerierung der Abteilungen im ehemaligen Speicher XIII wurde bis 16 fortgeführt, das neue Betriebsgebäude erhielt die Segmentnummer 8. Seitdem hat der Speicher eine Gesamtlänge von etwa 400 Metern – das entspricht der Länge der Bremer Obernstraße! Auch die beiden Kajeschuppen 11 und 13 wurden beim Wiederaufbau vereinigt – kurioserweise bekam der Schuppen nicht ebenfalls die Nummer 11, sondern die 13.

2001 wurde der bereits denkmalgeschützte Speicher XI von der Firma Dr. Hübotter Wohnungsbau gekauft und saniert. Zum Wintersemester 2003 / 2004 konnten mit der Hochschule für Künste die ersten neuen Nutzer einziehen. Anfang 2004 folgten die Mieter der vorderen Segmente und am 28. Februar 2004 konnte das Hafenmuseum Speicher XI Eröffnung feiern.