Velbrück war ursprünglich eine zweiteilige Wasserburg, deren Gräben von der Swist gespeist wurden. Zwischen dem Gebäude und dem Bach lag eine dreiflügelige Vorburg. Die heute hier stehenden Gebäude sind im 18. und 19. Jahrhundert entstanden. Das Herrenhaus von 1720 war ein zweigeschossiger verputzter Backsteinbau von sieben Achsen, das im Zweiten Weltkrieg zerstört und später abgerissen wurde.
In den Gebäuden des historischen Vierkanthofs befindet sich seit 1990 der Sitz der Velbrück GmbH mit einer Versandbuchhandlung »Velbrück Bücher & Medien« und den vier Verlagen Velbrück Wissenschaft, Barton Verlag, Dittrich Verlag und von Hase & Köhler Verlag.
In den umgebauten Bereichen des »Alten Kuhstalls« (160 m²), im »Alten Pferdestall« (40 m²) sowie im Innenhof finden kulturelle Veranstaltungen (Hofausstellungen, Lesungen, Theater, Konzerte) statt.