Die Sammlung Schwanitz geht in den Anfängen zurück auf Ernst Max Schwanitz (1898-1967). Der Hamburger Künstler und Kunstlehrer, der als Portraitist u.a. des Erfinders Thomas Alva Edison bekannt geworden war, sammelte neben Gemälden auch Skulpturen und Ostasiatika.

Die Brüder seiner Frau Margarete, Prof. Eberhard Ter Nedden, Dr. Wilhelm Ter Nedden mit seinem Sohn Prof.Dr. Gisbert Ter Nedden sicherten mit ihrem Kunstverstand ebenfalls die hohe Qualität der Sammlung.

Mit dem Tode von Ernst Max Schwanitz ging die Sammlung über auf seine Söhne Ernst Hartmann Eberhard Schwanitz, Prof.Dr. Dietrich Schwanitz und Prof. Hinrich Schwanitz. Letzterer war Professor für Architektur in Hannover und Mitbegründer der "Braunschweiger Schule", und Dietrich Schwanitz ist als Bestseller-Autor weltweit bekanntgeworden ("Bildung", "Männer", "Der Campus", "Der Zirkel" u.v.a.m.).

Ernst Hartmann Eberhard Schwanitz, als Ingenieur und Manager in der Energiewirtschaft passionierter Sammler historischer Technik, war auch ein Kenner ostasiatischer Kunst. Nach seinem Tode (1987) gingen die von ihm gesammelten Ostasiatika an seine Tochter, die Kunsthistorikerin Ursula Schwanitz-Roth. Ursula Schwanitz-Roth hat in der Vergangenheit Teile der Sammlung Schwanitz für Themenausstellungen an Museen verliehen, die deren hohes Niveau bestätigten.