Karl Swart wurde 1946 in Grevenbroich geboren. Wie der Nachname schon vermuten lässt, stammte sein Vater aus den Niederlanden. Nach dem Schulbesuch in der Grevenbroicher Südstadt wechselte der damals 14-jährige direkt in den elterlichen Gärtnereibetrieb, wo er auch seine Ausbildung machte. Parallel besuchte er drei Jahre die Gartenbauschule in Neuss.

Karl Swart hatte auch ein Herz für den Sport. So begeisterte er sich für den Pferdesport und auch Fußball hatte es ihm angetan.

1964 lernte Karl seine Königin Gerda kennen und heiratete sie 1967. Auch Gerda fühlte sich umgeben von blühenden Pflanzen zunehmend wohl und so eröffneten beide im Jahr 1980 auf der Erftwerkstraße in der Südstadt ihre eigene „Blumenhalle“, welche auch später zur Residenz werden sollte.
Im Jahr 1962 trat Karl Swart zunächst dem Jägerzug „Waldeslust“ bei, wechselte aber etwas später zum Jägerzug „Frohsinn“, die mit Karl II. und Gerda Swart das zweite Königspaar ihrer Zuggeschichte stellten.