Robert Hans Olschwanger beantragte 1956 bei der Botschaft in Lima die bundesdeutsche Staatsbürgerschaft, blieb aber zunächst noch in Peru. Da er in Deutschland vor dem Exil staatenlos war, erhielt er nun zum ersten Mal einen deutschen Pass. 1959 heiratete er Käthe Krebs, die vier Söhne mit in die Ehe brachte. 1964 starb seine Mutter Jenny in Lima. In den 1960er-Jahren kam es in Peru vermehrt zu politischen Unruhen, die 1968 in einem erfolgreichen Militärputsch gipfelten. Die neue, radikale Regierung duldete keine politischen Gegner und kontrollierte bald sämtliche Medien des Landes. Damit wurde die Lage dort immer gefährlicher. Viele deutsche Exilant*innen emigrierten nach Israel, in die USA, nach Kanada oder remigrierten zurück nach Deutschland. 1970 schließlich kehrten auch Olschwanger und seine Familie zurück. In seine Geburtsstadt Berlin wollte er allerdings nicht mehr, da diese für ihn nicht mehr existierte. Seine frühere Heimat hatte man ihm unwiederbringlich genommen. Stattdessen zogen er und seine Frau nach Köln, wo bereits einer seiner Stiefsöhne lebte. Dort war er weiter als Werbegrafiker und Karikaturist für Zeitungen tätig.

Mit gewohnter Präzision und Schärfe kommentierte er mit seinen Arbeiten gesellschaftspolitische Entwicklungen, auch die der Bundesrepublik, vom Wirtschaftswunder bis in die 1970er-Jahre. Gleichzeitig bearbeitete er internationale Themen, wie den Kalten Krieg, den Nahostkonflikt oder die Watergate-Affäre. Laut seinem Stiefsohn war er immer am Puls der Zeit: „[Er] las dreimal am Tag die Zeitung und ließ sich gut informieren. Er nahm kein Blatt vor den Mund und hatte ganz klare Meinungen.“ (Interview Trouw vom 29. April 2020).