Wkrótce potem otrzymał przeznaczenie do pracy misyjnej na Nowej Brytanii. Przed wyjazdem na misje w 1925 przyjechał do Starogardu, aby pożegnać się z rodziną i jednocześnie zrzekł się obywatelstwa niemieckiego i wystąpił o polski paszport, który otrzymał we wrześniu tego samego roku. Ks. Scharmach opuścił Europę na początku października 1925 i w połowie listopada dotarł do Australii. 6 XII 1925 dopłynął do miasta portowego Rabaul, które jest także stolicą Nowej Brytanii, będącą największą wyspą Archipelagu Bismarka. Pierwszą stacją misyjną młodego misjonarza była Mope, na wschodnim krańcu wyspy zamieszkana przez częściowo schrystianizowane już plemię Sulka, które sąsiadowało z nieschrystianizowanym plemieniem Tolai, a którego ewangelizacji podjął się Scharmach. Zdolności językowe jakie posiadał Scharmach ułatwiały mu pracę, gdyż prowadził ewangelizację wśród ludów mówiących różnymi dialektami. Kierował ośrodkiem misyjnym w Vunapope koło Rabaul. 13 VI 1939 został mianowany wikariuszem apostolskim Rabaul, a 3 XII 1939 przyjął sakrę biskupią. Wkrótce też ambasador niemiecki w Tokio, wiedząc o planowanej inwazji japońskiej na Pacyfiku zaproponował biskupowi niemiecki paszport, ale biskup Scharmach propozycję tę odrzucił. Odmówił też ewakuacji do Australii i postanowił pozostać na wyspie wraz z całym personelem misyjnym. 23 I 1942 w Rabaul wylądowały wojska japońskie zajmując całą wyspę. Biskup Scharmach wraz z innymi misjonarkami i misjonarzami zostali uwięzieni, najpierw w Vunapope, a następnie wraz z 360 osobowym personelem zostali internowani do dżungli w Ramale, gdzie zorganizowano obóz. Warunki życia w obozie Ramale były bardzo ciężkie; nie przeżyło 23 księży, 17 braci zakonnych, dziewięć sióstr europejskich i dziewięć tubylczych. Wśród ofiar był także lokalny katechista – męczennik, obecnie błogosławiony Piotr To Rot. W okresie internowania biskup Scharmach napisał podręcznik dla misjonarzy
Manuale Missionariorum, a warunki życia w obozie internowanych opisał w swojej książce
Za twardy orzech (1965). Na podstawie wspomnień biskupa jak również innych internowanych powstał film w reżyserii Brendana Mahera
Sisters of War, którego premiera odbyła się 11 XI 2010 podczas Międzynarodowego Festiwalu Filmów w Brisbane, a w którym biskup Scharmach jest pierwszoplanowym bohaterem filmu ( w jego rolę wcielił się Gerard Lepkowski).
Po kapitulacji Japonii biskup Scharmach został uwolniony 12 X 1945 i wrócił na gruzy, kwitnącego przed inwazją japońską ośrodka misyjnego w Vunapope i zajął się jego odbudową oraz organizacją struktur powierzonego mu wikariatu apostolskiego. Biskup Scharmach brał udział w Kongresie Eucharystycznym w kwietniu 1953 w Sydney – Australia. Przy tej okazji w czasie uroczystej Mszy św. w parafii pod wez. św. Wincentego à Paulo w dzielnicy Sydney - Asfield wygłosił kazanie dla Polaków w gwarze kociewsko-pomorskiej. W maju 1960 udał się do Rzymu, gdzie został przyjęty na audiencji przez papieża Jana XXIII, a następnie brał udział w pracach jednej komisji przygotowawczej II Soboru Watykańskiego jako wikariusz apostolski ówczesnego Wikariatu Apostolskiego Rabaul. W maju 1962, podczas obrad komisji soborowej biskup Scharmach dostał paraliżu prawego oka, co uniemożliwiło mu dalsze prace w komisji, a także wypełnianie obowiązków biskupa. Po powrocie do swojej diecezji, gdzie przebywał do maja 1963, oczekiwał przyjazdu swojego następcy. W drugiej połowie czerwca tego samego roku wyjechał na stałe do Melbourne. W lutym 1964 został mianowany asystentem Tronu Papieskiego i prałatem domu papieskiego. Zmarł 27 XI 1964 i zgodnie z jego wolą ciało przewieziono samolotem z Melbourne to Rabaul, gdzie został pochowany na cmentarzu w Vunapope 1 XII 1964.
