Az FG Hechingen csapatában kezdte a labdarúgást. Az orvosi végzettséggel rendelkező Nerz 1910 és 1919 között a VfR Mannheim amatőr csapatában játszott. Ezt követően 1924-ig a Tennis Borussia Berlin labdarúgója volt.
1924 és 1926 között a Tennis Borussia Berlin edzője volt. 1926-ban a német válogatott első szövetségi kapitányának nevezték ki, melyet addig egy bizottság irányított. Nerz számos angol, osztrák és német bajnoki és kupamérkőzést tanulmányozott és olyan szaktekintélyektől kért tanácsokat, mint Jimmy Hogan, Hugo Meisl vagy Vittorio Pozzo. Először az 1928-as amszterdami olimpián vett részt nemzetközi tornán a válogatottal. A negyeddöntőben a későbbi győztes Uruguayi válogatott szemben 4–1-es vereséget szenvedtek és búcsúztak a további küzdelemtől. A német válogatott az 1930-as világbajnokságra nem nevezett. A következő 1934-es olaszországi világbajnokságon már részt vett a csapat. Belgium és Svédország legyőzése után az elődöntőben Csehszlovákia ellen kikapott a válogatott. A harmadik helyért Ausztria ellen 3–2-re győzött a német válogatott és megszerezte a bronzérmet. Ez az eredmény nagy lökést adott a sportág népszerűségének és fejlődésének Németországban. Ezt követően nagy várakozás előzte meg a válogatott szereplését a hazai rendezésű 1936-os berlini olimpián. Az első mérkőzésen könnyű 9–0-s győzelmet arattak a luxemburgi válogatott ellen. A mérkőzés után a Német labdarúgó-szövetség elnöke, Felix Linnemann utasította Nerzet, hogy több fontos játékost pihentessen a következő Norvégia elleni mérkőzésen a várható későbbi nehezebb feladatok miatt. A tartalékos német válogatott 2–0-s vereséget szenvedett és kiesett az olimpiai versenyből. Ezután Nerzet felmentették és utódja Sepp Herberger lett. Összesen 70 mérkőzésen irányította a válogatott munkáját és mérlege 42 győzelem, 10 döntetlen és 18 vereség volt. 1938-tól Nerz a labdarúgó-szövetségben kapott adminisztratív és edzői feladatokat.
1919 és 1933 között az SPD tagja volt. 1933-ban csatlakozott az SA-hoz, majd 1937-ben az NSDAP tagja is lett. Bár később kijelentette, hogy számára „a politika belülről érdektelen volt” (Fußball-Weltzeitschrift 1993 Nr. 20), ennek ellenére kiderült, hogy 1943-ban mint birodalmi edző és újságíró a Berliner Zeitung hasábjain antiszemita cikkeket írt, olyanokat mint a „Zsidómentes európai sport” (Europas Sport frei vom Judentum). A második világháború után, 1945. júliusában a Vörös Hadsereg letartóztatta és a berlini speciális táborban tartotta fogva. 1946. október 16-án átkerült a sachsenhauseni különleges táborba, ahol 1949. április 19-én agyhártyagyulladás következtében elhunyt. A táborban egy tömegsírba temették el.
.svg){kind=small}
.svg){kind=small}
.svg){kind=small}
