Futballjátékosi pályafutását Budapest XI. kerületében, a Gamma SE-ben (pontosan: Gamma Szentimrevárosi SE 1939-1951-ig), kezdte. Játékosi karrierje azonban rövid ideig tartott, egy komoly sérülés miatt be kellett fejeznie az aktív sportolást. 1942-ben, 30 esztendősen költözött az akkor ismét Magyarországhoz tartozó felvidéki Losoncra, ahol ugyanebben az évben már a losonciak edzője lett.
Futballmunkásságának csúcspontja volt, amikor 1953-54-ben rábízták a csehszlovák válogatottat. Óriási sikernek számított, hogy az ország csapata Bulgária és Románia kiverésével kijutott az 1954-es svájci labdarúgó-világbajnokságra. A csapat azonban mindkét csoportmérkőzését elveszítette és hazautazhatott, ezzel tulajdonképpen Borhy Károly tíz mérkőzésből álló szövetségi kapitánykodása is véget ért.
Két évet Érsekújvárott töltött, majd jöttek a fővárosi évek 1960-ig, miközben 1959-ben bajnok lett a szlovák élcsapattal, a ČH-val. (A ČH bajnoki címének megszerzése úgy került a labdarúgó-történelembe, hogy az aranyérem a B+B+B hármas, azaz Borhy Károly, Jozef Bujna, atlétika edző és az orvos Alexander Binovsky érdeme. Az akkori szaksajtó kiemelte Borhy szakmai tudását, szinte dicshimnuszokat írt róla és csapatáról, amely mozgékony és erőnlétileg jól felkészült tizenegy volt.)
A pozsonyi Slovan kispadján is ült még, kétszer négy évet töltött Kuvaitban is focitanítással, de a legnagyobb elismerés és tisztelet mégiscsak klubszinten, Trencsénben övezte, ahol számos játékos az ő irányítása alatt vált országos hírűvé. Többen – Borhy segítségének köszönhetően – egyetemi oklevelet szereztek és sportvezetőként vagy edzőként folytatták pályafutásukat. A trencséni Jednota klub valóban fénykorát élte, amikor Borhy Károly, azaz "Karcsi bácsi" volt a csapat felemelésének közreműködő edzője.
