Rutten 1980. április 13-án debütált az FC Twente futball csapatában, ahol összesen 307 meccsen lépett pályára és 12 gólt szerzett. A válogatottban egyszer szerepelt egy Olaszország elleni barátságos mérkőzésen 1988-ban. Pályafutását 1992-ben hagyta abba sérülés miatt.
Edzői pályafutását is az FC Twente együttesénél kezdte meg segédedzőként, ahol 1993-tól 1999-ig dolgozott. 2002 és 2006 között a PSV Eindhoven segédedzője.
Ezután kapja meg élete első vezetőedzői állását az FC Twenténél2006 és 2008 közötti két évben tölti be ezt a posztot. 2008-tól 2009-ig az FC Schalke 04 vezetőedzője. 2009. július 1-től pedig a PSV Eindhoven vezető edzője, mellyel a 2009/2010-es szezonban 31 meccses veretlenségi rekordot állított fel, ennek ellenére a csalódást jelentő harmadik helyen zárt csapatával.