Hierro a spanyol Real Valladolidban kezdte pályafutását. Itt 2 szezont játszott, és 57 mérkőzésen 2 gólt szerzett. 1989-ben a Real Madridhoz szerződött, ahol egészen 2003-ig játszott. Itt a klub egyik emblematikus játékosa lett, 2001-től 2003-ig a Real csapatkapitánya. A Realban 439 meccsen játszott, ezeken, egy hátvédtől szokatlanul sok, 102 gólt szerzett. A Real Madriddal 5-ször nyerte meg a spanyol bajnokságot, emellett háromszor a Bajnokok Ligájában is sikerült diadalmaskodnia a csapattal (1998, 2000, 2002). 2003-ban Hierro távozott a Real Madridtól, és sokak meglepetésére egy katari klubhoz, az Al-Rajjánhoz igazolt. Itt mindössze egy szezont töltött el, majd visszatért Európába, az angol Bolton Wanderers együtteséhez. Visszavonulását 2005. május 15-én jelentette be.
Hierro a válogatottban 1989-ben mutatkozott be, majd 2002-ig szerepelt a nemzeti csapatban. 13 év alatt 89 mérkőzésen lépett pályára (a spanyol válogatottsági örökranglistán harmadik), ezeken 29 gólt szerzett. 29 találata sokáig rekord volt a spanyol válogatottban, egészen addig, amíg Raúl meg nem döntötte azt.
Bár játszott az 1990-es vb és az 1992-es Eb selejtezőin, végül egyik tornán sem szerepelt. Az 1994-es vb selejtezőin Dánia ellen győztes gólt fejelt, ami azt jelentette, hogy a spanyol válogatott kijutott a világbajnokságra.
Hierro a válogatottól 2002-ben vonult vissza, miután rekordszámú, 4 világbajnokságon vett részt a csapattal.
Spanyolország szövetségi kapitányaként
Portugália
Irán
Marokkó
Oroszország
