Dusty Springfield korábban a The Lana Sisters (1958–1960), majd a The Springfields folk-pop trió (1960–1963) tagja volt. Egy Egyesült Államok-beli turné során a 60-as évek elején ismerkedett meg a soullal, mely mély benyomást gyakorolt rá. Bár a The Springfields viszonylag sikeres volt, zenei irányzatuk nem volt megfelelő Dusty Springfield számára, így 1963-ban szólókarrierbe kezdett.
Első kislemeze, az I Only Want To Be With You még a The Springfields-beli tagsága alatt került rögzítésre, és a búcsúkoncertje után egy héttel jelent meg. Mind Nagy-Britanniában, mind az Egyesült Államokban sikeres volt, így az A Girl Called Dusty album felvételéhez vezetett. A lemez eredetileg nem jelent meg az Egyesült Államokban, erre csak később került sor Dusty címmel és alternatív dalsorrenddel, valamint néhány más dallal.