Abimbola Fernandez syntyi Pariisin amerikkalaisessa sairaalassa Neuilly-sur-Seinen kunnassa Pariisin läntisessä esikaupungissa Ranskassa. Hänen isänsä oli Lagosin osavaltiosta Lounais-Nigeriasta kotoisin oleva miljardööri Antonio Deinde Fernandez, joka oli muuttanut Yhdysvaltoihin nuorena aikuisena. Hänen Fernandezin klaaninsa polveutui portugalilais-brasilialaisesta orjakauppiaasta, joka perusti perheen afrikkalaisen vaimon kanssa Lagosissa 1800-luvun alussa.
Fernandezin isällä oli neljä aiempaa avioliittoa; hänen kolmas vaimonsa oli valkoihoinen yhdysvaltalainen Barbara Joyce, joka avioitui hänen kanssaan vuonna 1961 heidän asuessaan Virginiassa, synnytti hänelle kolme lasta Yhdysvalloissa, erosi hänestä vuonna 1984 tai vuoden 1985 alussa ja jätti sitten avioerohakemuksen vuonna 1987. Hänen neljäs puolisonsa oli prinsessa Abiola Dosunmu, joka avioitui hänen kanssaan Nigeriassa huhtikuussa 1973 järjestetyssä juhlallisessa seremoniassa. Liitosta syntyi tytär, ja se kesti vuoteen 1987-1988. Hänen viides kumppaninsa, Fernandezin afroamerikkalainen äiti, oli syntyjään Sandra Inett Price. Hän otti nimen Aduke Fernandez heidän liitossaan, joka hänen mukaansa alkoi vuonna 1982 heimohäillä Nigeriassa, vaikka hän sanoi myöhemmin, etteivät he koskaan olleet virallisesti naimisissa. Pariskunnan ensimmäinen lapsi oli tytär Atinuke vuonna 1984, ja Abimbola seurasi vuonna 1989. Hänen ranskalaisen syntymätodistuksensa mukaan hänen nimensä on Darnel Abimbola Olumegbon Fernandez ja äitinsä nimi Aduke Olufunmilola Olumegbon Price Fernandez. Jaettu Olumegbon-nimi tulee Lagosin Isale-Ekon Olumegbon-aatelissuvusta; hänen isänsä oli äitinsä kautta tämän hallitsijasuvun jälkeläinen.
Fernandezin syntymän jälkeen perhe asui lyhyen aikaa Pariisin Ritz-hotellissa, minkä jälkeen se muutti Pontpointissa sijaitsevaan Chateau de Bois-Feuilletteen.
Toinen muutto vei hänet New Yorkiin, sillä hänen isänsä osti historiallisen All View Estate -nimisen tilan Premium Pointin eteläkärjestä New Rochellesta. Fernandez alkoi opetella viulunsoittoa nelivuotiaana. Kuusivuotiaana hän kävi Rye Country Day Schoolia ja myöhemmin Convent of the Sacred Heartia Connecticutissa. Kymmenvuotiaana hän muutti perheen kanssa Edinburghiin, jossa hän opiskeli Fettes Collegessa. 13-vuotiaana hän alkoi soittaa kitaraa. Fernandez valmistui Fettesistä 18-vuotiaana. Hän opiskeli videotuotantoa The Art Institute of New Yorkissa ja kirjoittautui vuonna 2009 Oxford Brookesin yliopistoon Oxfordissa. Kun hän keskeytti opinnot kuukauden jälkeen seuratakseen musiikkiuraa, hänen isänsä paheksui sitä.
Fernandez eli lapsuutensa ajan suojattua elämää rikkaan miehen tyttärenä, joka matkusti ympäri maailmaa hänen suihkukoneellaan, erityisesti Afrikan maihin, ja lomaili kesäisin 150-jalkaisella jahdillaan Yemoja. Hän harjoitteli ratsastusta ja kilpaili kuudessa kansallisessa hevoskilpailussa. Hänen isänsä pelkäsi, että hänet saatettaisiin siepata ja vaatia lunnaita. Monet maailmankuulut vierailivat hänen kotonaan isän kanssa työasioissa, muun muassa paavi Johannes Paavali II, George H. W. Bush, Kofi Annan, Nelson Mandela ja Mobutu Sese Seko.
Toukokuussa 2003 hänen ollessaan koulussa Skotlannissa hänen isänsä muutti pois heidän Edinburghin-kodistaan, ja hänen äitinsä aloitti avioeromenettelyn, jossa hän vaati häneltä korvausta 300 miljoonasta punnasta, minkä kerrottiin tuolloin olleen yksi kaikkien aikojen suurimmista avioeroprosesseista. Asia sovittiin lopulta 36:sta 30 000 punnan kuukausittaisesta maksusta, yhteensä 1 080 000 puntaa.