Abimbola Fernandez nació en el Hospital Americano de París en Neuilly-sur-Seine, una comuna en los suburbios del oeste de París, Francia. Su padre era el multimillonario Antonio Deinde Fernández, originario del estado de Lagos, en el suroeste de Nigeria, que se trasladó a Estados Unidos cuando era joven. Su clan de Fernández descendía de un comerciante de esclavos luso-brasileño que formó una familia con una esposa africana en Lagos a principios del siglo XIX.
El padre de Fernández tuvo cuatro uniones anteriores; su tercera esposa fue la estadounidense blanca Barbara Joyce, que se casó con él en 1961 mientras vivían en Virginia, le dio tres hijos en Estados Unidos, se separó de él en 1984 o a principios de 1985 y luego solicitó el divorcio en 1987. Su cuarta pareja fue la princesa Abiola Dosunmu, que se casó con él en Nigeria en abril de 1973 en una ceremonia muy concurrida. La unión produjo una hija y duró hasta 1987-1988. Su quinta pareja, la madre afroamericana de Fernández, nació como Sandra Inett Price. Adoptó el nombre de Aduke Fernández en su unión, que según ella comenzó en 1982 con una boda tribal en Nigeria, aunque posteriormente dijo que nunca se casaron formalmente. El primer hijo de la pareja fue su hija Atinuke en 1984, a la que siguió Abimbola en 1989. En su certificado de nacimiento francés figura su nombre como Darnel Abimbola Olumegbon Fernandez y el de su madre como Aduke Olufunmilola Olumegbon Price Fernandez. El nombre compartido de Olumegbon proviene de la línea noble Olumegbon de Isale-Eko, Lagos; su padre era descendiente de esta casa gobernante a través de su madre.
Después del nacimiento de Fernández, la familia vivió un corto tiempo en el Hotel Ritz de París, y luego se trasladó al Chateau de Bois-Feuillette en Pontpoint.
Otro traslado la llevó a Nueva York, su padre compró la histórica finca All View en el extremo sur de Premium Point, New Rochelle. Fernández comenzó a aprender a tocar el violín a los cuatro años. A los seis, asistió a la Rye Country Day School, y más tarde al Convento del Sagrado Corazón en Connecticut. A los 10 años, se trasladó con la familia a Edimburgo, donde asistió al Fettes College. A los 13 años, empezó a tocar la guitarra. Fernández se graduó en Fettes a los 18 años. Tomó clases de producción de vídeo en el Instituto de Arte de Nueva York, y en 2009 se matriculó en la Universidad Oxford Brookes de Oxford. Cuando abandonó los estudios al cabo de un mes para seguir una carrera musical, su padre lo desaprobó.
Durante su infancia, Fernández vivió una vida protegida como hija de un hombre rico, viajando por el mundo en su jet, especialmente a países africanos, y veraneando en su yate de 150 pies, Yemoja. Se formó como amazona y compitió en seis concursos hípicos nacionales. A su padre le preocupaba que la secuestraran y pidieran un rescate. Muchas personalidades del mundo visitaron su casa por negocios con su padre, entre ellos el Papa Juan Pablo II, George H. W. Bush, Kofi Annan, Nelson Mandela y Mobutu Sese Seko.
En mayo de 2003, mientras ella estaba en la escuela en Escocia, su padre se mudó de su casa en Edimburgo, y su madre inició el proceso de divorcio, demandando por 300 millones de libras esterlinas, reportado en ese momento como uno de los mayores juicios de divorcio de la historia. El caso se resolvió con 36 pagos mensuales de 30.000 libras esterlinas por un total de 1.080.000 libras esterlinas.