Midtvejs i det 16. århundrede, da Tomás Luis de Victoria blev født, var Ávila på sit økonomiske højdepunkt med mere end 10.000 indbyggere. Det var en mellemstor til stor by, som lignede andre nabobyer i Castilien.
En stor del af befolkningen beskæftigede sig med håndværk og handel, herunder familien Luis-Victoria, som lænede sig op ad servicesektoren med advokater, skribenter og bankfolk blandt sine medlemmer. Barrio eller cuadrilla de San Juan, der lå inden for murene i den højeste del af byen, var det område, hvor adelsmænd, bureaukrater, købmænd og håndværkere samledes, især dem, der arbejdede inden for beklædnings- og skrædderbranchen, som Luis-Victoria-familien var nært knyttet til.
I løbet af det 16. århundrede voksede byen og blev forskønnet med opførelse af nye bygninger, offentlige springvand og vandafledningssystemer, oprydning og brolægning af gader osv. i en periode med økonomisk vækst, der gennemsyrede alt omkring.
Et centralt dokument vedrørende Victorias faderlige familie er blevet fundet: testamentet fra hans farfars farfars far, Hernán Luis Dávila, som er blevet bevaret i Ávila provinshistoriske arkiv. Hernán Luis Dávila var skrædder og sælger af stof. Som sælger rejste han rundt til de lokale messer i Medina del Campo, Segovia og Ávila. Han ejede også jord i forskellige byer, der hørte til provinsen Ávila.
Gift med Leonor de Victoria, begge døde i 1545, så de mødte aldrig deres barnebarn Tomás. Dette par er vigtigt, da Tomás tog efternavnene fra begge sine bedsteforældre fra faderen, efter datidens skik, der tillod, at man frit kunne vælge og kombinere efternavne fra sine nærmeste slægtninge.
Hernán Luis og Leonor de Victoria fik syv børn, hvoraf den ældste, Francisco Luis de Victoria, var far til Tomás.
Mindre er kendt om Tomás’ mødre side af familien. Ifølge F. Hernández var Tomás’ bedsteforældre på mødrene side Antonio Suárez og Beatriz Suárez, der stammede fra velhavende segoviske familier, som arbejdede i tekstilindustrien. Markis af Lozoyas udtalelse synes dog at være bedre dokumenteret på dette punkt og fastslår Pedro de la Concha og hans kone, Elvira Xuarez, som grundlæggere af slægten. Det menes, at de var fra Llerena i Badajoz, selv om de flyttede til Segovia i 1496.
Francisco Luis de Victoria, vores musikers far, var det første barn af Hernán Luis og modtog derfor den største del af hans arv: en tredjedel af alle hans ejendomme og aktiver, et gods og boliger i Sanchidrián, jord i forskellige kommuner og, vigtigst af alt, familiens boliger i calle Caballeros i Ávila. Francisco arvede også titlen som notar, hvilket placerede hans familie i en meget fordelagtig økonomisk situation.
Francisco blev i 1544 gift med Francisca Suárez de la Concha, en indfødt fra Segovia og arving til sine forældres arv. Francisco og Francisca blev gift i Ávila i 1540. De fødte elleve børn, hvoraf Tomás var det syvende.
Den nøjagtige dato for Tomás Luis’ fødsel er et af de mest kontroversielle punkter i hans biografi. Der er ikke fundet nogen fødselsattest, der bekræfter den nøjagtige dato, men i dag kan vi takket være Ferreol Hernández’ forskning være næsten sikre på, at det var i 1548.
Så Tomás blev født i 1548, og vi står nu over for et besynderligt spørgsmål: Hvad er hans rigtige navn? Vi har allerede fastslået, at Luis er det efternavn, der er nedarvet fra faderens side af familien, snarere end et fornavn. Da ingen dåbsattest eller andre skriftlige dokumenter fra hans tidlige år kan vidne om hans sande navn, må vi se på senere dokumenter for at finde ud af, at Tomás i virkeligheden er Tome, eller som han selv plejede at skrive, Thome.
Hvad angår hans fødested, er der mere end rigeligt med indikationer, der gør det muligt for os at bekræfte, at han blev født i hovedstaden Ávila. Tomás blev født i familiens hjem, som var blevet købt af hans bedstefar, Hernán Luis Dávila. Det bestod af en gårdhave, korridorer, opbevaringsrum til madvarer, en stald, en vinkælder og andre separate rum. Francisco Luis arvede dette hjem i 1545 og boede der med sin familie indtil 1557, hvor han døde. Det antages derfor, at Tomás blev født i dette hus, som Ferreol Hernández placerer i det nuværende calle Caballeros, på hjørnet af calle Pedro Lagasca og med ryggen op til calle Cuchillería.
Tomás Luis var kordreng i katedralen i Ávila. Ingen historiker sætter spørgsmålstegn ved dette faktum, selv om det ikke er fuldt dokumenteret. Logikken siger, at Victoria ikke kunne have fundet noget andet sted at modtage sin musikalske uddannelse, da der ikke var noget andet sted i Ávila, hvor han kunne have erhvervet sig så omfattende musikalske kundskaber. At starte som kordreng var ganske almindeligt blandt musikere, især for dem, der var bestemt til at blive maestros de capilla eller komponister.
Tomás ville være kommet ind i katedralen i 1557 eller i begyndelsen af 1558, primært fordi han på det tidspunkt ville have haft den rette alder: 9 eller 10 år gammel. Denne dato er også meget sandsynlig, fordi Tomás’ far døde i 1557 og efterlod familien fuldstændig fattig. Alle måtte flytte og lede efter arbejde, og det er logisk at tro, at Tomás’ musikalske talenter fik familien til at tro, at en kirkelig vej ville være den bedste for ham. I afventning af den tid, hvor barnet selv kunne bestemme, placerede de ham i katedralen som kordreng, da han på det tidspunkt havde vist stort talent og interesse for musik.
De maestros, han havde i Ávila, var hans sande musikalske mentorer og havde den største indflydelse på hans stil. Jerónimo de Espinar var den første maestro de capilla, som Tomás kom i kontakt med, dog kun i kort tid, da Espinar døde i oktober 1558, og de to kunne ikke have tilbragt mere end et år sammen. Mens de ventede på den nye maestro, fik præbenderen trebe Dueñas til opgave af kapitlet at undervise drengene i orgelsang. Han udfyldte denne stilling i næsten et år, hvilket var et afgørende år for Tomás, da han var ved at lære det væsentlige og hjørnestenen i sin musikalske kunst.
Bernardino de Ribera overtog stillingen i juni 1559. Han var en eminent musiker, og hans arbejde med Victoria var centralt, da han var Tomás’ maestro i fire år, fra eleven var 11 år, til han blev 14 år. Bernarbé de Águila var organist på dette tidspunkt, og det var fra ham, at Tomás Luis de Victoria lærte at spille på instrumentet. I Victorias senere år var dette hans primære kærlighed og aktivitet. Det var også det første betalende arbejde, han fik, da han ankom til Rom. Han kunne lide at spille orgel, og han kunne lære det af Bernabé del Águila i langt højere grad end af Antonio de Cabezón, som han højst kunne høre to gange, nemlig ved hans to offentlige opførelser i Ávila i 1552 og 1556, som begge var for tidlige til, at den unge Tomás kunne få noget ud af dem. Ikke desto mindre levede Cabezón i Ávila indtil 1560, om end med mellemrum, og han kan have givet Tomás en tidlig lektion. En af Victorias samtidige var Sebastián de Vivanco, der var født i 1551 og dermed kun tre år yngre end Tomás, og som også var kordreng i katedralen på samme tid.
Fra en fortegnelse fra midten af det 16. århundrede ved vi, at Encinar havde købt Josquin Desprez’ messer og Morales’ magnificats i 1550, og at disse var til rådighed for Victoria. Bykapitlet havde også erhvervet forskellige værker af Escobedo, der ligesom Morales havde sunget i det pavelige kapel i Rom og var vendt tilbage til Spanien, hvor han boede i Segovia fra 1552 til sin død i 1564. I disse år var Tomás Luis’ uddannelse også relateret til de italienske spillemænd, som ankom til katedralen i 1555. Sardena-brødrene spillede chirimías, sackbuts og sandsynligvis fløjter. Victoria lyttede og sang sammen med dem, og de delte til tider optrædener.
Endeligt ankom sevillianeren Juan Navarro til Ávila den 26. februar 1564 for at besætte den ledige plads som maestro indtil 1566. Det er ikke sikkert, om Victoria faktisk levede alle disse yderpunkter, da datoen for hans afrejse til Rom også er et stridsspørgsmål. Uanset om han rejste i 1565 eller 1567, ville han have haft meget lidt kontakt med Navarro, og han tænkte allerede på den forandring, han ville foretage ved at flytte til Italien.