Tomás Luis de Victorian syntyessä 1500-luvun puolivälissä Ávila oli taloudellisessa huipussaan, ja siellä asui yli 10 000 ihmistä. Se oli keskikokoinen tai suuri kaupunki, melko samanlainen kuin muut naapurikaupungit Kastiliassa.
Suuri osa väestöstä harrasti käsityötä ja kauppaa, myös Luis-Victorian perhe, joka kallistui palvelusektorille ja jonka jäseniin kuului lakimiehiä, kirjureita ja pankkiireja. Kaupungin muurien sisäpuolella, kaupungin korkeimmassa osassa sijaitseva barrio tai cuadrilla de San Juan oli alue, jonne kokoontui aatelisia, byrokraatteja, kauppiaita ja käsityöläisiä, erityisesti vaatetus- ja räätälöintialalla työskenteleviä, johon Luis-Victorian suku oli läheisessä yhteydessä.
1600-luvulla kaupunki laajeni ja kaunistui rakentamalla uusia rakennuksia, julkisia suihkulähteitä ja vedenpoistojärjestelmiä, siivoamalla ja päällystämällä katuja ja niin edelleen, taloudellisen kasvun aikana, joka läpäisi kaiken ympärillä olevan.
Victorian isänpuoleiseen sukuun liittyen on löydetty yksi keskeinen asiakirja: hänen isänpuoleisen isoisänsä, Hernán Luis Dávilan, testamentti, joka on säilynyt Ávilan maakunnan historiallisessa arkistossa. Hernán Luis Dávila oli räätäli ja kangasmyyjä. Myyjänä hän kävi paikallisilla messuilla Medina del Campossa, Segoviassa ja Ávilassa. Hän omisti myös maita eri kaupungeissa, jotka kuuluivat Ávilan maakuntaan.
Naimisissa Leonor de Victorian kanssa, molemmat kuolivat vuonna 1545, joten he eivät koskaan tavanneet pojanpoikaansa Tomásia. Tämä pariskunta on tärkeä, sillä Tomás otti molempien isänpuoleisten isovanhempiensa sukunimet noudattaen tuon ajan tapaa, jonka mukaan sai vapaasti valita ja yhdistellä suorimpien sukulaistensa sukunimiä.
Hernán Luisilla ja Leonor de Victorialla oli seitsemän lasta, joista vanhin, Francisco Luis de Victoria, oli Tomásin isä.
Tomásin äidinpuoleisesta suvusta tiedetään vähemmän. F. Hernándezin mukaan Tomásin äidinpuoleiset isovanhemmat olivat Antonio Suárez ja Beatriz Suárez, jotka olivat peräisin varakkaista segovialaisista perheistä, jotka työskentelivät tekstiiliteollisuudessa. Lozoyan markiisin mielipide vaikuttaa kuitenkin tässä asiassa paremmin dokumentoidulta, ja sen mukaan Pedro de la Concha ja hänen vaimonsa Elvira Xuarez ovat suvun perustajia. Uskotaan, että he olivat kotoisin Llerenasta, Badajozista, vaikka muuttivatkin Segoviaan vuonna 1496.
Francisco Luis de Victoria, muusikkomme isä, oli Hernán Luisin ensimmäinen lapsi, joten hän sai suurimman osan hänen perinnöstään: kolmanneksen kaikesta hänen omaisuudestaan ja varallisuudestaan, kartanon ja taloja Sanchidriánissa, maata useissa eri kunnissa ja, mikä tärkeämpää, suvun asunnot calle Caballerosissa Ávilassa. Francisco peri myös julkisen notaarin arvonimen, mikä asetti hänen perheensä erittäin edulliseen taloudelliseen asemaan.
Francisco avioitui vuonna 1544 Francisca Suárez de la Conchan kanssa, joka oli syntyperäinen segovialainen ja vanhempiensa perintöosuuden perijä. Francisco ja Francisca vihittiin Ávilassa vuonna 1540. He synnyttivät yksitoista lasta, joista Tomás oli seitsemäs.
Tomás Luisin tarkka syntymäaika on yksi hänen elämäkertansa kiistellyimmistä kohdista. Tarkkaa päivämäärää todistavaa syntymätodistusta ei ole löydetty, mutta nykyään Ferreol Hernándezin tutkimusten ansiosta voimme olla lähes varmoja siitä, että se oli vuonna 1548.
Tomás syntyi siis vuonna 1548, ja nyt meillä on edessämme kummallinen kysymys: mikä on hänen oikea nimensä? Olemme jo todenneet, että Luis on pikemminkin isän puolelta peritty sukunimi kuin etunimi. Koska mikään kastetodistus tai muu hänen varhaisvuosiensa kirjallinen asiakirja ei voi todistaa hänen oikeaa nimeään, meidän on turvauduttava myöhempiin asiakirjoihin saadaksemme selville, että Tomás on todellisuudessa Tome tai, kuten hänellä itsellään oli tapana kirjoittaa, Thome.
Syntymäpaikasta on enemmän kuin riittävästi viitteitä, joiden perusteella voimme vahvistaa, että hän syntyi Ávilan pääkaupungissa. Tomás syntyi perhekodissa, jonka hänen isoisänsä Hernán Luis Dávila oli ostanut. Siihen kuului patio, käytäviä, ruokavarastoja, talli, viinikellari ja muita erillisiä huoneita. Francisco Luis peri tämän kodin vuonna 1545 ja asui siellä perheensä kanssa vuoteen 1557 asti, jolloin hän kuoli. On siis oletettavaa, että Tomás syntyi tässä talossa, jonka Ferreol Hernández sijoittaa nykyisen calle Caballerosin kohdalle, calle Pedro Lagascan kulmaan ja calle Cuchillerían taakse.
Tomás Luis oli Ávilan katedraalin kuoropoika. Yksikään historioitsija ei kyseenalaista tätä tosiasiaa, vaikka sitä ei olekaan täysin dokumentoitu. Logiikka sanoo, että Victoria ei olisi voinut löytää muuta paikkaa, jossa hän olisi saanut musiikillisen opetuksensa, sillä Ávilassa ei ollut muuta paikkaa, jossa hän olisi voinut hankkia näin laajoja musiikillisia tietoja. Kuoripoikana aloittaminen oli varsin tavallista muusikoiden keskuudessa, erityisesti niiden, joista oli tarkoitus tulla maestros de capilla tai säveltäjiä.
Tomás olisi tullut katedraaliin vuonna 1557 tai vuoden 1558 alussa, ennen kaikkea siksi, että silloin hän olisi ollut sopivassa iässä: yhdeksän- tai kymmenvuotias. Tämä ajankohta on erittäin todennäköinen myös siksi, että Tomásin isä kuoli vuonna 1557, jolloin perhe jäi täysin varattomaksi. Kaikkien oli muutettava ja etsittävä työtä, ja on loogista ajatella, että Tomásin musiikilliset kyvyt saivat perheen uskomaan, että kirkollinen ura olisi hänelle paras mahdollinen. Odottaen aikaa, jolloin lapsi voisi päättää itse, he sijoittivat hänet katedraaliin kuoropoikana, sillä hän oli siihen mennessä osoittanut suurta lahjakkuutta ja kiinnostusta musiikkia kohtaan.
Mestarit, jotka hänellä oli Ávilassa, olivat hänen todellisia musiikillisia mentoreitaan, ja niillä oli suurin vaikutus hänen tyyliinsä. Jerónimo de Espinar oli ensimmäinen maestro de capilla, jonka kanssa Tomás oli tekemisissä, tosin vain lyhyen aikaa, sillä Espinar kuoli lokakuussa 1558, eivätkä nämä kaksi voineet viettää yhdessä enempää kuin vuoden. Uutta maestroa odotellessa tuomiokapituli antoi prebendari Trebe Dueñasin tehtäväksi opettaa pojille urkulaulua. Hän hoiti tätä tehtävää lähes vuoden ajan, joka oli ratkaiseva vuosi Tomásille, sillä hän opetteli musiikillisen taiteen olennaisia asioita ja kulmakiviä.
Bernardino de Ribera otti paikan vastaan kesäkuussa 1559. Hän oli merkittävä muusikko, ja hänen työnsä Victorian kanssa oli avainasemassa, sillä hän toimi Tomásin maestrona neljän vuoden ajan, siitä lähtien, kun oppilas oli 11-vuotias, kunnes täytti 14 vuotta. Bernarbé de Águila toimi tuolloin urkurina, ja häneltä Tomás Luis de Victoria oppi soittamaan instrumenttia. Victorian myöhempinä vuosina tämä oli hänen ensisijainen rakkautensa ja toimintansa. Se oli myös ensimmäinen palkallinen työ, jonka hän sai Roomaan saavuttuaan. Hän piti urkujen soittamisesta, ja hän pystyi oppimaan Bernabé del Águilalta paljon enemmän kuin Antonio de Cabezónilta, jota hän sai kuulla korkeintaan kahdesti, kahdessa julkisessa esityksessä Ávilassa vuosina 1552 ja 1556, jotka molemmat olivat liian varhaisia nuorelle Tomásille, jotta hän olisi voinut saada niistä mitään hyötyä. Cabezón asui kuitenkin Ávilassa vuoteen 1560 asti, vaikkakin epäsäännöllisesti, ja hän on saattanut antaa Tomásille varhaisen oppitunnin. Yksi Victorian aikalaisista oli Sebastián de Vivanco, joka oli syntynyt vuonna 1551 ja siten vain kolme vuotta Tomásia nuorempi, ja joka oli myös katedraalin kuoropoika samaan aikaan.
1500-luvun puolivälin inventaariosta tiedämme, että Encinar oli ostanut vuonna 1550 Josquin Desprezin messuja ja Moralesin magnificatteja, jotka olivat Victorian käytettävissä. Kaupungin tuomiokapituli oli myös hankkinut erilaisia teoksia Escobedolta, joka oli Moralesin tavoin laulanut paavin kappelissa Roomassa ja palannut Espanjaan asuen Segoviassa vuodesta 1552 kuolemaansa saakka vuonna 1564. Näinä vuosina Tomás Luisin koulutus liittyi myös katedraaliin vuonna 1555 saapuneisiin italialaisiin minstraleihin. Sardenan veljekset soittivat chirimiaa, säkkipeltiä ja luultavasti huiluja. Victoria kuunteli ja lauloi heidän kanssaan, ja toisinaan he jakoivat esityksiä.
Viimein 26. helmikuuta 1564 Ávilaan saapui sevillalainen Juan Navarro, joka hoiti maestron virkaa vuoteen 1566 asti. Ei ole varmaa, elikö Victoria todella kaikkia näitä ääripäitä, sillä myös hänen Roomaan lähtönsä ajankohta on kiistanalainen. Riippumatta siitä, lähtikö hän vuonna 1565 vai 1567, hänellä olisi ollut vain vähän yhteyksiä Navarroon, ja hän mietti jo muutosta, jonka hän tekisi muuttaessaan Italiaan.