A 16. század közepén, amikor Tomás Luis de Victoria született, Ávila gazdasági fénykorát élte, több mint 10 000 lakossal. Közép- és nagyváros volt, egészen hasonlóan a többi szomszédos kasztíliai városhoz.
A lakosság nagy része kézművességgel és kereskedelemmel foglalkozott, beleértve a Luis-Victoria családot is, amely a szolgáltatási szektor felé hajlott, tagjai között ügyvédekkel, írnokokkal és bankárokkal. A város legmagasabb részén, a falakon belül található barrio vagy cuadrilla de San Juan volt az a terület, ahol nemesek, hivatalnokok, kereskedők és kézművesek gyűltek össze, különösen azok, akik a ruha- és szabóiparban dolgoztak, amellyel a Luis-Victoria család szoros kapcsolatban állt.
A 16. század folyamán a város terjeszkedett és megszépült új épületek, közkút- és vízelvezető rendszerek építésével, az utcák megtisztításával és kikövezésével stb. a gazdasági növekedés időszakában, amely mindent áthatott maga körül.
Victoria apai családjára vonatkozóan egy kulcsfontosságú dokumentumot találtak: apai nagyapjának, Hernán Luis Dávilának a végrendeletét, amelyet az Ávilai Tartományi Történelmi Levéltárban őriztek. Hernán Luis Dávila szabó és szövetkereskedő volt. Kereskedőként Medina del Campo, Segovia és Ávila helyi vásáraira járt. Emellett földbirtokai voltak különböző, Ávila tartományhoz tartozó városokban.
Férjhez ment Leonor de Victoriához, mindketten 1545-ben haltak meg, így unokájukat, Tomást soha nem ismerhették meg. Ez a pár azért fontos, mert Tomás mindkét apai nagyszülőjének vezetéknevét felvette, követve a korabeli szokást, amely lehetővé tette, hogy az ember szabadon válassza és kombinálja a legközvetlenebb rokonainak vezetékneveit.
Hernán Luisnak és Leonor de Victoriának hét gyermeke született, akik közül a legidősebb, Francisco Luis de Victoria volt Tomás apja.
Tomás anyai ágáról kevesebbet tudunk. F. Hernández szerint Tomás anyai nagyszülei Antonio Suárez és Beatriz Suárez voltak, akik gazdag segoviai családokból származtak, akik a textiliparban dolgoztak. Lozoya márki véleménye azonban jobban dokumentáltnak tűnik ebben a kérdésben, és Pedro de la Conchát és feleségét, Elvira Xuarezt tekinti a vérvonal alapítóinak. Úgy vélik, hogy Llerenából, Badajozból származtak, bár 1496-ban Segoviába költöztek.
Francisco Luis de Victoria, zenészünk apja, Hernán Luis első gyermeke volt, így ő kapta a hagyatékának legnagyobb részét: a teljes vagyon és vagyon egyharmadát, egy birtokot és házakat Sanchidriánban, földeket különböző településeken, és ami még fontosabb, a családi házakat a Calle Caballerosban, Ávilában. Francisco a közjegyzői címet is örökölte, így családja igen előnyös gazdasági helyzetbe került.
Francisco 1544-ben feleségül vette Francisca Suárez de la Conchát, egy segoviai születésű nőt, aki szülei örökségének örököse volt. Francisco és Francisca 1540-ben kötött házasságot Ávilában. Tizenegy gyermeket szültek, akik közül Tomás volt a hetedik.
Tomás Luis születésének pontos dátuma életrajzának egyik legvitatottabb pontja. A pontos dátumot igazoló születési bizonyítványt nem találtak, de ma már – Ferreol Hernández kutatásainak köszönhetően – szinte biztosak lehetünk benne, hogy 1548-ban történt.
Tomás tehát 1548-ban született, és most egy furcsa kérdéssel állunk szemben: mi az igazi neve? Azt már megállapítottuk, hogy a Luis a család apai ágáról örökölt vezetéknév, nem pedig keresztnév. Mivel semmilyen keresztelési bizonyítvány vagy más, korai éveire vonatkozó írásos dokumentum nem tanúskodik a valódi nevéről, későbbi dokumentumokból kell megtudnunk, hogy Tomás valójában Tome, vagy ahogy ő maga szokta írni, Thome.
Ami a születési helyét illeti, több mint elegendő jel utal arra, hogy megerősíthetjük, hogy Ávila fővárosában született. Tomás a családi házban született, amelyet nagyapja, Hernán Luis Dávila vásárolt. Ez egy belső udvart, folyosókat, élelmiszerraktárakat, egy istállót, egy borospincét és egyéb különálló helyiségeket foglalt magában. Francisco Luis 1545-ben örökölte ezt a házat, és 1557-ig, haláláig élt ott a családjával. Ezért feltételezhető, hogy Tomás ebben a házban született, amelyet Ferreol Hernández a mai calle Caballerosra helyez, a calle Pedro Lagasca sarkán, a calle Cuchillería felé hátrálva.
Tomás Luis kóristafiú volt az Ávilai Katedrálisban. Ezt a tényt egyetlen történész sem vonja kétségbe, bár nincs teljes mértékben dokumentálva. A logika azt mondja, hogy Victoria nem találhatott más helyet, ahol zenei képzésben részesülhetett volna, hiszen Ávilában nem volt más hely, ahol ilyen széleskörű zenei tudásra tehetett volna szert. A kóristafiúként való indulás meglehetősen gyakori volt a zenészek körében, különösen azoknál, akiket arra szántak, hogy maestros de capilla vagy zeneszerzők legyenek.
Tomás 1557-ben vagy 1558 elején léphetett be a katedrálisba, elsősorban azért, mert ekkor érte el a megfelelő kort: 9 vagy 10 éves lehetett. Ez a dátum azért is nagyon valószínű, mert Tomás apja 1557-ben meghalt, és a család teljesen nincstelenné vált. Mindenkinek költöznie kellett, és munkát kellett keresnie, és logikus azt gondolni, hogy Tamás zenei tehetsége miatt a család úgy gondolta, hogy az egyházi pálya lenne a legjobb számára. Megvárva azt az időt, amikor a gyermek már maga dönthet, a katedrálisban helyezték el kóristafiúként, mivel addigra már nagy tehetséget és érdeklődést mutatott a zene iránt.
Az Ávilában megismert mesterek voltak az igazi zenei mentorai, akik a legnagyobb hatást gyakorolták a stílusára. Jerónimo de Espinar volt az első maestro de capilla, akivel Tomás kapcsolatba került, bár csak rövid időre, mivel Espinar 1558 októberében meghalt, és ők ketten nem tölthettek együtt egy évnél többet. Amíg az új maestro érkezésére vártak, a káptalan Trebe Dueñas prépostot bízta meg azzal, hogy tanítsa meg a fiúkat orgonakántusra. Közel egy évig töltötte be ezt a pozíciót, ami döntő fontosságú év volt Tomás számára, hiszen ekkor tanulta meg a zenei művészet alapvető és sarokpontjait.
Bernardino de Ribera 1559 júniusában vette át az állást. Kiváló muzsikus volt, és a Victoriával való munkája kulcsfontosságú volt, hiszen négy éven át, a tanítvány 11 éves korától 14 éves koráig ő volt Tomás maestroja. Bernarbé de Águila volt ebben az időben az orgonista, és Tomás Luis de Victoria tőle tanult meg játszani a hangszeren. Victoria későbbi éveiben ez volt az elsődleges szerelme és tevékenysége. Ez volt az első fizetett munkája is, amikor Rómába érkezett. Szeretett orgonálni, és sokkal inkább Bernabé del Águilától tanulhatott, mint Antonio de Cabezóntól, akit legfeljebb kétszer hallhatott, két nyilvános előadásán Ávilában 1552-ben és 1556-ban, mindkettő túl korai volt ahhoz, hogy a fiatal Tomás bármilyen hasznát vehesse. Mindazonáltal Cabezón 1560-ig Ávilában élt, bár csak időszakosan, és lehet, hogy már korán leckét adott Tamásnak. Victoria egyik kortársa Sebastián de Vivanco volt, aki 1551-ben született, tehát csak három évvel volt fiatalabb Tomásnál, és ugyanebben az időben szintén kórista volt a katedrálisban.
Egy 16. század közepén készült leltárból tudjuk, hogy Encinar 1550-ben megvásárolta Josquin Desprez miséit és Morales magnificatáit, és ezek Victoria rendelkezésére álltak. A városi káptalan Escobedo különböző műveit is megszerezte, aki Moraleshez hasonlóan a római pápai kápolnában énekelt, majd visszatért Spanyolországba, és 1552-től 1564-ben bekövetkezett haláláig Segoviában élt. Ezekben az években Tomás Luis képzése a katedrálisba 1555-ben érkezett olasz kántorokkal is kapcsolatban állt. A Sardena testvérek chirimíán, zsákfurulyán és valószínűleg fuvolán játszottak. Victoria hallgatta és énekelt velük, és időnként közösen adtak elő.
Elvégül 1564. február 26-án a sevillai Juan Navarro érkezett Ávilába, hogy 1566-ig betöltse a maestro megüresedett állását. Nem biztos, hogy Victoria valóban megélte-e mindezeket a szélsőségeket, mivel a Rómába való távozásának időpontja is vitatott. Függetlenül attól, hogy 1565-ben vagy 1567-ben távozott-e, aligha lehetett kapcsolata Navarróval, és már akkor is azon gondolkodott, hogy milyen változást jelentene számára az Itáliába költözés.