Quando era al liceo, ha lavorato prima per Thom McAn tingendo scarpe da donna e poi per il negozio da uomo Anderson-Little, dove vendeva abiti. Come studente universitario, ha lavorato part-time da Louis Boston. Abboud ha dichiarato: “Louis Boston è stata una parte enorme della mia carriera. Sono davvero approdato in un mondo di stile molto glamour, bei vestiti, proprio il mondo della moda internazionale. Se questo non fosse mai successo, allora il resto non sarebbe successo”. Abboud è diventato acquirente alla Louis Boston all’età di 23 anni. Nel corso di dodici anni, ha servito come acquirente, merchandiser, e infine coordinatore della promozione e della pubblicità.
Abboud è entrato in Ralph Lauren nel 1981, diventando infine direttore associato del design maschile. Ha lanciato il suo marchio nella primavera del 1987. Nel 1988, JA Apparel è stato creato come una joint venture tra Abboud e GFT (Gruppo Finanziario Tessile) USA.
Nel 1991 Abboud ha lavorato con il direttore di moda Peter Speliopoulos. Abboud è stato il primo stilista a vincere il premio CFDA come miglior stilista maschile per due anni di fila. Molti degli amici famosi di Abboud sono anche suoi clienti, tra cui il trombettista e compositore americano Wynton Marsalis, l’autore ed ex conduttore televisivo Tom Brokaw, e l’ex interbase dei Boston Red Sox Nomar Garciaparra.
Abboud ha venduto i suoi marchi e il nome a JA Apparel per 65 milioni di dollari nel 2000. L’azienda è stata acquisita dalla società di private-equity J.W. Childs Associates per 73 milioni di dollari nel 2004, e Abboud ha lasciato JA Apparel nel 2005.
Abboud ha lanciato una nuova linea chiamata Jaz nel 2007. Ha anche creato la linea Black Brown 1826 per i grandi magazzini Lord & Taylor nel 2008. Il 2008 ha anche segnato l’apertura dei primi negozi di Abboud in Cina.
Nel 2010, Abboud è diventato il direttore creativo di HMX, proprietario dei marchi Hart Schaffner Marx e Hickey Freeman. HMX ha fatto un’offerta per comprare JA Apparel per 90 milioni di dollari nel 2011. Nel dicembre 2012, è diventato direttore creativo capo di Men’s Wearhouse. Mentre impiegava Abboud come direttore creativo, Men’s Wearhouse Inc. (ora Tailored Brands Inc.) ha riacquisito il marchio Abboud e JOE by Joseph Abboud nel 2013.
Dopo aver riottenuto il diritto legale sul suo marchio nel 2013, Abboud ha istituito l’e-commerce, ha aperto un flagship store a Madison Avenue e ha prodotto sfilate di moda in scala reale.
Nel marzo del 2020, WHP Global ha acquisito i marchi del marchio Joseph Abboud da Tailored Brands. A sua volta, Tailored Brands ha stipulato un accordo di licenza con WHP Global per i diritti continui di vendita e noleggio di abbigliamento Joseph Abboud e accessori selezionati negli Stati Uniti e in Canada.