Toen hij op de middelbare school zat, werkte hij eerst bij Thom McAn waar hij damesschoenen verfde en daarna bij de herenzaak Anderson-Little, waar hij pakken verkocht. Als student werkte hij parttime bij Louis Boston. Abboud verklaarde: “Louis Boston was een groot deel van mijn carrière. Ik belandde echt in een wereld van zeer glamoureuze stijl, prachtige kleding, gewoon de wereld van waar het in de internationale mode om draaide. Als dit nooit was gebeurd, dan was de rest ook niet gebeurd.” Abboud werd op 23-jarige leeftijd inkoper bij Louis Boston. In de loop van twaalf jaar was hij inkoper, merchandiser en uiteindelijk coördinator van promotie en reclame.
Abboud kwam in 1981 bij Ralph Lauren en werd uiteindelijk associate director of menswear design. Hij lanceerde zijn eigen label in het voorjaar van 1987. In 1988 werd JA Apparel opgericht als een joint venture tussen Abboud en GFT (Gruppo Finanziario Tessile) USA.
In 1991 werkte Abboud samen met mode directeur Peter Speliopoulos. Abboud was de eerste ontwerper die twee jaar achter elkaar de CFDA award won als Best Menswear Designer. Veel van Abbouds beroemde vrienden zijn ook zijn klanten, waaronder de Amerikaanse trompettist en componist Wynton Marsalis, auteur en voormalig tv-nieuwsanker Tom Brokaw, en voormalig Boston Red Sox shortstop Nomar Garciaparra.
Abboud verkocht zijn handelsmerken en naam aan JA Apparel voor 65 miljoen dollar in 2000. Het bedrijf werd in 2004 overgenomen door investeringsmaatschappij J.W. Childs Associates voor 73 miljoen dollar, en Abboud verliet JA Apparel in 2005.
Abboud lanceerde in 2007 een nieuwe lijn genaamd Jaz. Hij creëerde ook de Black Brown 1826 lijn voor het Lord & Taylor warenhuis in 2008. Het jaar 2008 markeerde ook de opening van Abboud’s eerste winkels in China.
In 2010 werd Abboud de chief creative officer van HMX, eigenaar van de merken Hart Schaffner Marx en Hickey Freeman. HMX deed een bod om JA Apparel te kopen voor $ 90 miljoen in 2011. In december 2012 werd hij Chief Creative Director van Men’s Wearhouse. Terwijl Abboud in dienst was als creatief directeur, Men’s Wearhouse Inc. (nu Tailored Brands Inc.) in 2013 het handelsmerk Abboud en JOE by Joseph Abboud terug.
Nadat Abboud in 2013 het wettelijke recht op zijn merk terugkreeg, zette hij e-commerce op, opende hij een Madison Avenue flagship store en produceerde hij full-scale modeshows.
In maart 2020 verwierf WHP Global de handelsmerken van het merk Joseph Abboud van Tailored Brands. Op zijn beurt sloot Tailored Brands een licentieovereenkomst met WHP Global voor de doorlopende rechten op de verkoop en verhuur van Joseph Abboud-kleding en geselecteerde accessoires in de VS en Canada.