Während seiner Highschoolzeit arbeitete er zunächst bei Thom McAn, wo er Damenschuhe färbte, und dann im Herrengeschäft Anderson-Little, wo er Anzüge verkaufte. Als College-Student arbeitete er in Teilzeit bei Louis Boston. Abboud erklärte: „Louis Boston war ein wichtiger Teil meiner Karriere. Ich landete wirklich in einer Welt mit sehr glamourösem Stil, schönen Kleidern, einfach in der Welt, in der es um internationale Mode ging. Wenn das nicht passiert wäre, dann wäre der Rest auch nicht passiert.“ Abboud wurde im Alter von 23 Jahren Einkäufer bei Louis Boston. Im Laufe von zwölf Jahren war er dort als Einkäufer, Merchandiser und schließlich als Koordinator für Promotion und Werbung tätig.
Abboud kam 1981 zu Ralph Lauren und wurde schließlich stellvertretender Direktor für Herrenmode-Design. Im Frühjahr 1987 gründete er sein eigenes Label. 1988 wurde JA Apparel als Joint Venture zwischen Abboud und GFT (Gruppo Finanziario Tessile) USA gegründet.
Im Jahr 1991 arbeitete Abboud mit dem Modedirektor Peter Speliopoulos zusammen. Abboud war der erste Designer, der zwei Jahre in Folge den CFDA-Award als bester Herrenausstatter gewann. Viele von Abbouds berühmten Freunden sind auch seine Kunden, darunter der amerikanische Trompeter und Komponist Wynton Marsalis, der Autor und ehemalige TV-Nachrichtensprecher Tom Brokaw und der ehemalige Shortstop der Boston Red Sox, Nomar Garciaparra.
Abboud verkaufte seine Marken und seinen Namen im Jahr 2000 für 65 Millionen Dollar an JA Apparel. Das Unternehmen wurde 2004 von der Private-Equity-Firma J.W. Childs Associates für 73 Millionen Dollar übernommen, und Abboud verließ JA Apparel im Jahr 2005.
Abboud brachte 2007 eine neue Linie namens Jaz heraus. Außerdem kreierte er 2008 die Linie Black Brown 1826 für das Kaufhaus Lord & Taylor. Das Jahr 2008 markierte auch die Eröffnung von Abbouds ersten Geschäften in China.
Im Jahr 2010 wurde Abboud Chief Creative Officer von HMX, Eigentümer der Marken Hart Schaffner Marx und Hickey Freeman. HMX machte 2011 ein Angebot zum Kauf von JA Apparel für 90 Millionen Dollar. Im Dezember 2012 wurde er Chief Creative Director von Men’s Wearhouse. Während er Abboud als Kreativdirektor beschäftigte, wurde Men’s Wearhouse Inc. (jetzt Tailored Brands Inc.) im Jahr 2013 die Marken Abboud und JOE by Joseph Abboud zurückerworben.
Nachdem Abboud 2013 die Rechte an seiner Marke zurückerhalten hatte, richtete er E-Commerce ein, eröffnete einen Flagship-Store in der Madison Avenue und produzierte große Modenschauen.
Im März 2020 erwarb WHP Global die Markenrechte an der Marke Joseph Abboud von Tailored Brands. Im Gegenzug schloss Tailored Brands mit WHP Global eine Lizenzvereinbarung über die fortlaufenden Rechte zum Verkauf und Verleih von Joseph Abboud-Bekleidung und ausgewählten Accessoires in den USA und Kanada.