În timp ce era în liceu, a lucrat mai întâi pentru Thom McAn la vopsirea pantofilor de damă și apoi la magazinul pentru bărbați Anderson-Little, unde a vândut costume. Ca student la facultate, a lucrat cu jumătate de normă la Louis Boston. Abboud a declarat: „Louis Boston a fost o parte importantă a carierei mele. Am aterizat cu adevărat într-o lume a stilului foarte fermecător, a hainelor frumoase, pur și simplu lumea a ceea ce însemna moda internațională. Dacă acest lucru nu s-ar fi întâmplat niciodată, atunci restul nu s-ar fi întâmplat.” Abboud a devenit cumpărător la Louis Boston la vârsta de 23 de ani. Pe parcursul a doisprezece ani, a fost cumpărător, merchandiser și, în cele din urmă, coordonator al promovării și publicității.
Abboud s-a alăturat companiei Ralph Lauren în 1981, devenind în cele din urmă director asociat de design pentru bărbați. El și-a lansat propria marcă în primăvara anului 1987. În 1988, JA Apparel a fost creat ca un joint venture între Abboud și GFT (Gruppo Finanziario Tessile) USA.
În 1991 Abboud a lucrat cu directorul de modă Peter Speliopoulos. Abboud a fost primul designer care a câștigat premiul CFDA ca cel mai bun designer de îmbrăcăminte pentru bărbați doi ani la rând. Mulți dintre prietenii celebri ai lui Abboud sunt, de asemenea, clienții săi, inclusiv trompetistul și compozitorul american Wynton Marsalis, autorul și fostul prezentator de știri TV Tom Brokaw și fostul shortstop al lui Boston Red Sox, Nomar Garciaparra.
Abboud și-a vândut mărcile comerciale și numele către JA Apparel pentru 65 de milioane de dolari în 2000. Compania a fost achiziționată de firma de private-equity J.W. Childs Associates pentru 73 de milioane de dolari în 2004, iar Abboud a părăsit JA Apparel în 2005.
Abboud a lansat o nouă linie numită Jaz în 2007. El a creat, de asemenea, linia Black Brown 1826 pentru marele magazin Lord & Taylor în 2008. Anul 2008 a marcat, de asemenea, deschiderea primelor magazine ale lui Abboud în China.
În 2010, Abboud a devenit director de creație al HMX, proprietarul mărcilor Hart Schaffner Marx și Hickey Freeman. HMX a făcut o ofertă pentru a cumpăra JA Apparel pentru 90 de milioane de dolari în 2011. În decembrie 2012, a devenit director principal de creație al Men’s Wearhouse. În timp ce l-a angajat pe Abboud ca director de creație, Men’s Wearhouse Inc. (în prezent Tailored Brands Inc.) a redobândit marca Abboud și JOE by Joseph Abboud în 2013.
După ce a redobândit dreptul legal asupra mărcii sale în 2013, Abboud a înființat e-commerce, a deschis un magazin emblematic pe Madison Avenue și a produs prezentări de modă la scară largă.
În martie 2020, WHP Global a achiziționat mărcile comerciale ale mărcii Joseph Abboud de la Tailored Brands. La rândul său, Tailored Brands a încheiat un acord de licență cu WHP Global pentru drepturile continue de a vinde și închiria îmbrăcăminte Joseph Abboud și accesorii selectate în SUA și Canada.