Mens han gik i gymnasiet, arbejdede han først for Thom McAn, hvor han farvede damesko, og derefter i Anderson-Little-butikken for mænd, hvor han solgte jakkesæt. Som universitetsstuderende arbejdede han på deltid hos Louis Boston. Abboud udtalte: “Louis Boston var en stor del af min karriere. Jeg landede virkelig i en verden af meget glamourøs stil, smukt tøj, bare en verden af, hvad international mode handlede om. Hvis dette aldrig var sket, ville resten af det hele ikke være sket.” Abboud blev indkøber hos Louis Boston som 23-årig. I løbet af 12 år arbejdede han som indkøber, merchandiser og til sidst som koordinator for promotion og reklame.
Abboud kom til Ralph Lauren i 1981 og blev til sidst associeret direktør for design af herrebeklædning. Han lancerede sit eget mærke i foråret 1987. I 1988 blev JA Apparel oprettet som et joint venture mellem Abboud og GFT (Gruppo Finanziario Tessile) USA.
I 1991 arbejdede Abboud sammen med modedirektør Peter Speliopoulos. Abboud var den første designer, der vandt CFDA-prisen som bedste herremodedesigner to år i træk. Mange af Abbouds berømte venner er også hans kunder, herunder den amerikanske trompetist og komponist Wynton Marsalis, forfatteren og tidligere tv-nyhedsvært Tom Brokaw og den tidligere kortstopper Nomar Garciaparra fra Boston Red Sox.
Abboud solgte sine varemærker og sit navn til JA Apparel for 65 millioner dollars i 2000. Virksomheden blev overtaget af kapitalfonden J.W. Childs Associates for 73 millioner dollars i 2004, og Abboud forlod JA Apparel i 2005.
Abboud lancerede en ny linje kaldet Jaz i 2007. Han skabte også Black Brown 1826-linjen for stormagasinet Lord & Taylor i 2008. Året 2008 markerede også åbningen af Abbouds første butikker i Kina.
I 2010 blev Abboud kreativ chef for HMX, der ejer varemærkerne Hart Schaffner Marx og Hickey Freeman. HMX afgav et tilbud om at købe JA Apparel for 90 millioner dollars i 2011. I december 2012 blev han chefkreativ direktør for Men’s Wearhouse. Mens Abboud var ansat som kreativ direktør, blev Men’s Wearhouse Inc. (nu Tailored Brands Inc.) generhvervede Abboud- og JOE by Joseph Abboud-varemærket i 2013.
Når Abboud fik den juridiske ret til sit mærke tilbage i 2013, etablerede han e-handel, åbnede en flagskibsbutik på Madison Avenue og producerede modeshows i fuld skala.
I marts 2020 erhvervede WHP Global varemærkerne til Joseph Abboud-brandet fra Tailored Brands. Til gengæld indgik Tailored Brands en licensaftale med WHP Global om de fortsatte rettigheder til at sælge og udleje Joseph Abboud-tøj og udvalgte accessories i USA og Canada.