Under gymnasietiden arbetade han först för Thom McAn som färgare av damskor och sedan för herrbutiken Anderson-Little, där han sålde kostymer. Som collegestudent arbetade han på deltid på Louis Boston. Abboud förklarade: ”Louis Boston var en stor del av min karriär. Jag hamnade verkligen i en värld av mycket glamorös stil, vackra kläder, bara världen av vad internationellt mode handlade om. Om detta aldrig hade hänt skulle resten av det inte ha hänt.” Abboud blev inköpare på Louis Boston vid 23 års ålder. Under tolv år arbetade han som inköpare, merchandiser och så småningom som samordnare för marknadsföring och reklam.
Abboud kom till Ralph Lauren 1981 och blev så småningom biträdande chef för design av herrkläder. Han lanserade sitt eget märke våren 1987. År 1988 skapades JA Apparel som ett samriskföretag mellan Abboud och GFT (Gruppo Finanziario Tessile) USA.
1991 samarbetade Abboud med modedirektören Peter Speliopoulos. Abboud var den första designern som vann CFDA-priset som bästa herrmodedesigner två år i rad. Många av Abbouds berömda vänner är också hans kunder, däribland den amerikanske trumpetaren och kompositören Wynton Marsalis, författaren och före detta nyhetsankaret Tom Brokaw och den före detta kortspelaren Nomar Garciaparra från Boston Red Sox.
Abboud sålde sina varumärken och sitt namn till JA Apparel för 65 miljoner dollar år 2000. Företaget förvärvades av riskkapitalbolaget J.W. Childs Associates för 73 miljoner dollar 2004, och Abboud lämnade JA Apparel 2005.
Abboud lanserade en ny linje kallad Jaz 2007. Han skapade också serien Black Brown 1826 för varuhuset Lord & Taylor 2008. År 2008 öppnades också Abbouds första butiker i Kina.
2010 blev Abboud kreativ chef för HMX, ägare av varumärkena Hart Schaffner Marx och Hickey Freeman. HMX lade 2011 ett erbjudande om att köpa JA Apparel för 90 miljoner dollar. I december 2012 blev han kreativ chef för Men’s Wearhouse. Samtidigt som Abboud anställdes som kreativ chef, blev Men’s Wearhouse Inc. (numera Tailored Brands Inc.) återförvärvade varumärket Abboud och JOE by Joseph Abboud 2013.
Efter att ha fått tillbaka den lagliga rätten till sitt varumärke 2013 startade Abboud e-handel, öppnade en flaggskeppsbutik på Madison Avenue och producerade fullskaliga modevisningar.
I mars 2020 förvärvade WHP Global varumärkena för varumärket Joseph Abboud från Tailored Brands. Tailored Brands ingick i sin tur ett licensavtal med WHP Global om fortsatta rättigheter att sälja och hyra ut Joseph Abboud-kläder och utvalda accessoarer i USA och Kanada.