Quando andava no liceu, trabalhou primeiro para Thom McAn tingindo sapatos de mulher e depois para a loja de homens Anderson-Little, onde vendia fatos. Como estudante universitário, ele trabalhou em part-time na Louis Boston. Abboud declarou: “Louis Boston foi uma grande parte da minha carreira. Eu realmente aterrissei num mundo de estilo muito glamoroso, roupas bonitas, apenas o mundo do que era moda internacional. Se isto nunca tivesse acontecido, então o resto não teria acontecido”. Abboud tornou-se um comprador na Louis Boston aos 23 anos. Ao longo de doze anos, ele serviu como comprador, merchandiser, e eventualmente coordenador de promoção e publicidade.
Abboud juntou-se a Ralph Lauren em 1981, eventualmente tornando-se director associado de design de roupa masculina. Ele lançou sua própria marca na primavera de 1987. Em 1988, JA Apparel foi criada como uma joint venture entre Abboud e GFT (Gruppo Finanziario Tessile) USA.
Em 1991 Abboud trabalhou com o diretor de moda Peter Speliopoulos. Abboud foi o primeiro designer a ganhar o prêmio CFDA como Melhor Designer de Moda Masculina, dois anos seguidos. Muitos dos amigos famosos de Abboud também são seus clientes, incluindo o trompetista e compositor americano Wynton Marsalis, o autor e ex-âncora de notícias de TV Tom Brokaw, e o ex-capitão do Boston Red Sox Nomar Garciaparra.
Abboud vendeu suas marcas e nome para a JA Apparel por $65 milhões em 2000. A empresa foi adquirida pela empresa privada J.W. Childs Associates por $73 milhões em 2004, e Abboud deixou a JA Apparel em 2005.
Abboud lançou uma nova linha chamada Jaz em 2007. Ele também criou a linha Black Brown 1826 para a Lord & Taylor department store em 2008. O ano de 2008 também marcou a abertura das primeiras lojas da Abboud na China.
Em 2010, Abboud tornou-se o diretor de criação da HMX, proprietária das marcas Hart Schaffner Marx e Hickey Freeman. A HMX fez uma oferta para comprar JA Apparel por $90 milhões em 2011. Em dezembro de 2012, ele se tornou Diretor Criativo Chefe da Men’s Wearhouse. Enquanto empregava Abboud como seu diretor criativo, a Men’s Wearhouse Inc., a HMX se tornou a diretora de criação da Men’s Wearhouse. (agora Tailored Brands Inc.) readquiriu a marca Abboud e JOE by Joseph Abboud em 2013.
Depois de recuperar o direito legal à sua marca em 2013, Abboud criou o e-commerce, abriu uma loja de referência na Madison Avenue e produziu desfiles de moda em grande escala.
Em março de 2020, a WHP Global adquiriu as marcas da marca Joseph Abboud da Tailored Brands. Por sua vez, a Tailored Brands firmou um acordo de licenciamento com a WHP Global para os direitos contínuos de venda e aluguel de roupas e acessórios selecionados da Joseph Abboud nos EUA e no Canadá.