Alors qu’il est au lycée, il travaille d’abord pour Thom McAn à la teinture de chaussures pour femmes, puis pour le magasin pour hommes Anderson-Little, où il vend des costumes. En tant qu’étudiant à l’université, il a travaillé à temps partiel chez Louis Boston. Abboud a déclaré : « Louis Boston a joué un rôle énorme dans ma carrière. J’ai vraiment atterri dans un monde de style très glamour, de beaux vêtements, tout simplement le monde de ce qu’était la mode internationale. Si cela n’était pas arrivé, le reste ne serait pas arrivé. » Abboud est devenu acheteur chez Louis Boston à l’âge de 23 ans. Pendant douze ans, il a occupé les fonctions d’acheteur, de marchandiseur et finalement de coordinateur de la promotion et de la publicité.
Abboud a rejoint Ralph Lauren en 1981, devenant finalement directeur associé de la conception de vêtements pour hommes. Il a lancé sa propre marque au printemps 1987. En 1988, JA Apparel a été créé en tant que joint-venture entre Abboud et GFT (Gruppo Finanziario Tessile) USA.
En 1991, Abboud a travaillé avec le directeur de la mode Peter Speliopoulos. Abboud a été le premier créateur à remporter le prix CFDA du meilleur créateur de vêtements pour hommes deux années de suite. De nombreux amis célèbres d’Abboud sont également ses clients, notamment le trompettiste et compositeur américain Wynton Marsalis, l’auteur et ancien présentateur du journal télévisé Tom Brokaw, et l’ancien shortstop des Boston Red Sox Nomar Garciaparra.
Abboud a vendu ses marques et son nom à JA Apparel pour 65 millions de dollars en 2000. La société a été acquise par la société de capital-investissement J.W. Childs Associates pour 73 millions de dollars en 2004, et Abboud a quitté JA Apparel en 2005.
Abboud a lancé une nouvelle ligne appelée Jaz en 2007. Il a également créé la ligne Black Brown 1826 pour le grand magasin Lord & Taylor en 2008. L’année 2008 marque également l’ouverture des premiers magasins d’Abboud en Chine.
En 2010, Abboud devient le directeur de la création de HMX, propriétaire des marques Hart Schaffner Marx et Hickey Freeman. HMX a fait une offre pour acheter JA Apparel pour 90 millions de dollars en 2011. En décembre 2012, il est devenu directeur de la création de Men’s Wearhouse. Tout en employant Abboud comme directeur de la création, Men’s Wearhouse Inc. (aujourd’hui Tailored Brands Inc.) a récupéré la marque Abboud et JOE by Joseph Abboud en 2013.
Après avoir récupéré le droit légal sur sa marque en 2013, Abboud a mis en place un e-commerce, ouvert un magasin phare sur Madison Avenue et produit des défilés de mode grandeur nature.
En mars 2020, WHP Global a acquis les marques de la marque Joseph Abboud auprès de Tailored Brands. À son tour, Tailored Brands a conclu un accord de licence avec WHP Global pour les droits continus de vente et de location de vêtements et d’accessoires sélectionnés Joseph Abboud aux États-Unis et au Canada.