Mientras cursaba el bachillerato, trabajó primero para Thom McAn tiñendo zapatos de mujer y luego en la tienda para hombres Anderson-Little, donde vendía trajes. Como estudiante universitario, trabajó a tiempo parcial en Louis Boston. Abboud declaró: «Louis Boston fue una parte importante de mi carrera. Realmente aterricé en un mundo de estilo muy glamuroso, de ropa bonita, simplemente en el mundo de la moda internacional. Si esto no hubiera ocurrido, el resto no habría sucedido». Abboud se convirtió en comprador de Louis Boston a los 23 años. A lo largo de doce años, trabajó como comprador, comercializador y, finalmente, coordinador de promoción y publicidad.
Abboud se incorporó a Ralph Lauren en 1981, llegando a ser director asociado de diseño de ropa masculina. En la primavera de 1987 lanzó su propia marca. En 1988, se creó JA Apparel como empresa conjunta entre Abboud y GFT (Gruppo Finanziario Tessile) USA.
En 1991 Abboud trabajó con el director de moda Peter Speliopoulos. Abboud fue el primer diseñador en ganar el premio CFDA como mejor diseñador de ropa masculina dos años seguidos. Muchos de los amigos famosos de Abboud son también clientes suyos, como el trompetista y compositor estadounidense Wynton Marsalis, el escritor y ex presentador de noticias de televisión Tom Brokaw y el ex jugador de los Medias Rojas de Boston Nomar Garciaparra.
Abboud vendió sus marcas y su nombre a JA Apparel por 65 millones de dólares en 2000. La empresa fue adquirida por la firma de capital privado J.W. Childs Associates por 73 millones de dólares en 2004, y Abboud dejó JA Apparel en 2005.
Abboud lanzó una nueva línea llamada Jaz en 2007. También creó la línea Black Brown 1826 para los grandes almacenes Lord &Taylor en 2008. El año 2008 también marcó la apertura de las primeras tiendas de Abboud en China.
En 2010, Abboud se convirtió en el director creativo de HMX, propietaria de las marcas Hart Schaffner Marx y Hickey Freeman. HMX hizo una oferta para comprar JA Apparel por 90 millones de dólares en 2011. En diciembre de 2012, se convirtió en director creativo jefe de Men’s Wearhouse. Mientras empleaba a Abboud como director creativo, Men’s Wearhouse Inc. (ahora Tailored Brands Inc.) readquirió la marca Abboud y JOE by Joseph Abboud en 2013.
Tras recuperar el derecho legal a su marca en 2013, Abboud estableció el comercio electrónico, abrió una tienda insignia en Madison Avenue y produjo desfiles de moda a gran escala.
En marzo de 2020, WHP Global adquirió las marcas registradas de la marca Joseph Abboud de Tailored Brands. A su vez, Tailored Brands firmó un acuerdo de licencia con WHP Global para los derechos continuos de venta y alquiler de ropa y accesorios seleccionados de Joseph Abboud en los Estados Unidos y Canadá.