Mike Sullivan wuchs hauptsächlich in Südkalifornien auf und absolvierte die Cabrillo High School in Lompoc, CA im Jahre 1985. Anschließend besuchte er die US-Militärakademie in West Point, NY, wo er zwei Jahre lang als Defender im Football-Team aktiv war. Nach seinem erfolgreichen Abschluss im Jahre 1989 wurde er zum Infanterie-Offizier ernannt und besuchte später die Army Airborne, Ranger und Air Assault Schools, bevor er in der 25. Infanteriedivision diente.

Seiner ersten Schritte im Coaching Staff machte Sullivan auf College-Ebene beginnend 1993 als Graduate Assistant an der Humboldt State University. Es folgte eine Station bei seiner Alma Mater als Linebacker Coach, bevor er von 1997 bis 1998 die Defensive Backs an der Youngstown State University trainierte. Sullivan kehrte von 1999 bis 2000 zur Army zurück, um dort ebenfalls das Training der Defensive Backs zu leiten. Anschließend arbeitete er eine Saison lang als Defensive Backs Coach an der Ohio University, bevor er in die NFL wechselte.

Den ersten Job in der NFL bekam er bei den Jacksonville Jaguars im Jahre 2002 in der Funktion des Defensive Quality Control und 2003 als Offensive Assistant.

Seine erste NFL-Coaching-Anstellung war bei den New York Giants, als er von 2004 bis 2009 zuerst die Wide Receiver und von 2010 bis 2011 die Quarterbacks betreute. Er war hauptverantwortlich dafür, dass Eli Manning bereits in seinen Anfangsjahren einen derart großen Erfolg hatte. Diese Verbindung resultierte in der historischen Saison 2010. Eli Manning stellte hierbei Franchise-Rekorde mit 339 erfolgreichen Würfen, was eine Erfolgsquote von 62,9% bedeutete. Außerdem war es seine zweite Saison mit über 4.000 erworfenen Yards, er steuerte aber auch einen damaligen Karriere-Negativwert von 25 Interceptions bei.
Auch 2011 blieb Sullivan als Quarterbacks Coach im Staff der Giants und begleitete Manning bei seiner statistisch besten Saisonleistung. Manning warf für 4.933 Yards, erzielte dabei 29 Touchdowns bei 19 Interceptions und hatte das vierte Jahr in Folge unter Mike Sullivan eine Erfolgsquote von über 60%. Die Giants gewannen bekanntlich den Super Bowl XLVI und Sullivan formte in Eli Manning einen Super Bowl MVP.

Am 12. Februar 2012 wurde Mike Sullivan als Offensive Coordinator bei den Tampa Bay Buccaneers vorgestellt.
Zum Ende des Jahres wurden Berichte veröffentlicht, wonach die Chicago Bears Sullivan für die Stelle des Head Coach interviewt hatten, nachdem Lovie Smith dort gefeuert wurde.
Zusammen mit dem restlichen Trainerstab der Tampa Bay Buccaneers, wurde Sullivan Ende 2013, nach zwei erfolglosen Spielzeiten, entlassen.

Am 31. Dezember 2014 wurde Sullivan wieder als Quarterbacks Coach der Giants angeheuert, nachdem sein Vorgänger Danny Langsdorf den Job des Offensive Coordinators in Nebraska übernommen hatte.

Im Januar 2016 wurde Sullivan nach dem Abgang des ehemaligen Head Coach der Giants, Tom Coughlin und der Beförderung des damaligen Offensive Coordinators Ben McAdoo zum Cheftrainer, als dessen Nachfolger auserkoren.
Zur Saison 2018 wechselte Sullivan als Quarterbacks Coach zu den Denver Broncos und übernahm dort das Amt von Klint Kubiak, der dieses interimsweise innehatte. Nach dem Ende der Saison 2018 wurde er vom neuen Broncos Head Coach Vig Fangio nicht weiter verpflichtet.

Die Saison 2020 verbrachte Mike Sullivan als Director of Recruiting für Army West Point.

Am 04. Februar 2021 gaben die Pittsburgh Steelers die Verpflichtung von Mike Sullivan als neuen Quarterbacks Coach bekannt.