John Mitchell wurde am 14. Oktober 1951 in Mobile, Alabama als drittes von fünf Kindern geboren. An der Williamson High School in Mobile, einer rein schwarzen Schule, spielte Mitchell Football und Basketball. Als Senior spielte er in der Offensive Line, wurde bei einer Körpergröße von 191 cm und einem Gewicht von nur 88 kg von den großen Colleges als zu leicht für seine Position befunden. Daher wurde ihm auch von keinem dieser Colleges aus seinem Heimatstaat ein Football-Stipendium angeboten. Stattdessen bekam er Angebote von geschichtsträchtigen Black Powerhouses wie zum Beispiel der Grambling State University und der Tennessee State University.

Sport war aber nicht die einzige Leidenschaft von Mitchell, der zusammen mit vier Klassenkameraden landesweit den dritten Platz bei einer Wissenschaftsmesse belegte. Allen fünf Mitgliedern dieses Science-Fair-Teams wurden akademische Stipendien von der University of Alabama und der Auburn University angeboten. Obwohl das genau die beiden Schulen waren, für die Mitchell unbedingt Football spielen wollte, rekrutierten diese zu jener Zeit keine schwarzen Spieler. Um sich den Traum vom Division I Football zu erfüllen, entschied er sich, dass seine besten Chancen dafür darin bestand, den Junior College-Weg einzuschlagen und nahm dafür ein Football-Stipendium vom Eastern Arizona Junior College in Thatcher, Arizona an.

In Arizona spielte Mitchell sowohl in der Offense als auch in der Defense und wurde in beiden seiner Jahre im Programm zum Junior College All-American ernannt. Durch das Krafttraining an der Schule konnte er 16 kg an Muskelmasse aufbauen, was eine große Weiterentwicklung im Vergleich zu seiner High-School-Zeit war. Trotz des zusätzlichen Gewichtes zeigte er kaum Einbußen in seiner Geschwindigkeit.

Neben den sportlichen Leistungen erwarb er während seiner Zeit in Arizona ein Associate’s Degree in Sozialarbeit.

Aufgrund der starken Leistungen im Junior-College und seinem Gewichtsaufbau wollten ihn gleich mehrere Colleges rekrutieren und ursprünglich hatte er John McKay, dem Head Coach der University of Southern California, seine Zusage gegeben. Während dieser mit dem Head Coach der University of Alabama, Paul „Bear“ Bryant, auf dem Golfplatz war, erwähnte McKay beiläufig, dass er die Zusage eines aus Alabama stammenden Spielers erhalten hat. McKay ging davon aus, dass Bryant sich sowieso nicht für Mitchell interessieren würde, da Alabama keine schwarzen Spieler auf der Liste hatte. Bryant wollte Mitchell jedoch unbedingt für sein Programm verpflichten und begann ihn sehr aggressiv zu rekrutieren. Obwohl Mitchell sehr verunsichert war, wie er in Alabama aufgenommen werden würde und er außerdem unsicher war, ob er in Alabama ausreichend Spielzeit bekommen wird, ermutigte ihn seine Familie, nach Hause zurückzukehren und das Stipendienangebot von Alabama anzunehmen.

1971 wurde Mitchell zusammen mit Wilbur Jackson der erste afroamerikaner, der für die Crimson Tide Football spielte. In seinen beiden Spielzeiten in Alabama startete er in allen 24 Spielen. In dieser Zeit erreichte das Team einen Record von 21-3 und gewann zwei Meisterschaften der Southeastern Conference.

1972 wurde John Mitchell als erster Afroamerikaner zum Co-Captain in Alabama ernannt. Im selben Jahr wurde er von der American Football Coaches Association zum All-American ernannt. In beiden Spielzeiten, die er für Alabama aktiv war, wurde er ins All-SEC-Team gewählt.

Mitchell erwarb einen Bachelor-Abschluss in Sozialhilfe und beendete sein Studium ein Semester früher als geplant.

Im Draft 1973 wählten die San Francisco 49ers Mitchell in der siebten Runde aus. Obwohl er im College hauptsächlich als Defensive End auflief, wurde er als zu klein angesehen, um diese Rolle im Profi-Football auszufüllen. Daher versuchten ihn die 49ers zum Linebacker umzufunktionieren. Er unterschrieb einen Vertrag bei den 49ers und nahm am Training Camp teil. Nachdem ihn eine Krankheit im Training Camp ausbremste, schaffte er es nicht in das finale Roster von San Francisco. Nachdem Cut bei den 49ers beschloss Mitchell das Kapitel des Profisportlers zu schließen obwohl er durchaus in der Lage gewesen wäre eine weitere Gelegenheit über die noch junge World Football League zu erhalten.

Mitchell entschloss sich stattdessen dazu, 1973 wieder nach Alabama zurückzukehren, um dort die juristische Fakultät zu besuchen. Als er Coach Bryant um Hilfe bei der Suche nach einem Campus-Job bat, um über die Runden zu kommen während er an seinem Abschluss arbeitete, bot Bryant ihm stattdessen eine Vollzeit-Coaching-Stelle an. Indem er seine Pläne der juristischen Fakultät aufgab, um das Angebot anzunehmen und die Defensive Ends zu trainieren, wurde er der erste afroamerikanische Assistenztrainer der Crimson Tide. Zudem war er der jüngste Coach, der jemals von der Schule angestellt wurde. Zusätzlich zum Coaching wurde er aktiv in die Rekrutierung afroamerikanischer Spitzenspieler eingebunden.
Ein Spieler, der von Mitchell rekrutiert wurde, war Ozzie Newsome, der später eine Hall of Fame Karriere hinlegte.

In Mitchell‘s erstem Jahr als Coach in Alabama stellte das Team einen 11-1 Record auf und gewann die nationale Meisterschaft zusätzlich zur SEC-Meisterschaft. In den folgenden beiden Spielzeiten erreichten sie ebenfalls jeweils einen 11-1 Record und fügten ihrer Sammlung zwei weitere SEC-Meisterschaften hinzu. Im letzten Jahr von Mitchell in Alabama, 1976, fielen sie mit einem 9-3 Record zwar etwas ab, waren damit aber immer noch unter den besten 15 Teams landesweit.

Anfang 1977 nahm John Mitchell ein Angebot der University of Arkansas an, um unter Head Coach Lou Holtz die Defensive Ends zu trainieren. In der ersten Saison mit den Razorbacks wies das Team einen Record von 11-1 auf und besiegte den zweitplatzierten Oklahoma im Orange Bowl. Im Laufe der sechs Jahre, die Mitchell in Arkansas verbrachte, erreichte das Team einen Geamt-Record von 54-16-2, gewann eine Southwest-Conference Meisterschaft und spielte jedes Jahr in einem Bowl-Spiel.

Mitchell verließ Arkansas im Jahre 1983, um in seinem Heimatstaat bei den Birmingham Stallions in der neu geschaffenen United States Football League die Möglichkeit zu nutzen, auf professioneller Ebene zu trainieren. Er trainierte die Linebacker der Stallions für das komplette dreijährige Bestehen des Teams und der Liga. Als das Team am Neujahrstag 1986 aufhörte, seine Trainer zu bezahlen, kehrte Mitchell zum College-Football zurück und nahm einen Job an der Temple University an.

Bei Temple trainierte er die Defensive Tackles und Defensive Ends unter dem damaligen Head Coach Bruce Arians, mit dem er später auch im Trainerstab der Pittsburgh Steelers arbeitete.

Nach nur einer Saison bei Temple kehrte John Mitchell wieder in die SEC an die Louisiana State University (LSU) zurück, wo er unter Mike Archer als Coach für die Outside Linebacker diente. Nach zwei Spielzeiten in dieser Position wurde Mitchell Anfang 1990 zum Defensive Coordinator befördert und trat damit die Nachfolge von Pete Jenkins an. 1990 beendeten die Tigers die Saison mit einem enttäuschenden 5-6 Record (davon 2-5 in der SEC), was zur Entlassung von Head Coach Archer führte. Mitchell bekam vom neuen Head Coach Curley Hallman angeboten, in seine alte Funktion als Outside Linebackers Coach zurückzukehren, doch er entschied sich, die LSU einige Monate später zu verlassen, um wieder in den professionellen Bereich zu wechseln.

Nachdem er der LSU den Rücken kehrte, wurde Mitchell 1991 als Defensive Line Coach von den Cleveland Browns aus der NFL eingestellt. Er trainierte drei Saisons lang bei den Browns unter Head Coach Bill Belichick.

Der frühere Defensive Coordinator der Pittsburgh Steelers, Dick LeBeau, sagte einmal über John Mitchell: „Jeden Spieler, den er bekommt, macht er besser. Ich kenne kein besseres Zeugnis für einen Trainer. Jeder, den er berührt, macht er besser!“

1994 wurde Mitchell Defensive Line Coach der Steelers unter Head Coach Bill Cowher und löste dabei Steve Furness ab. Seitdem ist er für die Steelers aktiv, was ihn zum Trainer mit der längsten Amtszeit des Vereins macht. Mit der Ankunft von Mike Tomlin 2007 ersetzte er Russ Grimm als Assistant Head Coach während er die Verantwortung für die Defensive Line behielt. In den ersten 15 Jahren von Mitchell’s Amtszeit (bis 2008) führten die Steelers viermal die Liga im Run-Stopping an. Das Team der Steelers hatte in der Amtszeit von Mitchell enorme Erfolge vorzuweisen. So erreichten sie in den ersten 18 Jahren insgesamt 11 mal die Playoffs und dabei acht mal das AFC Championship Game. Sie standen in vier Super Bowls und gewannen diesen 2005 sowie 2008. John Mitchell trainierte seine Spieler immer mit einem ruhigen und intellektuellen Stil, den er sich vom ersten Head Coach unter dem er arbeitete, abgeschaut hat. Er äußerte sich einmal dazu in seiner typischen Untertreibung: „Coach Bryant war kein Schreihals, und ich habe bemerkt, dass er einigen Erfolg hatte.“

2018 gab er die Verantwortung für die Defensive Line ab und ist seither in seiner Funktion als Assistant Head Coach dafür verantwortlich, die Personalentwicklung im Trainerstab zu überwachen. Außerdem arbeitet er mit aktuellen und ehemaligen Spielern in der Karriereentwicklung zusammen und unterstützt Head Coach Mike Tomlin bei gemeinschaftsbezogenen Veranstaltungen.

John Mitchell wurde mit der Klasse 2009 in die Alabama Sports Hall of Fame gewählt.