Clarence Clemons, (apodado "Bigman", Gran Hombre) nació el 11 de junio de 1942 en New Jersey. Se crió en Norfolk County, Virginia, estando expuesto desde pequeño a la música Gospel; debido a que su padre era predicador bautista.
A pesar de que Clemons no tenía predilección por la música secular, sí que era consciente de la manera en que la música afecta a la gente. A los nueve años recibió un regalo inesperado, e indeseado, que supuso un momento crucial en su vida; su padre le regaló un saxofón. A este primer saxofón lo bautizó como Jerome.
Tras sufrir la influencia de Elvis Presley y principalmente de King Curtis, Clemons decidió que era preferible una carrera musical antes que otros trabajos a los que podía acceder. Por lo que se dedica en serio al saxofón. Compagina tocar en bandas de jazz con sus estudios en el instituto y con la práctica del fútbol americano.

Clemons obtiene mayor éxito en el deporte que en la música, por lo que deja de lado esta última. En su juventud gana una beca deportiva para la Universidad de Maryland, y abandona el instituto en un intento de llegar a ser profesional. Se trasladó a Nueva Jersey y jugó de offensive center and defensive end en los New Jersey Generals y en los Newark Bears. En la víspera de una prueba para el Cleveland Browns, del que los Newark Bears es filial, Clemons sufrió un accidente de automóvil que truncó su carrera deportiva.

Retomó el saxofón, refinó el sonido de su música y se sumergió en la escena musical de Jersey. También fue asistente social.
En octubre de 1972, conoce a Bruce Springsteen y se une a la E Street Band.
Sus interpretaciones al saxofón son un sonido característico de la E Street Band; siendo el solo que interpreta en la canción Jungleland uno de los más famosos y elogiados. En la banda toca principalmente el saxofón tenor; pero en ocasiones también ha tocado el soprano y el barítono. En canciones en las que no interviene el saxofón, suele tocar varios instrumentos de percusión.
Clemons tiene una relación con la banda más amplia que la personal; ofrece un contraste visual junto a Springsteen en los conciertos (además de en la carátula del disco Born to Run) y como favorito del público, siempre es el último músico presentado en las intruducciones de la banda, normálmente después de unos aduladores comentarios de Bruce Springsteen.

De 1981 a 1983 Clemons fue propietario de la sala de actuciones Big Man's West, situada en Red Bank, Nueva Jersey.
En 1982 Clemons formó su propia banda: The Red Bank Rockers, con la que publicó el álbum Rescue.
Clemons ha realizado grabaciones con numerosos artistas y ha participado en varios proyectos musicales. Como su dueto con Jackson Browne para el single You're a Friend of Mine y su interpretación al saxofón en el single Freeway of Love de Aretha Franklin, ambos trabajos son de 1985. Desde el año 2000 colabora con el grupo The Temple of Soul.
También ha realizado apariciones en películas y programas de televisión. Su debut en este mundo fue en el musical New York, New York de Martin Scorsese (1977), donde hacía el papel de un trompetista. También ha sido doblador invitado en un episodio de los Simpson.
Según la página web Smoking Gun, Clemons es el único miembro masculino de la E Street Band que disfruta de un camerino privado. En él, requiere las galletas Carr's Water y Caviar de Beluga. Adicionalmente, Clemons disfruta de un pollo entero asado puntualmente a las 9,45 durante cada actuación con la banda.
Desde el 5 de agosto de 2000 está casado con Elizabeth Connell-Barr y tiene tres hijos.