Taking Back Sunday comenzó en noviembre de 1999 tomando como referencia a bandas de hardcore punk como Lifetime y Endpoint y el emo que creó Sunny Day Real Estate. Sin embargo, su primer material no vería la luz hasta 2001, año en que lanzan su primer EP autotitulado Taking Back Sunday, al que le seguiría Lullaby EP. Después, la banda estaría de gira por el país con bandas ya consagradas como At the Drive-In y Alkaline Trio. Durante los comienzos, y en los años siguientes, la banda sufrió cambios en su formación. Originariamente TBS (Taking Back Sunday) estaba formada por Eddie Reyes en la guitarra, John Nolan también en la guitarra y como cantante secundario, Jesse Lacey en el bajo, Antonio Longo como cantante principal y Stevie D. en la batería. En diciembre de 2000 y con los EP's ya grabados pero aún sin lanzar, la banda pierde al bajista Jesse Lacey (quién formaría después otra importante banda dentro de la nueva oleada punk pop y del rock alternativo, Brand New) y al cantante Antonio Longo. Serían sustituidos, respectivamente, por Shaun Cooper y Adam Lazzara.

La nueva banda que creo Jesse Lacey "Brand New" hizo una cancion llamada "Seventy Times Seven" en la que hace clara referencia a la forma en que termino la relacion con la banda TBS. Taking Back Sunday sin quedarse atras, le responde de la misma manera haciendo la cancion "Theres no I in Team".

Fred Mascherino ex integrante de la banda forma su proyecto alterno The Color Fred (2008)

El 5 de mayo de 2008, TBS anunció en su web oficial que Matthew Fazzi era el nuevo guitarrista de la banda.