El nombre de la banda se inspiró en un artista amigo del grupo que padecía de esquizofrenia y que usaba el término black keys para describir a "las personas que no estaban del todo bien". Un doble significado también puede interpretarse como el hecho de que las teclas negras (black keys) de un piano comprenden la escala pentatónica de mi bemol menor, que se asocia frecuentemente con el blues y el rock.
El grupo editó su primer álbum The Big Come Up en el 2002, seguido por Thickfreakness en 2003 y Rubber Factory en 2004. En octubre de 2005 salió a la venta su DVD en vivo, Live que fue grabado en el Metro Theatre de Sídney el 18 de marzo del mismo año. Para 2006 editaron Magic Potion y el menos conocido EP Chulahoma.
Han logrado gran reconocimiento y aclamación por parte de la crítica desde que su álbum debut fuera ovacionado por la revista Rolling Stone. La revista Time los nombró como uno de los "10 mejores conciertos del 2003 (detrás de OutKast y The White Stripes). Han teloneado a varios grupos como Beck y Radiohead, han salido de gira con otros como Sleater-Kinney y participaron en el festival Lollapalooza de 2005. Además, recibieron gran apoyo del influyente locutor británico John Peel, aparecieron en el Late Night with Conan O'Brien y el Late Show with David Letterman
Robert Plant (el cantante de Led Zeppelin), Billy Gibbons de ZZ Top así como Thom Yorke y Jonny Greenwood de Radiohead, son fans de The Black Keys.

Kirk Hammett, el guitarrista de Metallica también ha declarado en una entrevista que disfruta de su música. Matt Helders, baterista de los Arctic Monkeys, fue visto con una camiseta del grupo en varios conciertos y en una entrevista para MTV. En los MTV Movie Awards 2012 Johnny Depp compartió escenario con ellos en dos canciones.