Apparu pour la première fois avec un remix de Never Be Alone, une composition du groupe Simian sorti en 2003 sur le label Ed Banger Records, ce maxi comprenait aussi le remix de Steamulation du groupe Gambit mais également Anything Is Possible, un titre de DJ Mehdi extrait de son premier album solo : The Story Of Espion. Durant l'été 2006, le morceau Never Be Alone est ressorti en CD 2 titres sous le nom de We Are Your Friends, édité cette fois-ci par Ten Records, un sous-label de Virgin Records.
Après le succès de Never Be Alone, Justice a travaillé sur des remixes de musiques appartenant à des groupes tel que Vicarious Bliss et Scenario Rock mais également sur des titres d'artistes plus grand public tel que Britney Spears, N*E*R*D, Fatboy Slim ou les Daft Punk. La première production originale de Justice se nomme Waters Of Nazareth et est disponible depuis septembre 2005, de nouveau sur le label Ed Banger Records, Le titre est ressorti en 2006 avec des remixes de Erol Alkan, DJ Funk et des Justice eux-même ! Le duo à ensuite continué un travail prolifique de remixes pour Franz Ferdinand, The Mystery Jets, Soulwax ou encore Mr. Oizo.
Justice a remporté la récompense du meilleur clip aux MTV Europe Music Awards 2006, pour Justice vs. Simian - "We Are Your Friends". Le prix a été accepté par un des réalisateurs de la vidéo, Jérémie Rozan.
En 2007, Justice travaille sur un mix pour Fabriclive, une célèbre série de compilations londonienne. Le 30 avril, un maxi "D.A.N.C.E" sort. Après un dj set au Printemps de Bourges en avril, le duo affiche complet à l'un de leurs premiers grands show, à la Cigale de Paris, le 7 juin 2007. Le groupe entamera par la suite une série de festivals à travers l'Europe (festival des vieilles charrues, Eurockéennes de Belfort, Field Day à Londres, Pantiero à Cannes, etc.) mais également en Amérique du Nord (Coachella). Leur premier album, nommé "†" (prononcé Cross en anglais), est sorti le 11 juin 2007 en Europe.
Le 1er Novembre, le groupe remporte à Munich aux MTV Europe Music Awards la récompense du meilleur clip pour leur titre D.A.N.C.E. réalisé par Jonas & François à partir des dessins du graphiste So_Me, ainsi que le titre de meilleur artiste Français. Un nouveau maxi sort à la fin de ce même mois, reprenant les deux parties du titre Phantom ainsi que deux nouveaux remixes par Soulwax et Boys Noize.
