Trascorse l'infanzia in convento a causa della prigionia della madre Caterina Sforza presso i Borgia, e quando ella morì nel 1509, la tutela dell'undicenne Giovanni spettò a Jacopo Salviati, marito di Lucrezia de' Medici, la figlia del Magnifico. L'intemperanza del ragazzo lo condusse, nel 1513, a essere iscritto nella milizia pontificia grazie all'intercessione di Jacopo presso papa Leone X (che tra le altre cose era anch'egli un Medici).

Giovanni era l'espressione umana dell'aggressività, della passione, della guerra e dell'ardore per il combattimento. Già nel 1511 aveva ucciso un suo coetaneo in una rissa di strada, e ancora anni dopo, a Roma, durante il suo servizio militare per il papa, attaccò briga e trapassò con la spada un esperto comandante, quando aveva ancora diciassette anni.

La guerra contro Urbino del 1516 fu il suo banco di prova come soldato; nonostante la sua turbolenza fu addirittura in grado di educare molti dei suoi uomini alla disciplina e al rigore militare, ma soprattutto vide come ormai l'utilità della cavalleria pesante era giunta al suo termine a causa dello sviluppo delle armi da fuoco. Questo dettaglio fu essenziale nel condizionare le sue scelte al momento di comporre una propria compagnia; decise di utilizzare cavalli arabi, piccoli e veloci, perfetti per l'attività di avanguardia, la guerriglia e le imboscate. Il mestiere delle armi era ormai mutato.

Nel 1521, morì papa Leone X, e Giovanni, in segno di lutto fece annerire le sue insegne, decretando così l'appellativo che i posteri gli affibbiarono, delle Bande Nere. Alcuni storici non concordano in merito e ritengono che il soprannome gli venne attribuito per via della pratica di brunire le armature dei suoi soldati così da non esser visti di notte durante le imboscate.

Dopo anni di lotte contro la Francia, nel 1526, lo scacchiere italo-europeo si ribaltò nuovamente, come accadeva di consueto all'epoca, e il nuovo papa Clemente VII si schierò con Francesco I contro l'imperatore Carlo V. Chiaramente Giovanni venne messo a capo delle truppe pontificie. All'arrivo nel nord Italia delle forze imperiali, nettamente in vantaggio numerico, Giovanni non si ritirò, anzi le attaccò a Governolo. I lanzichenecchi guidati dal generale Georg von Frundsberg riuscirono ad attraversare il dominio dei Gonzaga senza incontrare ostacoli e a ricevere in tempo per la battaglia, probabilmente da Alfonso I d'Este, Duca di Ferrara, un parco di falconetti nuovi.

Il 25 novembre, a Governolo, la presenza imprevista dell'artiglieria nei ranghi imperiali spezzò la schiena alle tattiche di Giovanni, il quale, colto di sorpresa, dovette interrompere alla meno peggio l'attacco della sua cavalleria e approntare la ritirata di gran carriera; nella confusione della battaglia uno dei falconetti lo colpì alla gamba. Giovanni venne subito trasportato a Mantova, dove però il medico curante non ebbe altra scelta se non amputargli l'arto ferito. Purtroppo, anche con questa drastica operazione, la cancrena non si arrestò e fece spirare il grande condottiero il 30 novembre.

Per paura che le sue gesta non bastassero a consegnarlo alla memoria eterna della storia, Machiavelli lo definì come l'unico uomo in grado di difendere gli stati peninsulari dalla minaccia imperiale tedesca; ed effettivamente ebbe ragione.