Era bambino quando la sua famiglia si trasferì da Genova a Torino. Fu qui che Terracini, studente sedicenne, aderì alla Federazione giovanile socialista, diventando il segretario della locale sezione.

La sua propaganda contro la guerra gli procurò il primo arresto nel 1916 e, subito dopo, l'arruolamento e l'invio in zona d'operazione. Partecipò alla prima Guerra mondiale, come soldato semplice del 72° Reggimento fanteria, essendogli stata preclusa (per ragioni politiche), la nomina ad ufficiale.

Finito il conflitto si laureò in Giurisprudenza.

Amico di Antonio Gramsci, fu con lui promotore del settimanale L'Ordine Nuovo che, da rassegna di cultura socialista, divenne "organo dei Consigli di fabbrica".

Nel gennaio del 1921 Terracini, durante il Congresso socialista di Livorno, è tra i fondatori del Partito comunista d'Italia. Entrato nell'Esecutivo del nuovo partito svolge una notevole attività internazionale.

Terracini fu per l'ultima volta in Russia in occasione del V Congresso del Comintern del giugno-luglio 1924.

Tornato in Italia, nel dicembre fu arrestato. Catturato una seconda volta a Milano nel 1925, ebbe ancora modo di partecipare a Lille al Congresso del Partito comunista francese.

Poi, il 12 settembre 1926, la privazione della libertà, che si sarebbe conclusa soltanto con la fine della dittatura. Conclusione che avvenne in anticipo, rispetto ai 22 anni ai quali Terracini fu condannato, il 4 giugno 1928, dal Tribunale speciale di fronte al quale tenne, non un intervento a propria difesa, ma una memorabile requisitoria contro il fascismo.

Dopo i lunghi anni di carcere e di confino nell'agosto del 1943 Terracini torna in libertà.

Ma la situazione precipita e lui, comunista ed ebreo, deve cercare rifugio in Svizzera, mentre nel suo partito una commissione è incaricata di giudicarne le posizioni politiche.

Terracini non attende in Svizzera le conclusioni dell'inchiesta (che arriveranno, con la "riabilitazione", il 14 dicembre del 1944) e chiede ed ottiene, dal CLNAI di passare nella repubblica partigiana dell'Ossola, dove ha l'incarico di segretario della Giunta di governo. Dopo la Liberazione, Terracini entra nel Comitato centrale e nella Direzione del PCI. È capogruppo dei senatori comunisti per due legislature. Soprattutto è membro della Consulta e il 2 giugno 1946 è eletto presidente dell'Assemblea Costituente. È Terracini che appone la sua firma, con Enrico De Nicola e Alcide De Gasperi, alla Costituzione della Repubblica. Terracini  ha esercitato la sua professione di avvocato soltanto quando si è trattato di difendere i perseguitati, gli antifascisti, le vittime della violenza.