Attore dilettante durante gli anni della scuola, Gleason iniziò a lavorare all'età di tredici anni ed esercitò i più svariati mestieri, dal fattorino al lift, prima di arruolarsi sedicenne e servire nelle Forze Armate tre anni nelle Filippine. Al rientro dal servizio militare intraprese la carriera di attore e lavorò sui palcoscenici di Londra per due anni, prima di tornare negli Stati Uniti, dove lavorò durante gli anni venti scrivendo commedie di successo per Broadway, e debuttando nel cinema come sceneggiatore e soggettista all'epoca degli inizi del sonoro[1].
L'esordio cinematografico di Gleason come interprete risale al 1927 con il film The Count of Ten (1928), prodotto dalla Universal Pictures, mentre l'anno successivo l'attore apparve in un breve ruolo non accreditato nel musical La canzone di Broadway (1929), il secondo film della storia del cinema a vincere l'Oscar al miglior film dell'anno, a cui collaborò anche come coautore dei dialoghi. Per Gleason fu l'inizio di una carriera che gli assicurò un posto tra i più bravi ed apprezzati caratteristi del cinema americano[2], e gli fece guadagnare l'appellativo di "dinamite irlandese"[1], specializzato in ruoli di dinamici "duri" metropolitani, dall'apparenza burbera ma fondamentalmente di buon cuore (sbirri, ladri, giornalisti, mafiosi del ring)[2].
Di corporatura smilza, con la voce roca e il volto magro dai lineamenti affilati, Gleason conferì un dinamismo tutto irlandese ai suoi arcigni personaggi di detective e tutori della legge[3]. Uno su tutti fu l'ispettore di polizia Oscar Piper in una serie di sei pellicole poliziesche tratte dai romanzi di Stuart Palmer e incentrate sulla figura dell'investigatrice dilettante Hildegarde Withers (Edna May Oliver), la prima delle quali fu Penguin Pool Murder (1932). Ma innumerevoli altri furono i suoi ruoli di supporto, dal venditore di hot dog in Primo amore (1934) con Janet Gaynor, al manager di boxe Max "Pop" Corkle ne L'inafferrabile signor Jordan (1941), che gli valse una candidatura all'Oscar come miglior attore non protagonista, al tenente Rooney in Arsenico e vecchi merletti (1944) di Frank Capra, al lattaio che prende a benvolere Judy Garland e Robert Walker in L'ora di New York (1945).
Gleason conobbe la moglie Lucile Webster quando entrambi si trovarono a recitare nella compagnia di repertorio gestita dal padre di lei[2]. Si sposarono nel 1905 ed ebbero un unico figlio, Russell, nato nel 1908 a Portland (Oregon) durante una tournée. Il ragazzo seguì le orme dei genitori, con i quali apparirà in The Higgins Family (1938) e in altre commedie della serie[1]. Russell divenne celebre con il ruolo del soldato tedesco Müller, lo studente sognatore in All'ovest niente di nuovo (1930), il capolavoro antimilitarista di Lewis Milestone, e in seguito sposò Cynthia Lindsay, chorus girl di Busby Berkeley. La sua esistenza si concluse tragicamente la notte di Natale del 1945: Russell Gleason morì dopo essere caduto da una finestra al quarto piano dell'Hotel Sutton di Manhattan, dove si trovava acquartierato con altri componenti del suo reggimento, l'Army Signal Corps Photo Center dell'Astoria Studio, in attesa di partire per l'Europa[2]. La sua morte venne definita accidentale, ma si parlò anche di suicidio, senza però giungere a una definitiva spiegazione dell'accaduto.
Lucile Gleason, che aveva interpretato il ruolo di Tess in Klondike Annie (1936), accanto a Mae West, fu una donna politicamente impegnata, si candidò per la Camera in California e ricoprì il ruolo di presidente della Screen Actors Guild. Morì nel 1947[4].
James Gleason morì il 12 aprile 1959[5], all'età di settantasei anni. È sepolto all'Holy Cross Cemetery di Culver City (California), accanto alla moglie.
Nelle versioni in italiano dei suoi film, James Gleason è stato doppiato da:
Amilcare Pettinelli in Agguato sul fondo, Arsenico e vecchi merletti, Capitano Eddie, La gioia della vita, Esecuzione al tramonto, Amami teneramente, Testamento di sangue
Lauro Gazzolo in L'inafferrabile signor Jordan, Joe il pilota, La fortuna si diverte, Gangsters in agguato, La morte corre sul fiume, L'ultimo urrà