Глисон родился в Нью-Йорке, в семье Мины (урожденной Кролиус) и Уильяма Л. Глисона. Выходец из театрального сословия, будучи школьником, он выступал на сцене во время каникул. Он начал зарабатывать себе на жизнь в возрасте тринадцати лет, работая посыльным, печатником, помощником в магазине электротоваров и лифтером. Он поступил на службу в армию Соединенных Штатов в возрасте 16 лет и прослужил три года на Филиппинах. После увольнения он начал свою сценическую карьеру, позже занявшись ею профессионально. Он играл в Лондоне в течение двух лет, а после возвращения в Соединенные Штаты начал сниматься в фильмах, написав диалоги для комедий. Он написал ряд пьес, некоторые из которых были показаны на Бродвее. Он также играл на Бродвее, в том числе в нескольких своих собственных пьесах. Когда началась Первая мировая война, Глисон вновь записался в армию Соединенных Штатов и прослужил до конца войны. Его дебют в кино состоялся в фильме "Полли в безумствах" (1922), в главной роли Констанс Талмедж. Лысеющий и стройный, с хриплым голосом и мастером дубляжа, Глисон изображал жестких, но добросердечных персонажей, обычно с нью-йоркским фоном. Он был соавтором "Бродвейской мелодии", второго фильма, получившего премию "Оскар" за лучшую картину, и сыграл в нем небольшую неаккредитированную роль. Он также был соавтором и ненадолго появился в качестве продавца хот-догов в 1934 году, когда Джанет Гейнор изменила свое мнение. Он снялся в нескольких фильмах со своей женой Люсиль. ВВ фильме "Часы" (1945) он сыграл водителя тележки с молоком, который дает уроки брака персонажам, которых играют Джуди Гарланд и Роберт Уокер, в то время как Люсиль сыграла его жену. В том же году он сыграл бармена в экранизации фильма "Дерево растет в Бруклине". В классическом фильме Фрэнка Капры "Познакомься с Джоном Доу" он сыграл циничного, "сваренного вкрутую" редактора, привлеченного для накачки газеты, которая публикует историю "Джон Доу". Глисон был номинирован на премию "Оскар" за лучшую мужскую роль второго плана за роль менеджера по боксу Макса "Попа" Коркла в фильме 1941 года "Вот идет мистер Джордан". Он снялся в двух киносериалах, сыграв инспектора полиции Оскара Пайпера в шести мистических фильмах Хильдегарды Уизерс в 1930-х годах, начиная с убийства в бассейне с Пингвинами, и Джо Хиггинса в первых семи из девяти фильмов о семье Хиггинс, в которых его жена Люсиль и сын Рассел сыграли Лил и Сидни Хиггинс. Одна из самых известных ролей Глисона-дядя Берди, добросердечный капитан корабля, страдающий от алкоголя и воспоминаний о своей умершей жене, в классическом фильме Чарльза Лафтона "Ночь охотника" (1955). Глисон также выступал в других средствах массовой информации. В 1931 году он снялся вместе с Робертом Армстронгом в радиоситкоме "Глисон и Армстронг". Его телевизионные титры включают несколько эпизодов "Подарки Альфреда Хичкока", юридическую драму Рида Хэдли "Общественный защитник" и сериал азбука "Настоящие Маккои". В "Ребенке", рождественском эпизоде 1957 года "Беспокойный пистолет" Джона Пейна на канале Эн-би-Си, Глисон и Энтони Карузо сыграли римско-католических священников, которые управляют детским домом. Дэн Блокер, только начинающий свою актерскую карьеру, также снялся в эпизоде в качестве гостя. За свой вклад в киноиндустрию Глисон получил звезду на Голливудской Аллее славы на Голливудском бульваре 7038.У Джеймса и Люсиль Глисон был сын, актер Рассел Глисон. 26 декабря 1945 года младший Глисон находился в Нью — Йорке в ожидании отправки в Европу со своим полком, когда он выпал из окна четвертого этажа отеля "Саттон", который армия реквизировала для размещения войск, что привело к его смерти. Сообщения были разными, некоторые говорили, что падение было случайным, в то время как другие утверждали, что это было самоубийство. Наиболее заметной ролью Рассела была роль Мюллера в удостоенной премии "Оскар" версии "Все тихо на западном фронте" (1930). Рассел Глисон был женат на Синтии Хобарт (позже ставшей Синтией Линдсей), пловчихе и каскадерке, которая позже написала биографию друга семьи Бориса Карлоффа.