Эллисон родился и вырос на западе США, в Оклахоме, где и в 1910–1920-е годы сохранялся дух американского Фронтира, дух пионеров, охотников и первопоселенцев, дух, который Эллисон считал квинтэссенцией американского национального характера. Эллисон гордился тем, что в его жилах течет не только негритянская и англо-саксонская, но и индейская кровь. Его отец, Льюис Эллисон, мог бы легко пересечь «линию цвета» и выдать себя за белого, но вместо этого предпочел остаться цветным и женился на темнокожей Иде Уоткинс. От этого брака родились двое сыновей. Ральф пошел в мать, а младший, Герберт, которого в семье прозвали Геком Финном, оказался голубоглазым и рыжеволосым, хотя черты лица выдавали его негритянское происхождение. Пристрастие к литературным именам вообще отличало Льюиса Эллисона, человека образованного и начитанного. Старшего сына он назвал Ральф Уолдо Эллисон в честь великого американского мыслителя и писателя-романтика Ральфа Уолдо Эмерсона. Ральф родился 1 марта 1913 года, а в 1916 году его отец погиб в результате несчастного случая. После смерти кормильца семья была вынуждена бороться за существование. Ида Эллисон не гнушалась никакой работой, была и прачкой, и консьержкой, и уборщицей. Еще учась в школе, Ральф знал, как достаются деньги: подрабатывал дворником, лифтером, мыл посуду, чистил на улице ботинки. Честолюбивый подросток уже тогда мечтал об успехе и всемирной славе — он видел себя великим композитором, автором симфоний и кантат или в крайнем случае знаменитым исполнителем. Днем он брал уроки классической музыки, а по вечерам слушал звуки джаза, которые доносились из клубов и театров. В 20-е годы в Оклахоме жили и выступали такие звезды, как блюзовый певец Джимми Рашинг и гитарист Чарли Кристиан. О них Эллисон впоследствии напишет статьи: «Золотой век, былое время», «Вспоминая Джимми», «История Чарли Кристиана», «Жизнь с музыкой».
В 1933 году двадцатилетний Ральф подал заявку на обучение в университет Таскиги и через несколько месяцев узнал, что ему дали стипендию. Денег на билет до Алабамы у него не было, и он решился поехать «зайцем» в товарных составах. Несколько дней он провел в дороге в обществе бродяг — хобо, познакомился с их опасным и романтическим образом жизни и, наконец, благополучно прибыл на крайний Юг, в старейший негритянский университет, где ему предстояло в течение двух лет учиться музыке по классу трубы и выступать с университетским оркестром.
Таскиги был основан в 1882 году выдающимся негритянским деятелем Букером Т. Вашингтоном. Идея университета полностью отвечала идеологии его создателя — «сегрегация во имя будущей интеграции». По мнению основателя Таскиги, едва сбросивший иго рабства отсталый негритянский народ не в состоянии немедленно интегрироваться в американское общество. Необходимо, опираясь на собственные силы и белый патронаж, «стать вровень с белыми». Только тогда будет возможен следующий шаг — плавное постепенное слияние «белых» и «черных» общественных структур. Первым этапом должно было стать появление сегрегированного истэблишмента «только для черных», включающего бизнес, здравоохранение, социальное страхование, культуру и, конечно, образование. Задача негритянского народа — создать свой средний класс, вырастить своих предпринимателей, учителей, врачей, инженеров. Этой задаче было подчинено обучение в Таскиги — негритянской молодежи надлежало в первую очередь получать не теоретические знания, а практические навыки. Основатель Таскиги, мастер компромисса, больше говорил об обязанностях, недостатках и возможностях негров, чем об их правах, бедах и трудностях. Букер Т. Вашингтон, бывший раб, ставший одним из самых влиятельных людей в Америке, делал ставку на труд, самосовершенствование, дисциплину и образование как способ решения расовой проблемы. Он проповедовал оптимизм, лояльность, уважение к закону, верность «белым друзьям». Его программу щедро финансировали филантропы Юга и Севера, в числе которых были Карнеги, Виллард, Розенвальд.