В «Невидимке» впечатлениям от Таскиги отведено немало места. Действие первой части происходит на Юге. Юный герой романа, приняв участие в унизительной «баталии», разыгранной для увеселения городских тузов, произносит, еле шевеля разбитыми в кровь губами, перед «высоким собранием» речь о социальной ответственности и новых возможностях, открывшихся перед чернокожими. «Отцы города» удостаивают его стипендии, и он едет учиться в негритянский колледж. Во второй главе описывается жизнь колледжа: цветущий кампус с клумбами и дорожками, часовня, котельная, студенческие общежития, памятник Букеру Т. Вашингтону, снимающему «покров невежества» с головы коленопреклоненного раба, больница для ветеранов неподалеку от университетского городка — все эти детали реального Таскиги Эллисон сохранил в романе, почти не изменив. Юный герой еще безоглядно верит в начертанный Основателем путь к успеху. Вначале ректор доктор Бледсоу считает его «многообещающим» и поручает ему ответственное дело — сопровождать богатого попечителя колледжа мистера Нортона, прибывшего с коротким визитом из Бостона. Подобные приезды «белых друзей» — попечителей и филантропов — были в Таскиги в порядке вещей.
Как известно, замысел романа возник у Эллисона после того, как в 1945 году он вместе с женой Фанни провел несколько недель в Вермонте, где, приобщившись к духу Новой Англии и познакомившись с культурой ее «золотых дней» (так известный критик Льюис Мамфорд назвал время, когда Новая Англия переживала свой расцвет, когда здесь жили и творили Эмерсон и Торо), восхитился возвышенными нравственными идеалами трансценденталистов, сохранивших лучшее из наследия пуритан. Эпизод знакомства героя — скромного темнокожего студента — с мистером Нортоном, богатым бостонцем и попечителем колледжа, был написан Эллисоном в самом начале работы над романом. Образ мистера Нортона несет особую смысловую нагрузку, передавая убежденность Эллисона в том, что столь сильный в XIX веке дух аболиционизма переродился в прекраснодушный и недальновидный филантропизм. Неслучайно в притоне с говорящим названием «Золотые дни» Нортона осмеивают и унижают цветные ветераны войны. Мистер Нортон — марионетка в руках хитрого чернокожего трикстера[2] ректора Бледсоу. Неудивительно, что он и его приспешники сразу же изгоняют наивного героя романа из колледжа как «опасный элемент»: подчинившись желанию гостя, он простодушно показал белому филантропу не «потемкинскую деревню», а кусочек настоящей, без прикрас, жизни чернокожих на Юге.
Хотя Эллисона не исключали из Таскиги, он, как и Невидимка, покинул университет, не закончив обучения. Летом 1935 года он отправился в Нью-Йорк и назад, в Таскиги, больше не вернулся. Вся дальнейшая его жизнь оказалась связана с Нью-Йорком — приехав туда двадцатидвухлетним юношей, он остался там навсегда. Элиссону очень повезло — он сразу же встретился со знаменитым поэтом, одним из корифеев Гарлемского возрождения, Лэнгстоном Хьюзом. Через Хьюза Эллисон завязал первые знакомства в литературном мире, в том числе с восходящей звездой афро-американской прозы Ричардом Райтом. Под влиянием Хьюза и Райта Эллисон увлекся марксизмом и социализмом. Он проводит много времени в редакции «Дейли уоркер», следит за публикациями в журнале «Нью массиз», посещает собрания радикалов в Гринич-виллидж, зачитывается книгой Джона Стрейчи «Литература и диалектический материализм». К этому же времени относятся первые пробы пера: по просьбе и при поддержке Райта Эллисон начинает публиковать рецензии и пытается сочинять рассказы. Он подражает «жесткому стилю» Хемингуэя и натурализму Райта. Влияние «романа протеста» особенно заметно в его ранних рассказах: «Бык Хайма», «Тилман и Тэкхед», «Черный шар» — и набросках так и не написанного романа «Слик». Его герои — рабочие, бродяги-хобо, обитатели гетто, чьи судьбы типичны для эпохи Великой депрессии. Как и Ричард Райт, Эллисон рисует картины нищеты и убожества, использует негритянский диалект, стремится к точности и достоверности факта.