30 апреля 1871 года после долгих и мучительных схваток Екатерина Михайловна Долгорукова родила сына. Это случилось в Зимнем дворце, в бывшем кабинете Николая I. Роды проходили трудно. Александр, не боявшийся выстрелов в упор, теряя самообладание, держал роженицу за руки и, как мог, нежно ободрял и успокаивал. Наконец появились доктор и бабка-повитуха.
Было воскресенье, и царь должен был стоять обедню. Александр оставил мать и ребенка, поручив их заботам своего доверенного друга и конфидента генерала жандармерии Рылеева – внучатого племянника казненного декабриста. Генерал жил в глухом переулке, и никто не заметил, как туда доставили новорожденного. Тотчас же возле здорового и красивого мальчика появилась кормилица, а чуть позже и гувернантка-француженка. Через несколько дней его крестили, назвав Георгием.
Одним из первых о рождении Георгия узнал германский посол князь Рейс. Он сообщил об этом своему правительству и некоторым русским придворным. От них новость пошла кругами и дошла до царской семьи. Волнение ее членов было необычайно сильным. Особенно потрясены были цесаревич Александр, его жена и обманутая императрица. Братья царя Константин и Николай, 66-летняя тетка, великая княгиня Елена Павловна, вдова великого князя Михаила Павловича, бывшая по возрасту старшей в императорском доме, собравшись вместе, не только возмущались и негодовали, но и высказывали серьезные опасения по поводу возможных конфликтов и неожиданных ситуаций. Они были единодушны в том, что ни Георгий, ни его мать ни в коем случае не будут введены в царскую семью и останутся вне династии.
Императрица Мария Александровна, узнав о рождении Георгия, заболела еще сильнее, но ни с кем не обмолвилась по этому поводу ни единым словом. Позицию царской семьи разделяла и вся родовая знать Петербурга. Воронцовы, Шуваловы, Куракины, Панины, Орловы-Давыдовы, Барятинские, Дашковы и многие другие единодушно осуждали царя и жалели государыню и цесаревича, оказавшихся в сложном и щекотливом положении. И даже ближайшие к Александру графы отец и сын Адлерберги не могли занять другой позиции.
Пересуды еще не замолкли, как Александр и Долгорукова подбросили новую охапку хвороста в жарко пылавший костер сплетен: в конце 1873 года Екатерина Михайловна родила девочку, названную Ольгой.
После этого страсти ревнителей семейной чистоты закипели с такой силой, что управляющий Третьим отделением граф Петр Шувалов вынужден был поставить царя в известность о том, что говорят о нем и его личной жизни в Петербурге, в России и за границей. Царь холодно выслушал Шувалова и ясно и определенно дал ему понять, что в свою личную жизнь не даст вмешиваться никому.
Непрошеная инициатива стоила Шувалову места. Через несколько месяцев Александр совершенно неожиданно для Петра Андреевича, не спросив у него ни совета, ни согласия, назначил его послом в Лондон. А на его место поставил дотоле скрывавшегося в тени, скромного и незнатного службиста – виленского генерал-губернатора, генерал-майора Александра Львовича Потапова, который был весьма маленького роста и потому имел среди товарищей прозвище «Потапенок». Однако были у него большой ум, великая хитрость и неуемное стремление к власти, коей он добивался тонкими интригами и огромным трудолюбием. Кроме того, был он честен, ко взяточникам совершенно безжалостен и более всего предан карьере и службе. Потапов всем устраивал Александра, да и Шувалов не был уж совершенно обижен, так как в Лондоне его ожидало достаточно важное, ответственное и престижное место русского посла в самой богатой и сильной стране мира – Британской
империи.
Когда Георгию пошел четвертый год, Александр решил озаботиться статусом его и Ольги. В силу самодержавной власти российский император имел право издавать любой закон, причем независимо от того, противоречит ли новый закон прежним или только дополняет или изменяет их. Поэтому Александр был волен дать своим детям любой статус, и он избрал оптимальный вариант: 11 июля 1874 года в Царском Селе он издал указ, намереваясь направить его в Сенат. Этим указом предписывалось: «Малолетним Георгию Александровичу и Ольге Александровне Юрьевским, даруем Мы права, присущие дворянству, и возводим в княжеское достоинство с титулом Светлейших. Александр».