Эммануил Виторган был женат три раза и имеет четверых детей. Первой его женой стала Тамара Румянцева, ещё в студенческие годы пара поженилась, а в 1966 году родилась их дочь Ксюша. Однако, когда девочке исполнилось 5 лет Эммануил влюбился в актрису Аллу Балтер и ушел к ней.
Маленькая Ксюша долгое время не понимала где отец, позже , когда мама ей все объяснила она не хотела в это верить, пережила огромный стресс и мама даже в прядке ее волос нашла седой волос. Тамара какое — то время не разрешала видеться Эммануилу с дочерью и пыталась его таким образом получить. В 1988 году Ксения собралась замуж и пригласила отца по звонку в Петрозаводск на свадьбу. Виторган обрадовался и позже после свадьбы пригласил их с мужем и внучкой в Москву.
Вроде как общение наладилось, но на какой-то момент Эммануил пропал с поля зрения. И тут опять помириться отцу и дочери помогла третья жена актёра Ирина Млодик, которая утверждала, что они обязаны общаться. Но СМИ и телевидении в конечном итоге все равно поссорили родственников. Из телевидения позвонили Ксении и пригласили ее на съёмки якобы про фильм Виторгана, но на деле оказалось, что телевезионщики подстроили все так, что якобы Ксения пришла бороться за квартиру для дочери от Виторгана.
Разразился большой скандал, Ирина Млодик обвинила Ксюшу и попросила больше не звонить им. Ксения очень сожалеет , что так вышло и надеется, что когда — нибудь отец выйдет с ней на связь и она сможет ему все объяснить.
