Jeg forstår godt dine følelser omkring det. 
Min mand har ingen børn, så jeg har ikke erfaring på den måde. Men jeg er selv eks-kone med et barn som har to familier, der skal fungere sammen.
Hvis det var en tradition der havde kørt siden de gik fra hinanden, ville jeg ikke blande mig. Men jeg er enig med dig i, at der ikke er nogen grund til at starte op på det nu, hvor der er gået så lang tid og I har hver jeres "nye familie". Og barnet har vænnet sig til, at det er sådan. - Med mindre det er fordi I alle 4 har lyst til at spise sammen, det ville være noget helt andet.
Der er masser af andre måder at vise barnet, at I godt kan sammen.
De første år, hvor både min eks og jeg var alene gjorde vi mange ting sammen - spiste aftensmad, tog på ture, holdt jul osv. Vi tog endda på ferie sammen flere gange.
Men det har hele tiden ligget i baghovedet på os begge to, at der måtte skrues ned for det når der kom nye partnere ind i billedet. Og det har vi gjort - stille og roligt så det ikke har været tydeligt for vores søn, at det har noget med "de nye" at gøre.
Dvs. at vi ikke ses privat på den måde mere, men vi viser ham i vores væremåde, ord og handlinger at vi stadig er gode venner. Taler pænt om og til hinanden. Er der forældremøde eller skole-hjem samtale, så kommer både far og jeg. Til hygge-arrangementer på skolen kommer vi så vidt muligt alle 4 - plus fars kærestes søn.
Vi snakker sammen flere gange ugentligt, enten far eller hans kæreste og jeg, om praktiske ting. Eller når der skal hentes/afleveres. Når de skal noget, kommer bonusbror ofte herover og sover.
Jeg tror ikke du risikerer at barnet støder dig fra sig, men jeg ville helt ærligt også synes at det var irriterende hvis min mand en gang hver eneste uge skulle hjem og spise hos en eks... 
Min søn har et par gange spurgt hvorfor vi ikke bare kan tage på ferie sammen ALLE sammen - altså ikke kun ham, mig og og far. Det synes han kunne være vildt hyggeligt, helst alle sammen i een seng med ham i midten!
Men det har ikke krævet meget mere forklaring end at nu bor far sammen med x - og så vil de gerne på ferie sammen. Og vi bor sammen med y, og så vil mor helst på ferie med ham. Men far og mor er stadig rigtig gode venner, de er bare ikke kærester mere. Til gengæld får vores søn 2 * ferie.
Og nu er det bare sådan det er. Nogle gange er det ikke så kompliceret for børn, som vi gør det til i vores hoveder.