流れを切って申し訳有りませんがよろしくお願いします。

旦那の兄が結婚して、相手に連れ子がいるので突然一児の父親になりました。
旦那と義兄はもともと仲が良く、盆とGWと年末年始に義実家に集まるのと、年に2、3回泊まりか日帰りで趣味のスポーツをするために2人で出かけるくらいの交流でした。
私の認識としては、もうあちらにも家庭があるのだから少し距離をおいてあちらの団欒を邪魔しないようにしないとね、と思っていました。
しかし旦那の認識は、「向こうにも家族ができたし、これからは家族ぐるみで付き合って、子供同士もいとこ同士仲良く遊ばせたい」ということらしく、何かと接点を持ちたがります。
例えば、GW後半義実家に集まり食事会なのですが、義兄家族はそのまま義実家に宿泊します。
それで旦那も義実家に一緒に泊まりたがるのですが、普通の団地に10人集まることになり泊まるとするとこちらは授乳が必要な乳児がいるのにリビングで雑魚寝になる予定です。
私はその旨伝え、子供達も疲れてしまうからと宿泊を辞退して義両親も納得しているのに、旦那は何かにつけて私を説得しようと機会を伺ってる雰囲気を出して来ます。
また、GW前半に家族だけでドライブ旅行に行きましたが、その帰り道義兄家族が住んでいる隣県に差し掛かった時、本気か冗談かわからない感じで「兄貴の家寄ってく？」と言って来てイラっとしました。
兄貴の家と言っても、結婚相手と連れ子がもともと住んでいた家です。そこにアポなしで無遠慮に行けるわけないだろと。
そう言ったら、「そんなに避けなくても・・・」と残念そうに言われました。

とても長くなってしまいましたが、相談としては向こうの家族と距離を置きたい私と、家族ができたからこそお付き合いしたい旦那と、どちらの認識がおかしいのか。
また、旦那が義兄家族と付き合いたいそぶりを見せて来た時、気分を害さない程度に何かぴしゃりと言うセリフをアドバイスいただけたらと思います。
よろしくお願いします。