Twitterで困っています

私は絵を描いています
それで食べていくほどではないですが、本業と比べてお小遣いぐらいにはというレベルです
好きなので楽しんではいますし、本業でも絵が役立つ場面があるのでその点も大きいです
そのことで依頼やらのためにしています
その中で仲良くなった方がいたのですが、話すことも最近なくて疎遠になっていました

そしてある日その方から
なんで俺には対応してくれないの？
というリプライをもらいました
別に無視していたわけでもなく、単に話すことなかったし向こうから話しかけられたわけでもありません
たまーにリプあっても月1とかそんな感じの人
一度だけダイレクトメールで好きな漫画が一致したことでの長話したことあったかなぐらい

無視していたわけではないといって対応したのですが、その日からその人の私に対する（私しか該当しないものをを主語に置く）エアリプが増えました
あんなこと言ったから俺に裏で悪口言ってる、他のやつとは仲良くしてる、だのそんな感じです

そしてなんだか少し嫌になって依頼が切れたタイミングでTwitterを開かなくなりました
ある日メールで依頼が来ました（上で挙げた方と違う方）
具体的なことはdmでいいですか？ということだったので、久々にTwitter開いたら、上記の方からもdmがきてました

依頼の方は特に問題のあるものではなかったので割愛しますが、dmにおいて俺のせいでTwitterやらなくなったの？とかそんなこと言われてたので、やりたくなかったからやらなかったし、あんなこと言われたくない、迷惑と返しました
本人としては口下手で伝えたいことを伝えられないし悪口のつもりがなかったそうで、私もそういう部分は感じたものの迷惑なのは事実だと言いました
そもそも私は裏で彼の悪口を言ったことはないというか、他の人と話題になったこともありませんし、仲良くしていた他の人はその人より年単位で付き合いの長い人がほとんど

そしたら謝られました
しかしその後もなんだかんだでエアリプが続き、不快なのでブロックしました
そしたら今度は別垢でブロックした？なんで？という感じ
後から分かったけどリプライを無視していたから気づいた模様
エアリプはあなたに対して言ったわけじゃないと釈明をもらいましたが
かなり無理やりな理屈と感じましたが

その後も2、3日休むたびに同じことがあります
元々本業がコロナで在宅だったので毎日やってましたが、そんなこともあるし本業も忙しいと言っても信じてくれません

主にネット小説の挿絵等の依頼を受けているのですが、その人たちに対してもすでにおそらく本人的には無意識な嫌味エアリプがされています
鍵垢もありますが、既に存在は把握されている模様（おそらくフォローしているアカウントでの把握、ほとんど呟かないので内容を知られているかは不明）

そう言った方に対する対応をネットで調べたところ、無視せず強くnoということが大事というのが多く見つかりましたが、私なりに拒否の姿勢を見せたつもりです

しかし、もしこれで足りないのであればどう言った言い方をするのが適切なのでしょうか？