インターフォンのモニターにちょっとでも不審な人物が写っていたら、躊躇なく居留守を使いましょう。

本当にきちんとした用件のある人だったら、郵便受に不在連絡票を置いていきます。
それを検分してから対応しても全く遅くありません。

・・・私は以前金髪ヤンキーのお兄ちゃん（見た目）に対してそれをやったら、後から制服を着崩していたAmazon配送員だったと分かったことがありました。
でも宅配ボックスに入れて行かれたから支障なし。