日記・・・思春期の頃親に読まれてしまったことがあります。
ぽん、と机に置きっぱなしにしていた私も私だけど・・すごく頭にきました。暴れましたね。ふふふ
似たようなもので携帯とか手帳とか、、たとえ家族でも本人の許可なく見てはいけないと思います。
夫のケータイがぽんとテーブルにおいていて、「なんかおもしろいメールが入ってんじゃないのお」と興味がわいてもイカンイカン百害あって一利なしとしらんふりします。

日記、手帳、手紙などを見るのは、「やってはいけないこと」だと思います。されたらイヤだし。
それに比べると、物を勝手に持ち出す（使う）のは、あまり気になりません。かなりパーソナルなものでも、なんとなく家族では共有しているものという感じがあるから、かな。
すべてが「私専用の××」「お父さん専用の○○」とかになっているのって、“家族っぽくない”感じがするんですが。