いえいえ、そんなことはありません。
le, la, lesは、人を表す名詞だけでなく、人以外のものを表す名詞の代わりをすることもできます。

－Tu prends le métro à Saint-Michel ou à Odéon ?
きみが地下鉄に乗るのはサンミシェルですか、それともオデオンですか？
－Je le prends à  Odéon.
私はそれにオデオンで乗ります。

－Vous lisez le journal le matin ou le soir ?
あなたが新聞を読むのは朝ですか、それとも夜ですか？
－Je le lis le soir.
私がそれを夜読みます。