関係ないのです。enは名詞の性・数に関係なく使うことができます。それで、「中性代名詞」と呼ばれることもあります。名詞の性・数に応じて使い分けなければならないle, la, lesとこの点も違っています。また、enは中性だから、過去分詞の前に置かれても、過去分詞は一致しません。

J'ai visité la tour Eiffel il y a deux ans.
  →× Je l'al visité il y a deus ans.
    ○ Je l'al visitée il ya deux ans.

J'ai acheté des carottes.
  →○ J'en ai acheté.
    × J'en ai achetées.