もう一度見てみましょう。
最初の過去分詞が一致しているのは、過去分詞（oublié）の前に直接目的語（m'=me=Laure）があるからです。
それに対して、２番目の文では、過去分詞は一致していません。それは、過去分詞(visité)の前に直接目的語がないからです。

これで謎が解けたね。助動詞avoirの場合は、いつも過去分詞が一致するわけじゃないんだ。
目的語に一致するということだが、厳しい条件があるんだ。

条件１　直接目的語でなければならない。
　　　    間接目的語では一致しない。

条件２　過去分詞の前になければならない。