Nejstarší zpráva o dosazení kněze k tomuto kostelu pochází z r. 1358. V tarasu kostela na náměstí v Žirovnici je zasazena deska se znakem prvního počáteckého děkana Víta Bernarda Loutkovského, který zemřel po r. 1670.

Jak již bylo zmíněno, z nápisu na zvonu, nacházejícího se ve věži farního kostela a pocházejícího z r. 1638 vyplývá, že Loutkovský byl tehdy v Žirovnici farářem.

O deset let později byl kostel sv. Filipa a Jakuba pouze filiálním, zřejmě také v důsledku jeho zchátralosti či poničení za švédského vpádu, takže byl včleněn do počátecké farnosti, protože v době děkanova úmrtí byl počátecký kostel také v troskách, našel Loutkovský své poslední spočinutí v kostele žirovnickém.

Starý a léty zanedbaný kostel byl obnoven za hraběte Františka Leopolda ze Šternberka a tak se stal opět farním. Jelikož později již svojí velikostí nevyhovoval, bylo rozhodnuto jej zbořit a postavit kostel nový.  A to kostel s věží osazenou věžními hodinami vystavěn v novogotickém slohu v roce 1872.