Bekannt ist der Ort durch die etwas abseits gelegene ehemalige Wallfahrtskapelle St. Katharina, die angeblich 1325 erbaut worden sein soll. Im 16. Jahrhundert ist die Capeln bey Wallerßberg zu sant Katharine gnant, welche die Graffen von Tründingen gestift, erstmals in den Schriftquellen nachzuweisen. Bereits in den Jahren vor der Reformation besuchen viele Gläubige die Wallfahrtskapelle, die wertvolle Ausstattungsstücke beherbergte.
In der zweiten Hälfte des 16. Jahrhunderts wird es ruhig um die Wallersberger Kapelle. Es fanden kaum noch Gottesdienste statt. 1700 wird die mittlerweile baufällige Kirche erneuert; das Langhaus mit seiner Holzdecke dürfte aus dieser Zeit stammen. Außerdem erhält sie eine neue Ausstattung mit einem barocken Altarbild, das auf das Jahr 1702 datiert und mit den Stifterinitialen LP versehen ist. Erneuert werden in dieser Zeit wohl auch die Kanzel und das Gestühl.
Der Vorbau an der Fassade wurde 1913 angefügt.
Vom späten Mittelalter an zogen Wallfahrer auf den Wallersberg zur Hl. Katharina. Die Wallfahrt soll sich durch eine Heilquelle entwickelt haben, die besonders im Mittelalter und in der Barockzeit Ziel vieler Gläubigen war. Das Versiegen der Quelle ist von Sagen umrankt. Ein schwedischer Soldat soll sie mit Quecksilber verunreinigt haben. Einer anderen Überlieferung zufolge soll eine nach der Geburt ihres Kindes noch nicht ausgesegnete Frau aus der Quelle geschöpft haben, worauf sie versiegt sein soll.
