Mitte und Ursprung der Kobelkirche ist eine Marienfigur, die eine Nachbildung der Muttergottesfigur des Domes von Loreto ist. Graf Anton Fugger ließ sie 1582 für seine Kapelle im Schloss Hainhofen anfertigen. Als das Schloss 1601 an den evangelischen Patrizier Wolfgang Paler d.J. kam, ließ dieser die Kapelle in Hainhofen abreißen und schenkte die Figur seinem katholischen Nachbarn Karl von Langenmantel in Westheim. Der ließ auf dem Kobelberg eine Kapelle in der genauen Form des „Heiligen Hauses von Loreto“ bauen, das der Legende nach das Haus war, in dem Maria aufwuchs und später von Nazaret nach Loreto übertragen wurde. Der Altar der Kobelkapelle wurde 1602 von Bischof Heinrich V. von Augsburg geweiht.
Im Laufe der Zeit wurde die Wallfahrt immer größer, und so musste das Gebäude immer wieder vergrößert werden, wobei die Mitte – das „Heilige Haus“ erhalten blieb. 1699 wurde ein ständiger Wallfahrtspriester installiert.
Über dem Eingang vom Langhaus zur eigentlichen Loretokapelle ist ein Chronogramm zu sehen, welches die Inschrift trägt VERI REFVGII LOCVS DOMVS LAVRETANA (übersetzt: Das Loretohaus ist eine Stätte wahrer Zuflucht). Die großen Buchstaben (hier fettgedruckten Buchstaben) dieses Chronogramms entsprechen römischen Ziffern, die zusammen die Jahreszahl 1728 ergeben, jenes Jahr in dem das jetzige Langhaus angebaut wurde, das Ausdruck der spätbarocken Kobelwallfahrt ist, die etwa in den Jahren 1730 bist 1740 einen neuen Aufschwung erlebte. Bis heute ist die Kernzeit der Kobelwallfahrt der sogenannte „Frauendreißiger“, also die Tage vom Fest Mariä Himmelfahrt (15. August) bis zum Fest Mariä Schmerzen (15. September).
1766 wurde eine Herz-Mariae-Bruderschaft auf dem Kobel gegründet, die bis ins späte 20. Jahrhundert bestand, jetzt aber „eingeschlafen“ ist. Dieser Bruderschaft verlieh Papst Clemens XIII. – dem Empfinden der Zeit gemäß – einen Ablass.
