Mail bringt bei mir sehr schleppend nur die email-Adressen, wenn ich eine neue Mail schreiben will. Wenn ich einen Namen eintippe, dreht sich das Rädchen 5-6 Sekunden und erst dann schlägt er mir Namen vor. Ich denke, es hängt irgendwie mit dem Adressbuch zusammen. Darin befinden sich ca. 2.800 Adressen. Die Adressen werden über einen lokalen owncloud-Server gesynct.
Ich habe mal einen screenshot von "~/Library/Application Support/AdressBook" beigefügt.

Wer kann Licht ins Dunkel bringen und mal 'nen ungefährlichen Tipp geben, was ich probieren kann.

Ich würd auf die Menge der Einträge im Adressbuch tippen.
Ich habe die Erfahrung gemacht, das bei allen i- und mit dem System gelieferten Programmen ab einem gewissen Füllstand die Performance deutlich einbricht (was auch erklärbar ist).
Bei privater Nutzung akzeptabel. Fürs berufliche Umfeld gibt's andere Programme.
Da Du Adressbuch schreibst vermute ich das Du nicht 10.9 installiert hast.
Damit werden die Apple-eigenen Programme deutlich schneller.
Aber min. 8 GB Speicher, sonst macht das auch keinen Spass.

Nein, das liegt nicht an der Menge der Daten. Das funktionierte bis vor kurzem "gut". Ich tippe eher auf kaputte caches oder irgendetwas in der Art. Darum würde ich z.B. wissen wollen, was ich "gefahrlos" löschen kann oder weitere Tippsl

Ich nicht. Hab aktuell 2164 Kontakte und Mail findet jede Adresse sofort, wenn vorhanden. Dies mit 10.9 und allen Systemen zuvor, auf einem alten Mac mini.

Möglich, dass du zu viele «Vorherige Empfänger» in Mail.app hast. Gehe dort auf Fenster > Vorherige Empfänger, markiere und lösche alles. Natürlich bleiben die erfassten Kontakte in Kontakte.app bestehen, es werde nur Mailadressen gelöscht, an die du mal etwas mailtest, diese aber nicht zu einem Kontakt eingetragen hast.

@Eventus

Grade Deinen Tipp durchgeführt; hat aber keine gefühlte Änderung gebracht.

Ich habe jetzt "~/Library/Application Support/AdressBook" komplett gelöscht und dann den owncloud-account neu eingerichtet. Ich denke, dass das Problem damit gelöst ist, hoffentlich ohne mir ein neues eingehandelt zu haben