Nach der Säkularisation des 1072 im Hochsauerland gegründeten Benediktinerklosters im März 1804 zog sich der abgesetzte letzte Abt von Grafschaft in die Filialpropstei Belecke zurück, so daß dort eine Reihe von Inventarstücken aus Grafschaft erhalten sind und im „Stadtmuseum Schatzkammer Propstei Belecke“ neben dem Pfarrhaus gezeigt werden. Einige kostbare Handschriften übernahm Landgraf Ludwig X. für seine Bibliothek in Darmstadt; viele andere Bücher gelangten später an die Regierung in Arnsberg und von dort um 1970 an die Ruhr-Universität Bochum.
Das Kloster wurde zunächst als Domäne verpachtet, wegen vieler Diebstähle und Schäden aber 1828 an einen westfälischen Adeligen verkauft. Da die Kirchengemeinde die große Klosterkirche nicht übernehmen wollte, wurde die Kirche 1832 abgebrochen.
Das Kloster Grafschaft war mit der Kirche 1729-1747 vollständig neu erbaut worden; die Kirche hatte eine Barockausstattung erhalten. Das Kircheninventar wurde nach 1804 verteilt: die Beichtstühle und die Kanzel kamen in die Pfarrkirche zu Arnsberg-Wedinghausen, eine 1803 ebenfalls säkularisierte Klosterkirche; die reich geschnitzte un d verzierte Kommunionbank nach Belecke, der Hochaltar nach Attendorn, Apostelstatuen nach Winterberg, die Glocken nach Belecke und in Kirchen der Umgebung. Vom Kirchensilber ist nur ein Kelch in Belecke erhalten – die übrigen Stücke sind verloren. Die 1745-1748 eingebaute große Orgel wurde nach Frankenberg verkauft und gelangte später in die barocke Klosterkirche nach Banz in Oberfranken.
Die 32 Mönche und zwei Novizen mußten das Kloster am 21. März 1804 verlassen; sieben von ihnen verstarben bis 1808; 18 wurden Pfarrer in verschiedenen südwestfälischen Pfarreien.