Kaum ein Friedhofsbesucher weiß von der Besiedlung des Friedhofsgeländes bereits in vorchristlicher Zeit. Tatsächlich aber legten auch unsere Vorfahren hier schon ihre Begräbnisplätze an.
Sieben Zeugen dieser Vergangenheit sind heute noch erkennbar und als Bodendenkmale 1976 unter besonderen Schutz gestellt worden. Darüber hinaus wurden im Laufe der fast 140jährigen Geschichte des Friedhofs bei Erdarbeiten zahlreiche Einzelfunde gemacht. Sie werden im Hamburger Museum für Archäologie und die Geschichte Harburgs (Helms Museum) aufbewahrt. Das Alter der Gegenstände reicht bis in die Jungsteinzeit zurück. Dies war die Zeit, in der unsere Vorfahren bereits Kenntnisse im Ackerbau und in der Viehzucht hatten und damit sesshaft wurden, feste Häuser bauten und einen entwickelten Totenkult besaßen. Die Flurkarte von J. T. Reinke aus dem Jahr 1790 weist erstmals die Lage von Hügelgräbern in der Gemarkung Ohlsdorf aus.
Die vorgeschichtlichen Funde wurden überwiegend im älteren Teil des Friedhofs entdeckt. Vermutlich wählten die Menschen damals hier ihren Siedlungsraum, da die halbinselartige Lage in der Endmoränenlandschaft Schutz vor Feinden gab. Der Siedlungsraum war im Osten durch das unwegsame Gelände des ehemaligen Prökelmoores und seines Abflusses nach Süden begrenzt, im Norden durch die tief in den Boden eingeschnittene Oberalster und im Westen durch die sumpfige Alsterniederung. Aber auch die Möglichkeit des Fischfangs in der Alster mag ein Siedlungsgrund gewesen sein. Dies bestätigen Urnenfunde in Klein Borstel und Fuhlsbüttel sowie Hügelgräber an beiden Ufern der Alster.
Aus der Jungsteinzeit wurden meist Waffen und Handwerkszeuge gefunden, hergestellt aus verschiedenen Gesteinsarten. Hervorzuheben ist der Fund einer sog. Kragenflasche der frühen Trichterbecherkultur 1893 in einer Grabgrube im Bereich des heutigen Krematoriums und eines schnurverzierten Bechers (1909). Diese kugeligen Tongefäße mit einem deutlich ausgeprägten Halskragen gehörten in der jüngeren Steinzeit zu den typischen Beigaben in Steingräbern. Auf noch sichtbare Zeugnisse aus der Bronzezeit, in denen Grabbeigaben gefunden wurden, sei hingewiesen.
- Kragenflasche der frühen Trichterbecherkultur. Foto: Archiv Museum Friedhof Ohlsdorf
Am Abzweig der Kapellenstraße nach Kapelle 2 in T/U 16 sind deutlich noch Reste eines großen Hügelgrabes, die Zweiberge, zu erkennen. 1870 begann der Altertumsforscher Prof. Ferdinand Wibel hier mit der gezielten Ausgrabung eines „Heidenhügels bei Ohlsdorf“. Wenigsten zwei Bestattungen in Baumsärgen aus der älteren Bronzezeit hat der Ausgräber angetroffen. In Grab I lag ein Mädchen, das mit bronzenen Arm- und Fußringen sowie verzierten Scheiben geschmückt war. Grab II gehörte einem Mann, wie das Schwert und das Messer, beide aus Bronze, verdeutlichen. Die Toten waren folglich, der damaligen Sitte gemäß, vollständig bekleidet und mit Standeszeichen und Schmuck versehen beerdigt worden.
In der Nähe haben sich nach damaligen Berichten weitere Grabhügel befunden. So gab es Hinweise auf die Abfuhr von 32 Fuder Steinen und die ehemalige Flurbezeichnung hieß "Bei den zwei Bergen". Vermutlich hat es auch hier Grabfunde gegeben.