Ist deine Seite in Besuchertauschsystemen, Surfbars, Traffic etc drin? Dann kann es schon zu einigen Sessions kommen, wobei 100k natürlich schon bissl viel ist.

Schau auch mal den Wert von:
php#ini.session.cache-expire
nach.

Siehst du das letzte Änderungs- und/oder Zugriffsdatum auf die Session Dateien?