ב-asp יש אפשרות לקבל כל מיני פרמטרים באמצעות request.servervariables.
תראה דוגמא פה:
http://www.4guysfromrolla.com/demos/servervariables.asp
אני מניח שב-PHP יש גם משהו דומה כדי לקבל את ה-headers שנשלחים לדפדפן כחלק מהבקשה לדפים שלך.
אתה יכול לנסות לסנן לפי ה-USER AGENT שסיכוי טוב שלרובוטים יש משהו מאוד ייחודי ושונה משאר הגולשים. אתה צריך למצא איך אתה יכול לזהות את הרובוט אצלך באתר (מבלי להתבלבל עם שאר הגולשים) ולפי הפרמטר להעיף אותו.