robots.txt, ക്രാളർ ഗ്രൂപ്പുകൾ പാഴ്സ് ചെയ്യുന്നതിനും സൈറ്റ്മാപ്പ് നിർദ്ദേശങ്ങൾ കണ്ടെത്തുന്നതിനും ലിങ്ക് ചെയ്ത സൈറ്റ്മാപ്പ് XML ഫയലുകൾ സാധൂകരിക്കുന്നതിനും ഒരു വെബ്സൈറ്റ് URL നൽകുക.
പ്രധാനപ്പെട്ട ബോട്ടുകൾക്ക് റൂട്ട് പാത്ത് ക്രോൾ ചെയ്യാനാകുമോയെന്ന് അനലൈസർ പരിശോധിക്കുന്നു, സൈറ്റ്മാപ്പ് URL-കൾ എണ്ണുന്നു, തനിപ്പകർപ്പ് അല്ലെങ്കിൽ ബാഹ്യ URL-കൾ കണ്ടെത്തുകയും സൈറ്റ്മാപ്പ് എൻട്രികൾക്കായി ഒരു സാമ്പിൾ ബ്രേക്ക്-ലിങ്ക് പരിശോധന നടത്തുകയും ചെയ്യുന്നു.