Robots.txt

సైట్‌మ్యాప్‌లు మరియు నియమాలను కనుగొనడానికి మీ robots.txt ఫైల్‌ను Google అదే విధంగా చదివి అన్వయిస్తుంది. ఈ ఫలితాలు వ్యవస్థీకృత పట్టికలో ప్రదర్శించబడతాయి. మీరు ఏదైనా వెబ్‌సైట్ యొక్క Robots.txt ఫైల్‌ని కనుగొనవచ్చు.

Robots.txt ఫైల్ అంటే ఏమిటి?

Robots.txt అనేది శోధన ఇంజిన్ బాట్‌లకు URLల జాబితాను (యాక్సెస్ చేయనివి) కలిగి ఉన్న టెక్స్ట్ డాక్యుమెంట్ తప్ప మరొకటి కాదు. మీ వెబ్‌సైట్ ఏదైనా శోధన ఇంజిన్ ద్వారా సూచిక చేయబడినప్పుడు, శోధన ఇంజిన్‌లు సాలెపురుగులు ఈ పేజీల ద్వారా క్రాల్ చేస్తాయి. వారు తమ ఇండెక్స్ ఫైల్‌లను డేటాబేస్ అని పిలిచే నిర్దిష్ట డైరెక్టరీని కలిగి ఉంటారు. ఈ డేటాబేస్ క్రాల్ చేయబడిన వెబ్ పేజీల గురించి సమాచారాన్ని కలిగి ఉంది.

ఇప్పుడు మీరు శోధన ఇంజిన్ నుండి కొన్ని లింక్‌లను దాచాలనుకుంటే, మీరు ఈ Robots.txt ఫైల్‌ని సృష్టించాలి. మీరు ఈ ఫైల్‌ను మీ సైట్ యొక్క రూట్ ఫోల్డర్‌లో ఉంచాలి. కాబట్టి మీరు వాటిని Google శోధన ఫలితాల పేజీలో చూపకూడదనుకునే ఆ లింక్‌లను క్రాలర్ యాక్సెస్ చేయడానికి ప్రయత్నించినప్పుడు, అది Robots.txt ఫైల్ కోసం వెతుకుతుంది మరియు దాని కంటెంట్‌లను ప్రదర్శిస్తుంది. Robots.txt అనేది కేవలం మూడు పంక్తులు మాత్రమే వ్రాయబడిన సాధారణ టెక్స్ట్ ఫైల్.

రోబోట్స్ txt ఫైల్ దేనికి ఉపయోగించబడుతుంది?

రోబోట్స్ TXT ఫైల్‌ను సాధారణంగా రోబోట్ టెక్స్ట్ ఫైల్ ఫార్మాట్ అంటారు. ఈ రకమైన ఫైల్‌ను రూపొందించే ఏదైనా సాఫ్ట్‌వేర్ ప్రోగ్రామ్‌ను ఉపయోగించి ఈ రకమైన ఫైల్‌ను రూపొందించవచ్చు. రోబోట్స్ TXT ఫైల్ నిర్దిష్ట అంశానికి సంబంధించిన కీలక పదాల జాబితాను రూపొందించడానికి ఉపయోగించబడుతుంది. ఈ కీలకపదాలు తర్వాత Google మరియు ఇతర శోధన ఇంజిన్‌ల ద్వారా శోధించబడతాయి. చాలా వెబ్‌సైట్‌లు తమ వెబ్‌సైట్ కంటెంట్‌ను రూపొందించడానికి ఈ ఫైల్‌లను ఉపయోగిస్తాయని మీరు గమనించి ఉండవచ్చు.

రోబోట్స్ txt ఫైల్ అవసరమా?

• టెక్స్ట్ ఫైల్‌ను తరచుగా a.txt ఫైల్‌గా సూచిస్తారు ఎందుకంటే దానితో ముగుస్తుంది. అయితే, మీరు మీ కంప్యూటర్ ద్వారా వెళ్లి.txt పొడిగింపుపై క్లిక్ చేస్తే, నోట్‌ప్యాడ్++ వంటి సాఫ్ట్‌వేర్‌ని ఉపయోగించి మీరు ఈ ఫైల్‌ను వేరే ఫార్మాట్‌లోకి సులభంగా మార్చవచ్చు.
• Robots.txt ఫైల్‌లు శోధన ఇంజిన్‌లను మీరు ఇండెక్స్ చేయాలనుకుంటున్నారా లేదా ఇండెక్స్ చేయకూడదనుకుంటున్న కంటెంట్‌ని తెలుసుకోవడంలో సహాయపడటానికి ఉపయోగించబడతాయి. ఈ విధంగా, మీరు మీ వెబ్‌సైట్‌లో కనిపించకూడదనుకునే వెబ్ పేజీలను వారు ప్రదర్శించరు. Robots.txtని సమర్థవంతంగా ఉపయోగించడానికి, మీరు Google ఇండెక్సింగ్ నుండి మినహాయించాలనుకునే ఏదైనా పేజీ యొక్క రూట్ డైరెక్టరీలో దాన్ని చేర్చారని నిర్ధారించుకోవాలి. మీరు మీ సైట్‌లోని ప్రతి ఒక్క పేజీలోని హెడ్ సెక్షన్‌లో దానికి లింక్‌ను చేర్చవచ్చు లేదా రూట్ ఫోల్డర్‌లో ఉంచవచ్చు.
• మీ సైట్‌ని క్రాల్ చేయడంలో Googleకి సహాయపడటానికి robots.txt ఫైల్‌లు మంచివి అయితే, అవి ఖచ్చితంగా అవసరం లేదు. మీ కంటెంట్‌లో కొంత భాగాన్ని Google నుండి దాచడం మీకు అభ్యంతరం లేకపోతే, మీరు నిజంగా robots.txtని ఉపయోగించాల్సిన అవసరం లేదు!

మీరు robots.txt ఫైల్‌ను విస్మరిస్తే ఏమి జరుగుతుంది?

• మీరు Google శోధన ఇంజిన్ నుండి నిషేధించబడవచ్చు.
  వెబ్‌సైట్‌ల గురించి సమాచారాన్ని ఎలా ప్రదర్శిస్తుందనే దాని గురించి Google సంవత్సరాలుగా అనేక సార్లు వారి విధానాలను మార్చింది. అయినప్పటికీ మారని ఒక విషయం ఏమిటంటే, robots.txt ఫైల్‌ని కలిగి ఉండటం వలన మీ వెబ్‌సైట్ Google శోధన ఫలితాల నుండి తీసివేయబడుతుంది. మీరు ఈ సమయంలో యాక్సెస్ చేయలేని పేజీలను సూచించే ఏవైనా లింక్‌లను కలిగి ఉంటే, Google బహుశా ఆ పేజీలను తన ఇండెక్స్ నుండి తీసివేస్తుంది.
• శోధన ఇంజిన్ ఫలితాల పేజీలలో (SERP) మీ సైట్ కనిపించకపోవచ్చు.
  వ్యక్తులు ఆన్‌లైన్‌లో ఏదైనా శోధించినప్పుడు, వారు సాధారణంగా Bing, Yahoo!, Google మొదలైన శోధన ఇంజిన్‌లను ఉపయోగిస్తారు. ఈ ఇంజిన్‌లు ఒకే విధమైన శోధన పదాలను కనుగొన్నప్పుడు, వారు వాటిని SERPలలో జాబితా చేస్తారు. మీరు ‘గంజాయి డిస్పెన్సరీ’ కోసం శోధిస్తున్నట్లయితే దీనికి మంచి ఉదాహరణ.

నేను robots.txtలో పేజీలను ఎలా బ్లాక్ చేయాలి?

శోధన ఇంజిన్ క్రాలర్‌లు మీ వెబ్‌సైట్‌ను ఎలా యాక్సెస్ చేయగలరో పరిమితం చేయడానికి Robots.txt ఫైల్‌లు ఉపయోగించబడతాయి. వ్యక్తులు మీ సైట్‌ని కనుగొనడానికి Googleని ఉపయోగించినప్పుడు, వారి బోట్ ఫైల్‌లో క్రాల్ చేస్తుంది మరియు వారు ఏమి చూడకూడదు మరియు చూడకూడదని గుర్తిస్తుంది. అది పూర్తయిన తర్వాత, బాట్‌లు మీ వెబ్‌సైట్ ద్వారా క్రాల్ అవుతున్న తదుపరి దశకు వెళ్తాయి.

• ఏదైనా పేజీకి లింక్‌లను అనుమతించండి (/robots.txt మినహా)
• ఇండెక్సింగ్‌ని అనుమతించవద్దు

ఇది పని చేసే విధానం చాలా సులభం: ఎవరైనా “గంజాయి పెంపకందారుల గైడ్” వంటి వాటి కోసం శోధిస్తే, రోబోట్ బోట్ అది చూసే మరియు చదివే కోడ్ యొక్క మొదటి లైన్ వద్ద ఆగిపోతుంది. ఈ సందర్భంలో, “నిరాకరించు” అనే పదాన్ని చూస్తే అది వెంటనే చదవడం ఆపివేస్తుంది. ఆ పాయింట్ నుండి ఇది దేనినీ ఇండెక్స్ చేయదని దీని అర్థం.

ఇది సున్నితమైన సమాచారాన్ని కలిగి ఉండే నిర్దిష్ట పేజీలను యాక్సెస్ చేయకుండా ఇతర బాట్‌లను నిరోధిస్తుంది. మీ సున్నితమైన డేటాను మరొకరు యాక్సెస్ చేయకూడదు!