ਸਾਡੀ ਵੈਬ ਸਕ੍ਰੈਪਰ ਨੂੰ ਇੱਕ ਵੈਬਸਾਈਟਾਂ ਰੋਬੋਟ.ਟੈਕਸਟ ਫਾਈਲ ਵਿੱਚ ਪਾਏ ਨਿਯਮਾਂ ਦਾ ਸਨਮਾਨ ਕਰਨਾ ਪੈਂਦਾ ਹੈ. ਇਸਦਾ ਇੱਕ ਮੁੱਖ ਕਾਰਨ, ਚੰਗੇ ਹੋਣ ਤੋਂ ਇਲਾਵਾ, ਉਹ ਉਹ ਵੈੱਬ ਸਕ੍ਰੈਪਰ ਹਨ ਜੋ ਰੋਬੋਟਸ.ਟੀ.ਐੱਸ.ਐੱਸ.ਐੱਫ. ਫਾਈਲ ਦੀ ਪਾਲਣਾ ਨਹੀਂ ਕਰਦੇ ਆਪਣੇ ਆਪ ਨੂੰ ਇੱਕ ਹਨੀਪਾਟ ਸੇਵਾ ਦੁਆਰਾ ਬਲੈਕਲਿਸਟ ਕੀਤੇ ਜਾਣ ਦਾ ਪਤਾ ਲਗਾ ਸਕਦੇ ਹਨ.
ਇਹ ਸੇਵਾਵਾਂ ਰੋਬੋਟਸ.ਟੀ.ਐੱਸ.ਐੱਸ.ਐੱਸ.ਐੱਸ.ਐੱਸ. ਨੂੰ ਇੱਕ ਵੈੱਬ ਸਕ੍ਰੈਪਰ ਨੂੰ ਇਹ ਦੱਸਣ ਲਈ ਵਰਤਦੀਆਂ ਹਨ ਕਿ ਕਿਸੇ ਖਾਸ ਫਾਈਲ ਦਾ ਦੌਰਾ ਨਾ ਕਰੋ ਜੋ ਵੈਬਸਾਈਟ ਤੋਂ ਜੁੜਿਆ ਹੋਇਆ ਹੈ. ਜੇ ਵੈਬ ਸਕ੍ਰੈਪਰ ਅਜੇ ਵੀ ਫਾਈਲ ਦਾ ਦੌਰਾ ਕਰਦਾ ਹੈ ਤਾਂ ਵੈਬ ਸਕ੍ਰੈਪਰਾਂ ਦਾ IP ਐਡਰੈੱਸ ਕਾਲੀ ਸੂਚੀਬੱਧ ਹੁੰਦਾ ਹੈ, ਭਵਿੱਖ ਵਿੱਚ ਵੈਬ ਸਕ੍ਰੈਪਰ ਨੂੰ ਵੈਬ ਸਾਈਟ ਤੇ ਆਉਣ ਤੋਂ ਰੋਕਦਾ ਹੈ.
