Selvom der ikke er noget, der forhindrer en bestemt person i at skrabe offentligt tilgængeligt indhold, kan du gøre et par grundlæggende ting for at afbøde kundens bekymringer:
-
Satsgrænse efter brugerkonto, IP-adresse, brugeragent osv... - dette betyder, at du begrænser mængden af data, som en bestemt brugergruppe kan downloade i et bestemt tidsrum. Hvis du registrerer en stor mængde data, der overføres, lukker du kontoen eller IP-adressen ned.
-
Kræv JavaScript - for at sikre, at klienten har en vis lighed med en interaktiv browser i stedet for en barebones-edderkop...
-
RIA - gør dine data tilgængelige via en Rich Internet Application interface. JavaScript-baserede net inkluderer ExtJs, YUI, Dojo osv. Rige miljøer omfatter Flash og Silverlight som 1kevgriff-omtaler .
-
Indkode data som billeder. Dette er ret påtrængende for almindelige brugere, men du kan kode nogle af dine datatabeller eller værdier som billeder i stedet for tekst, hvilket ville besejre de fleste tekstparsere, men selvfølgelig ikke er idiotsikkert.
-
robots.txt - for at afvise åbenlyse webedderkopper, kendte robotbrugeragenter.
Bruger-agent:*
Disallow:/
-
Brug robotmetatags. Dette ville stoppe med at tilpasse edderkopper. Dette forhindrer Google i at indeksere dig, f.eks.:
Der er forskellige niveauer af afskrækkelse, og den første mulighed er nok den mindst påtrængende.