Yahoo! Slurp raast als een gek over het internet om website te indexeren.
Te gek.
Het lijkt wel dat hun spidergedrag erop gericht is om het hele netwerk stil te leggen in de wereld. Het zo massaal spideren van alle sites in de wereld vreet bandbreedte.
Te veel bandbreedte.
Dat zou komen omdat ze hun spidergedrag laten afhangen van het ip. En als je dan meerdere ip’s hebt op dezelfde server zou het dus kunnen dat je te veel wordt gespiderd.
Ze hebben om dat op te lossen iets bedacht dat je in je robots.txt kan gebruiken.
Dat vind ik larie maar het is beter dan niks. Je hoeft hun waanzinnige spidergedrag dus niet langer te pikken.
Crawl-delay van Yahoo!
Yahoo! heeft dus de Crawl-delay uitgevonden opdat je als website beheerder enigszins controle kan krijgen over je bandbreedte die wordt opgevreten.
Na wat tests lijkt het ook daadwerkelijk te werken.
Volgende dien je op te nemen in je robots.txt file indien je te veel gespiderd wordt door Yahoo! :
User-agent: Slurp
Crawl-delay: x.x
Het eerste gedeelte geeft aan voor welke spider van welke zoekmachine de volgende regel is bestemd. Crawl-delay is het commando om de Slurp spider te laten begrijpen hoe vaak hij mag langs komen. De waarde achter Crawl-delay is een integer getal met eventueel een aanduiding na de komma.
(Amerikaans, dus een komma is een punt)
In de praktijk is deze komma echter overbodig.
De waarde achter Crawl-delay mag dus een gewoon getal zijn van 1 tot pakweg 100 of meer.
In de praktijk kan je voor een blog gerust een Crawl-delay van 50 neerpoten heb ik ondervonden. Het hangt allemaal een beetje af van hoe groot je site is(aantal pagina’s).
User-agent: Slurp
Crawl-delay: 50
Best is dat je een crawl-delay instelt en na 2 weken evalueert of deze nu naar wens werkt.
Je kan vergelijken met de frequentie van Google spiders, Yahoo! Slurp moet daar zekers niet boven uit komen.
In de finale van de Search Engine rap battle neemt Yahoo! het op tegen Google.
Lyrics :
Yahoo:
His skin is so pale, he’s already fatigued
The only sports you play are in my fantasy league
Look at this guy, hes so white that its scary
This guy is whiter than Sergei and Larry
I heard your new motto for saving the world
You do no evil, if evil’s a girl
My design is the biggest, yours is much smaller
That rainbow is fruity, like your free Odwalla
Uh, and who’s countin too?
You asked Jeeves for a brokeback mountain view
You haven’t changed your style since 1992
You cant get my name out your head, Ya-hoo!
Google:
Who is this guy? is he still alive folks?
I thought he died with Alta Vista and Lycos
Im smarter than you, and you know it, its sad
Thats why you pay me to serve all your ads
You got no game, youre old like Atari,
I tried to load his homepage – it broke on Safari
Tell me cowboy, do you feel lucky?
Im the good, hes the bad, youre just the ugly
Trying too hard, your design is insane
This guy has an exclamation point in his name!
You wanna test my manhood? you’ll see my stock rise
Lets both lift our hoods and compare index size
Ditmaal neemt MSN het op tegen Yahoo! in de Search Engine Rap Battle.
Lyrics MSN vs Yahoo!
MSN:
You aint intellectual, I own all the property
your whole board walks, while I win at this monopoly
I serve the world. you should ask ya momma
cuz Bill Gates might have been your real founding father
I’m blowin up, without the VC,
Remember it was me who invented the PC
Your just an upstart – you think you got smarts?
But I’m the V12, you’re just the spare parts
Check out the stash – the dirty leg-chaps,
You’d think he would be cleaner, with all that Ajax
Your styles innappropriate, sites even more so
Yahoo Hot Jobs sounds like a porno
Yahoo:
Your users got questions – Yahoo’s got answers
You look like a blue-man group back-up dancer
You can’t fly, your design is so heavy,
The only hotmail you got is when Ballmer gets sweaty
Youre so old and slow, youre behind the times
Your stock hasnt gone up since 99
You must wanna get hurt, huh M-S-N?
Your name’s an acronym, for S-N-M
Are you MSN search? Or MSN Live?
It takes more than changing your name to survive
I’m the best in the West, get it straight, ya see
40 billion couldnt buy you a date with me
In deze aflevering neemt de Google rapper het op tegen de MSN rapper.
Lyrics :
Google:
Your new system hasnt gotten many users
They only use Vista cuz it came on their computers
Step to me – Ill wrestle you blue
My dyslexic fans, they call me “El Goog”
Well connected – i got crazy links
S-E-O just means what google thinks
Smart people, they wanna work for me
That’s why I jack you for your employees
Gmails got females – on fire like foxes
i’m six gigs deep, up in their inboxes
Search market share: 4% you
68 me. this battle rap is through
MSN:
You bought Youtube for 2 billion bucks
He bought Youtube, the search still sucks
Your icon’s a joke – it’s just a doodle
Your name sounds like a baby retard poodle
Youre net apps – they’re slow- they dont work,
nobody uses them, they go for the search
I own your platform, I own IE,
I own all degrees of the game, 3-60
You steal my people? heres the stor-y
I buy Facebook and jack your employees
You might have users, but they’ll soon be leavin ya
cuz your search results say search Wikipedia
Vaste bezoekers van deze blog weten allicht dat ik een tegenstander ben van Google als de enige goede zoekmachine te beschouwen.
Ik zoek dan ook dagelijks quasi op 3 verschillende zoekmachines. Vooral voor opzoekingswerk naar informatie terwijl Google vaak wordt gebruikt om te kijken hoe ik het daarin doe.
Nu was het mij al enige tijd opgevallen dat Ask.com een opvallende functionaliteit heeft ; de AskEraser.
Deze handige optie laat je de mogelijkheid om ZELF te beslissen of je je zoekopdracht al dan niet laat opslaan voor allerlei doeleinden.
Ask.com slaat dus geen gegevens op van uw zoekopdrachten als u de AskEraser aanzet.
En u moet daar helemaal geen geleerde voor zijn en u moet ook al niet tig van vervelende stappen doorlopen.
Rechtsboven klikt u op AskEraser opzetten en u krijgt volgend beeld :
AskEraser
Daarna turnt u de AskEraser on en voila. U surft en zoekt weer met de volle privacy die u wenst.
Ask.com doet het overigens meer dan behoorlijk vind ik persoonlijk. Ze zijn ook pionier met nieuwigheden qua zoekmachine beleving.
Een voorbeeldje uit de praktijk, we zoeken naar "Who is the Belgium king".
Ask.com weet wie Belgische Koning is
Prachtig toch?
Nu moet ik wel zeggen dat ik heel wat minder gecharmeerd ben van de Nederlandse versie van Ask.com.
Oude interface en ook technologie vermoed ik en ontzettend veel storende advertenties soms.
Maar Ask.com op zich lijkt dus toch echt wel uit te groeien tot een volwaardige zoekmachine die gewapend is om de toekomst op internet tegemoet te gaan.
Want ook op internet zal de economische crisis gevolgen hebben.
Het was te verwachten, Jerry Yang neemt ontslag als CEO van Yahoo!.
Niet geheel onterecht als je het mij vraagt. Eerst bedriegt hij zijn aandeelhouders door een goed bod van Microsoft dwars te zitten en met alle mogelijke manieren te bestrijden.
En daarna gaat hij samenwerken met Google op gebied van advertenties.
Laatste reacties