Submit op til 10.000 sider til Bing

I gamle dage skulle vi tilmelde vores websites til søgemaskinerne for at være sikre på at de blev fundet og indekseret. Sådan er det heldigvis ikke mere. Eller det vil sige, i sidste uge blev vi ramt overraskende melding fra Bing, der nu vil gå tilbage til tidligere tiders URL-tilmelding, frem for den type crawling vi ellers er blevet vandt til. 

Ja, det føles sandt at sige lidt som at havne i en utilsigtet tidslomme …

I gamle dage var søgemaskinernes webcrawlere ikke helt så gode, som de er i dag. Dengang var de meget afhængige af, at man tilmeldte sine nye websites og sider til dem, så de kunne opdage dem. 

Men med tiden blev søgemaskinernes webcrawlere blev bedre og bedre. Der kom nok også kom en vis erkendelse hos søgemaskinerne af, at det var utilstrækkeligt, at basere opbygning af deres indeks på tilmeldinger.

I de sidste mange år har der derfor ikke været nødvendigt at tilmelde dit website til søgemaskinerne. Hvis ellers de kan finde et link til dit det, så crawler og indekserer de det helt automatisk. 

Bing har ikke lært af historien – man kan ikke stole på webmastere

Sidens web-søgemaskinerne begyndte at få sin udbredelse i midten af 1990’erne har der været mange forsøg på at forbedre dem ved at få webmastere til at agere på bestemte måder. 

For mange år siden gjorde søgemaskinerne for eksempel brug af META-keywords i et forsøg på bedre at forstå hvad siderne de indekserede handlede om. 

Men den bitre erfaring var bare, at de fleste slet ikke brugte dem, og af dem der gjorde var de fleste enten bevidst eller ubevidst udfyldt forkert. Så META-keyword data var i praksis ubrugelig. Og derfor droppede søgemaskinerne for længe siden at bruge den. Ingen store søgemaskiner bruger længere META-keywords data. 

Da de første crawler baserede søgemaskiner dukkede op var de største søgemaskiner manuelt opbyggede kataloger, som Yahoo, ODP og Jubii i Danmark. Her skulle man tilmelde sin hjemmeside, for at få den manuelt vurderet og inkluderet i søgningen. 

Mange af de crawlerbaserede søgemaskiner brugte så de største kataloger, som udgangspunkt for deres crawling, og i en hvis grad til at validere kvaliteten af de websites de medtog i deres indeks. 

Med tiden blev crawlerne dog så gode – og hurtige, at de ikke længere havde brug for katalogerne. Kvaliteten af de crawlerbaserede søgninger overhalede katalogerne og de døde langsomt ud. Et efter et bukkede de under. 

Yahoo kastede sig også over crawlerbaseret søgning og opkøbte bl.a. teknologier fra AltaVista, Fast Search & Transfer og Inktomi. Men måske havde de stadig lidt for meget kærlighed til deres gamle katalog-virke – i hvert fald lancerede de på et tidspunkt et “Paid Submission” program, hvor man mod betaling, kunne få udvalgte URL’er med i deres crawlerbaserede indeks. 

Programmet fik meget kritik, men kørte dog nogle år, inden det til sidste lukkede ned i 2009. Om det var rene forretningsmæssige årsager der gjorde det, eller en erkendelse af at submission-baseret crawlerindeksering ikke er en model der holder ved jeg ikke med sikkerhed. Men jeg tror det sidste var et element i det. 

Nu har Bing så valgt at bevæge sig baglæns i tiden. I sidste uge på SMX West annoncerede Bing, at de fremover vil fokusere mere på URL-submission, frem for traditionel crawling. 

Erfaringer der blev gjort for mange år siden er, at man ikke alene kan bruge de input man får fra webmastere – uanset om det drejer sig om META-data eller URL-submissions, hvis man vil opbygge en god søgemaskine. 

Den data man får på den måde er for sporadisk, unøjagtig og der er alt for stor risiko for, at den misbruges. 

Kommer Paid inclusion tilbage?

Det er svært at svare på endnu, men der har naturligvis været spekulationer om det i de sidste dage, efter Bings udmelding. 

Indtil videre bliver det fortsat gratis at tilmelde sine sider til Bing. Der vil dog være en grænse for hvor mange URL’er du kan tilmelde pr. dag, afhængigt af hvor lang tid dit website har været registreret hos dem. 

Tidligere kunne man kun tilmeldte 10 sider pr. dag til Bing. Nu kan du tilmelde op til 10.000 sider. Nedenfor kan du se et skema, der illustrerer hvor mange sider du kan tilmelde.

Du kan tilmelde dine sider enten via Bing Webmaster Tools eller deres API, hvis du vil integrere det i dit CMS. 

Skal du tilmelde dine sider? Og hvad med Google?

Tjaa, på kort sigt sker der ikke så meget ved at lade være. På den anden side skader det nok heller ikke at gøre det. Men da Bing har en ekstrem lille markedsandel i Danmark skal du ikke regne med at kunderne vælter ind hvis du gør det.

Og bare rolig, jeg er ret sikker på, at Google ikke vil gå den vej. Det er som sagt en meget underlig tilbagevenden til noget der for mange år siden – af gode grunde, blev opgivet af alle andre. Helt ærligt, så forstår jeg slet ikke hvad der sker hos Bing.

Jeg tror ikke det vil vare ved. Når Bing igen kommer til fornuft, så vil de glemme alt det her URL-submission pjat og koncentrere sig om, at lave en god crawler, der kan klare opgaverne uden at være afhængige af hvad tilfældige webmastere sender til dem. 

Skriv en kommentar