Open Directory Project (dMoz) lukker

DMOZ – også kendt som Open Directory Project (ODP) var det sidste af de store redaktionelt opbyggede web-kataloger. De har netop annonceret at de lukker og slukker pr. 14. marts.

Den største overraskelse er ikke at dMoz lukker, men at lukningen først kommer nu. Alligevel er det med en vis vemod, at det sker.

Det er ikke så meget fordi vi længere rigtigt har brug for et manuelt redigeret katalog, som da dMoz blev etableret i 1998 under navnet GnuHoo som en konkurrent til Yahoo, der dengang havde et nærmest Google-lignende monopol som verdens største, og mest brugte katalog. Det er mere fordi, dMoz trods alt bidrog til en vigtig og spændende udvikling på nettet i de tidlige år.

Samme år som dMoz blev etableret, var også året hvor Google startede. De blev i høj grad medvirkende årsag til enden på de manuelt redigerede kataloger, som ellers i de tidligste internet-år var det bedste redskab til at finde rundt på nettet.

dMoz opstod som protest mod Yahoo

Open Directory Project opstod i høj grad som et oprørt modstykke til Yahoo, der dengang havde fået en alt for dominerende position, som de i nogen grad også misbrugte.

Prisen for optagelse i Yahoo nærmede sig 2.000 kr. årligt og selv med betalingen kunne det være forbandet svært at blive optaget. Bedre blev det ikke af, at man hvis man som jeg, kendte de rigtige folk på og omkring Yahoo kunne komme ind før alle andre. Det var sgu ikke helt fint i kanten.

Så der var god brug for et alternativ. Og med en stab af frivillige redaktører, der på samme måde som Wikipedia, uden økonomiske interesser, samledes om at skabe et stærkt alternativ, lykkedes det. Open Directory Project blev hurtigt stort og godt. Og det dannede i mange år grundlag for blandt andet Googles crawling.

Det er svært at drive et web-katalog

Med tiden forsumpede dog også dMoz i de samme problemer som Yahoo, omend de ikke var drevet direkte af samme økonomiske interesser. I hvert fald ikke direkte.

Omend der var eksempler på, at redaktører på dMoz kunne bestikkes til en hurtig eller bedre optagelse, så endte problemet først og fremmest mest med at være mangel på resurser. I de senere år har det taget evigheder at blive optaget, hvis det overhovedet var muligt.

Den algoritmiske søgning vandt

Med udviklingen af bedre og bedre crawler-baseret søgeteknologi, kunne søgemaskiner som Google, AltaVista, FAST og Inktomi indeksere en langt større del af det eksplosivt voksende internet og skabe bedre og mere relevante søgeresultater for de mange informationshungrende internetbrugere.

Også Yahoo valgte få år efter etableringen af Google, at skifte fra deres tidligere hovedfokus med redaktionelt opbyggede katalog, til crawler baseret søgeteknologi – såkaldt “algoritmisk søgning”. De købte blandt andet Inktomi og AltaVista og skubbede kataloget mere og mere i baggrunden inden de endelig valgte helt at lukke det ned i december 2014.

De danske kataloger led også døden

Tilbage omkring årtisindskiftet var jeg leder af søgemaskinen Kvasir, der dengang var en af de største i Skandinavien. Vi havde også et katalog, som på samme måde som Yahoo og Jubii, var opbygget og blev vedligeholdt af et dygtigt team af redaktører.

Men allerede dengang forudså jeg, at den tunge manuelle udfordring med at vedligeholde et sådan katalog ikke ville holde på sigt. Uanset hvilke scenarier jeg beregnede ville vi tabe flere og flere penge på det.

Alligevel kommer jeg lidt til at savne katalogerne. De redaktionelt vedligeholdte kataloger havde en unik kvalitet, som ikke altid skinner igennem på samme måde i de algoritmiske søgemaskiner. Dygtige redaktører kunne bidrage med en kvalificering og filtrering, som maskiner fortsat ikke altid gør ligeså godt.

Farvel til dMoz og web-kataloger

Med lukningen af dMoz må vi se i øjnene at web-katalogernes tid er helt forbi. Computerne vandt over mennesker. Og det er måske ikke så underligt. Mængden af informationer på nettet er eksploderet og selv med det store korps af frivillige redaktører på dMoz har jeg svært ved at se, hvordan det i praksis ville være muligt, at vedligeholde et bare nogenlunde opdateret indeks.

Jeg gætter på at dMoz vil leve videre i mange år på en lidt spøjs måde, i form af META-koden NOODP, som vi er mange der i årevis har benyttet, for at undgå at søgemaskiner som Google skulle bruge beskrivelsen fra dMoz kataloget i deres søgeresultater. Jeg tror der går rigtig mange år før alle spor af dette er forsvundet fra nettet.

Tak for en god tid, dMoz. Det var spændende at være med.