Láthatatlan web

A láthatatlan web a világháló azon része, amelyet elkerülnek a keresők.

Az utóbbi években elérkeztünk abba a korba, amelyben az internet világa teljesen áthatja a hétköznapjainkat. Az interneten minden megtalálható, tehát ami ott nincs, az nem is létezhet – talán ez közelíti meg legjobban némelyek hozzáállását a világhálóhoz. A nagy keresőmotorok közreműködhetnek ennek a látszatnak az alátámasztásában. Az internet jelentős része azonban még a keresőmotoroknak sem elérhető különböző okok miatt. A láthatatlan web „a World Wide Web azon oldalai, amelyek nem részei a felszíni webnek, azaz nincsenek indexelve az általános keresők által”.

Terminológiája

A láthatatlan webet más kifejezésekkel is szokták illetni, mint például a mély web vagy rejtett web. Ezek közt a kifejezések közt viszont egyesek szerint apróbb tartalmi eltérések vannak. Michael Bergman véleménye szerint a „láthatatlan web” elnevezés keresőmotor-centrikus, emiatt félrevezető, ugyanis információkat nem csak a keresőmotorok segítségével lehet keresni. A mély web ellentétpárja a felszíni web, amelyhez a keresők könnyedén hozzáférnek.

Terjedelme

A láthatatlan web méretével kapcsolatos becslések Bergman 2001-ben megjelent tanulmányának adatain alapulnak. Ezek szerint:

• a láthatatlan web mintegy 550-szer nagyobb lehet, mint a felszíni, látható web;
• tárterületben ez körülbelül 7500 TB információt jelent.

Bergman tanulmányában a következő főbb megállapítások szerepelnek még:

• a láthatatlan web havi forgalma átlagosan 50%-kal nagyobb, mint a felszíni web esetében;
• a láthatatlan web oldalai közt magasabb szintű az összekapcsolás;
• a láthatatlan web növekszik a legjobban új információkkal;
• tartalmilag mélyebbek (specializáltak és részletesebbek);
  • ebből adódóan ezerszer-kétezerszer nagyobb a minőségi tartalma;
• a láthatatlan web több mint fele témaspecifikus adatbázisokban van;
• 95%-a nyilvánosan hozzáférhető (nincsenek díjak, illetve előfizetések).

Egységei

Chris Sherman és Gary Price láthatóság szerint négy típust különített el:

1. „Átlátszatlan”, nem átlátható web (Opaque web);
2. Privát web (Private web);
3. Szabadalmazott web (Proprietary web);
4. Valóban láthatatlan web (Truly invisible web).

Danny Sullivan egy ötödik típust is meghatározott, az ún. „sekély” webet (shallow web).

A láthatatlanság okai

Ahhoz, hogy megoldást találjunk a láthatatlanság problémájára, ismernünk kell az okait. Annak, hogy egy oldalt miért nem indexelnek a keresők, több oka is lehet:

• az oldal tartalma egy adatbázisból kerül a weblapra
  • az információ eléréséhez különböző adatbázisokat (ACCESS, Oracle, SQL Server, DB2, stb.) kell lekérdezni
• az oldal csak regisztráció után érhető el
• nem szöveges állományok
  • multimédia- és grafikus fájlok
  • szoftverek
  • nem standard HTML formátumú dokumentumok (pl. PDF fájlok)

• teljes vagy részleges kizárásra kerülnek (szolgáltatótól függően) a különböző scripteket tartalmazó oldalak, amelyeknek URL-je tartalmazza a kérdőjelet
• egy oldalra vagy egész site-ra nem mutat egyetlen link sem, így tartalma nem kerül be a kereső adatbázisába, sem pedig keresésnél az eredményhalmazba

• hiányoznak az indexeléshez szükséges, megfelelő kulcsszavak
• az oldalon található információk időközben elavulttá válnak
• az adott oldal nincs bejelentve, vagy ha mégis, akkor a keresésükhöz speciális keresőkre van szükség
• az adott oldalt eltávolították a keresőrendszer indexéből (például illegalitás miatt)

Top 25 kategória

1. Nyilvános cégiratok
2. Telefonszámok
3. Egyedi térképek és útbaigazítások
4. Klinikai perek
5. Szabadalmak
6. Utánnyomás nélküli könyvek
7. Könyvtári katalógusok
8. Mérvadó szótárak
9. Környezettudományi információk
10. Tőzsdei információk
11. Történeti dokumentumok és képek
12. Cégjegyzékek
13. Kereshető témabibliográfiák
14. Gazdasági információk
15. Díjak
16. Álláshirdetések
17. Ösztöndíjjal kapcsolatos információk
18. Fordítóeszközök
19. Irányítószámok
20. Alapvető demográfiai információk
21. Interaktív iskolai keresők
22. Kampányok pénzügyi információi
23. Időjárási adatok
24. Termékkatalógusok
25. Művészeti galériák

A láthatatlan webhez való hozzáférés

Annak érdekében, hogy a láthatatlan web is láthatóvá váljon, több megoldás is született, illetve alkalmazható:

• fájlformátumok láthatóvá tétele
• képek láthatóvá tétele
• speciálisan a láthatatlan web megtalálására kifejlesztett rendszerek használata
  • témakatalógusok
  • ágens/platform/portál
  • keresőgépek
  • adatbázisokban való keresés

Témakatalógusok

1. Complete Planet
2. Invisible-web.net

Ágens/platform/portál

1. Copernic Agent
2. Deep Query Manager
3. Profusion

Keresőgépek

1. Hidden Web Exposer (HIWE)
2. Turbo 10
3. LexiBot
4. Lycos Invisible Web Catalog

Adatbázisokban való keresés

1. Infomine Multiple Database Search
2. Digital Librarian

Források

• Bergman, Michael K.: White Paper: The Deep Web: Surfacing Hidden Value In: The Journal of Electronic Publishing, Vol. 7. (2001) Issue 1.
• Lewandowski, Dirk - Mayr, Philipp: Exploring the academic invisible web In: Library Hi Tech, Vol. 24. (2006) Issue 4., pp. 529-539.
• Pajor Enikő: A láthatatlan/mély web felhasználása a könyvtári tájékoztatásban, Budapest, 2006. 214. p.
• Rabb Ágnes: Szöveggyűjtemény a mély web tanulmányozásához : Cikkek és tanulmányok, külföldi és magyar források alapján, Szeged, 2006., 92. p.
• Rutkovszky Edéné - Rutkovszky Ádám: A láthatatlan web keresése, Debrecen, 2003.
• Sherman, Chris - Price, Gary: The invisible Web: uncovering information sources search engines can't see, Information Today, Inc., 2001. 439. p. ISBN 091096551X, 9780910965514
• Somogyi Tamás: A láthatatlan web tudományos részének feltárása In: Tudományos és Műszaki Tájékoztatás, 56. évf. (2009) 1. szám Archiválva 2016. március 6-i dátummal a Wayback Machine-ben
• Sullivan, Danny: Invisible Web Gets Deeper, 2000.

Külső hivatkozások

• Complete Planet
• Invisible-web.net
• Copernic Agent
• Infomine Multiple Database Search
• Digital Librarian

További információk

• melyweb.lap.hu