Zer da crawler bat? crawler tresna "Yandex" eta Google

Interneten Egunero material berrien kopuru handi bat webgune bat, web orrietan zaharra eguneratzen sortzeko, argazki eta bideoak igo da. ezin bilatzaileak ezkutatuta gabe ez da World Wide Web aurkitu, dokumentu horiek ere ez. robotiko programak bezalako Alternatibak, une jakin batean ez da existitzen. Zer da bilaketa robot bat, zergatik eta behar duzu nola funtzionatu?

Zer da bilaketa robot bat

Crawler gune (bilatzailea) - programa automatiko bat duten web orrietan milioika bisitatzeko, azkar internet bidez nabigatzen operadorea edozein esku-hartze gabe egin da. Errobotak dira etengabe espazioa eskaneatu the World Wide Web, web orri berriak aurkitzeko eta aldizka jada indexatuta bisitatzeko. Web crawlers armiarmak, crawlers, ak beste izen batzuk.

Zergatik dira bilatzailea armiarmak

Funtzio nagusia bilatzailea armiarmak egin duten - indexatuta web orriak, baita testu, irudi, audio eta bideo fitxategiak duten horiek dira. Bot egiaztatu erreferentziak, ispilu guneak (kopia) eta eguneratzeak. robots, gainera HTML-kodea Adostasun the World Organization, zein estandarrak teknologikoak garatzen eta inplementatzen du World Wide Web estandarrak kontrola burutzeko.

Zer da indexatzeko, eta zergatik behar da

Indexatzeko - da, hain zuzen ere, web orri jakin bat bisitatu bilatzaileak by prozesua da. Programa gune honetako testua arakatzen, irudiak, bideoak, irteerako estekak, orduan orrira bilaketetan agertzen da. Kasu batzuetan, gune ezin da automatikoki eskaneatu, ondoren bilatzailearen bidaliko da gehitu dezakezu eskuz gorrotagarria. Normalean, hau eza gertatzen kanpoko loturen jakin bat (askotan gutxi sortua) orrialdera.

Nola bilatzailea armiarmak

bilatzaile bakoitzak bere bot propioa Google bilaketa robot ditu nabarmen alda daiteke mekanismoa arabera antzeko programa bat, "Yandex" edo beste sistema lan egiten du.

Programaren "dator" gunean eta orri nagusitik kanpoko estekak, Web baliabidea (horiek Buruak bila ez duela ikusten du erabiltzaileak barne) "irakurtzen": Oro har, robot printzipioa lan bat honako hau da. Itsasontzi da nola gune baten orrialde artean nabigatzeko eta aurrera besteei.

Programa horren gune indizea aukeratzen da? Gehienetan "bidaia" armiarma, albisteak edo baliabide zerrendak handiak eta agregatzaileak erreferentzia pisu handiekin hasten da. Crawler etengabe arakatzen banan-banan orriak, tasa eta honako faktore indexatzeko sendotasuna on:

• Barne: perelinovka, gune tamainan, kodea zuzena, erabiltzaileak errespetatzen eta abar (baliabide berean orrietan arteko barne-loturak);
• Kanpo: guztizko erreferentzia pisua, eta gunean dakar.

Lehenik eta behin, bilaketa robot webgune edozein robots.txt arabera bilaketak. baliabide gehiago indexatzeko burutu oinarritutako informazioa jaso da dokumentu hau bertatik. Fitxategi honek jarraibide zehatzak biltzen du "armiarma" dagoela orria bisitak aukerak handitzeko dezakezu bilatzaileak, eta, ondorioz, goiz hit "Yandex" edo Google-en gune bat lortzea da.

Programa analogs crawlers

Askotan epe "bilaketa robot" adimentsuak, erabiltzaile edo eragile autonomoak, "inurriak" edo "zizare" nahastu egiten da. Murgilduta agente alderatuz bakarrik alde nabarmenak, beste definizioak robot mota antzeko aipatzeko.

Adibidez, agente izan daiteke:

• intelektual: programa, gune, gune mugitu, independentean nola jarraitu erabakitzeko; ez dira oso Interneten bateratuak;
• Autonomia: agente hauek erabiltzaileak produktu, bilaketa hautatu, edo forma, llamado iragazkiak dira, gutxi sare programak zerikusia bete ere;.
• Erabiltzaile: programaren erabiltzaile elkarrekintza laguntzea, World Wide Web batekin, nabigatzaile bat (adibidez, Opera, IE, Google Chrome, Firefox), mezulari (Viber, Telegrama) edo e-mail programak (MS Outlook eta Qualcomm).

"Inurriak" eta "zizare" gehiago bilatzaile "armiarma" antzekoak dira. sare bat eta koherentziaz arteko lehen Inprimakia ant kolonia hau bezalako elkarreragin, "zizare" beste alderdi estandarra crawler berdina errepikatzeko gai da.

bilatzailea robot Variety

crawlers mota asko bereiztea. Programaren helburua arabera, hauek dira:

• "Mirror" - bikoiztuak webguneak arakatzen ari.
• Mobile - web orrien bertsio mugikorrean foku.
• Quick - informazio berria konpondu azkar azken eguneratzeak begiratzen dute.
• Erreferentzia - erreferentzia indizea, zenbatu beren zenbakiak.
• Indexers eduki mota desberdinak - testua, audioa, bideoa, irudiak berariazko programak.
• "Spyware" - Hori ez dira oraindik bilatzailea bistaratzen orrietan bila.
• "Okil" - aldiro bisitatzen guneak beraien garrantzia eta eraginkortasuna egiaztatzeko.
• National - herrialde domeinu bat kokatutako Web baliabideak arakatzen (adibidez, .mobi, edo .kz .ua).
• Global - indizean guneak nazional guztian.

Robotak bilaketa nagusien motor

Badira ere bilatzailea armiarmak batzuk. Teorian, euren funtzionalitate asko alda daiteke, baina praktikan programak ia berdina da. desberdintasun nagusia, web orriak indexatzeko robot bi bilaketa nagusien motor hauek dira:

• Probak stringency. Uste da crawler mekanismoa "Yandex" dela kalkuluak zertxobait zorrotzagoak the World Wide Web estandarrak betetzeko gunean.
• gune osotasuna babesteko. Google crawler indizeak gune osoa (multimedia edukia barne), "Yandex" ere ikus ditzake eduki selektibo.
• Abiadura proba orrialde berriak. Google baliabide berriak gehitzen bilaketa-emaitzak egun batzuk barru ere, "Yandex by" prozesua kasuan bi aste edo gehiago iraun dezake ere.
• berrindexazio maiztasuna. Crawler "Yandex" eguneratzeak astean bitan, eta Google - bat 14 egunez behin.

Internet, jakina, ez du bilaketa bi motore mugatuta. Beste bilatzaileak beren robotak beren indexatzeko parametroak jarraitzen duten dute. Horrez gain, hainbat "armiarma" hori diseinatu dira bilaketa-baliabideak ez handiak, eta banakako taldeek edo webmasters daude.

misconceptions komunak

Aitzitik, herri sinesmen, "armiarma" ez informazioa prozesatu. Programak bakarrik arakatzen eta web orriak denda eta bestelako prozesuak erabat ezberdinak robots bat hartzen du.

Era berean, erabiltzaile askok uste bilatzailea armiarmak duten eragin negatiboa eta "kaltegarria" Internet dute. Izan ere, "armiarma" bertsio batzuk nabarmen gainkarga zerbitzariari. arduradunarekin, programa, robot konfigurazioa akatsak egin dezake sortu zuen - giza faktore bat ere badago. Hala ere, dauden programak gehienak ondo diseinatuta daude eta profesionalki kudeatzen du, eta inolako arazorik sortzen ari berehala kendu.

Nola indexatzeko kudeatzeko

Bilatzailea robot automatizatu programak daude, baina indexatzeko prozesuaren partzialki gorrotagarria kontrolatzen ahal izango dira. Honek asko kanpoko eta laguntzen barne-optimizazioa baliabide. Horrez gain, eskuz gehi gune berria bilatzaile bat: baliabide handiak web orrietan matrikula forma berezia dute.