Turtle >> FAQ

—àñòî çàäàâàåìûå âîïðîñû
1. î÷åìó âàøà ïîèñêîâàß ñèñòåìà èìååò òàêîå íàçâàíèå?
2. Šàêèå ñàéòû àâòîìàòè÷åñêè ïîïàäàþò â ïîèñêîâóþ ñèñòåìó Turtle?
3. ˆìß ìîåãî ñàéòà íå ðàñïîëàãàåòñß â çîíå ".ru". Šàê ñäåëàòü, ÷òîáû "—åðåïàõà" èíäåêñèðîâàëà è íàõîäèëà ìîè äîêóìåíòû?
4. Šàê îòëè÷èòü ðîáîòîâ ñèñòåìû Turtle?
5. Šàê îãðàíè÷èòü ðàáîòó ðîáîòîâ ñèñòåìû Turtle íà ìîåì ñàéòå?
6. Šàê îãðàíè÷èòü èíäåêñèðîâàíèå ÷àñòè äîêóìåíòà?
7. Šàê äîáàâèòü íîâûé ðåñóðñ â ïîèñêîâóþ ñèñòåìó Turtle?
8. åêîòîðûå ñòðàíèöû ìîåãî ñàéòà óñïåøíî ïðîèíäåêñèðîâàíû, à íåêîòîðûå îòñóòñòâóþò â ïîèñêîâîé ñèñòåìå. î÷åìó?
9. ˆíäåêñèðóåò ëè "—åðåïàõà" äèíàìè÷åñêèå ñòðàíèöû?

1. î÷åìó âàøà ïîèñêîâàß ñèñòåìà èìååò òàêîå íàçâàíèå?

Œû íà÷àëè ðàçðàáàòûâàòü ñèñòåìó â ìàðòå 2001 ãîäà. îíà÷àëó äåëà øëè âåñüìà ìåäëåííûìè òåìïàìè. åðâûå ïîëãîäà ìû çàíèìàëèñü ÷èñòî èññëåäîâàòåëüñêèìè ïðîáëåìàìè ðàçëè÷íûõ êîìïîíåíò àðõèòåêòóðû (ñì. "îèñêîâàß ñèñòåìà Turtle. ”èçèîëîãèß è €íàòîìèß"). Œîæíî ñêàçàòü, ÷òî ìû ïðîäâèãàëèñü ÷åðåïàøüèìè øàãàìè, òàê êàê äî ïðàêòè÷åñêîé ðåàëèçàöèè äåëî òàê è íå äîõîäèëî. ‚ñå òåñòîâûå ïðîãðàììû ðàçðàáàòûâàëèñü ïîä ýòèì øóòëèâûì èìåíåì. Œû íå òîðîïèëèñü, òàê êàê õîòåëè âñå ðåàëèçîâàòü ïðàâèëüíî, à íå ïîëó÷èòü êàê ìîæíî áûñòðåå õîòü êàêîé-òî ðåçóëüòàò. Žäíàêî êîãäà áûëà áëèçêà ê îòëàäêå ïåðâàß ñîñòàâëßþùàß ñèñòåìû íàêîïëåíèß è èíäåêñàöèè, íàøè "÷åðåïàøêè" ïîêàçàëè âåñüìà îáíàäåæèâàþùèå ñêîðîñòíûå õàðàêòåðèñòèêè. Œû ïî÷åñàëè â çàòûëêàõ è ðåøèëè íè÷åãî íå ìåíßòü â íàçâàíèè. ’åïåðü äëß íàñ ðàâíîçíà÷íûìè ßâëßþòñß èìåíà Turtle, Turtilla, "—åðåïàõà". Šàê ãîâîðßò, ïðèëèïëî.

2. Šàêèå ñàéòû àâòîìàòè÷åñêè ïîïàäàþò â ïîèñêîâóþ ñèñòåìó Turtle?

‚ íàøó ïîèñêîâóþ ñèñòåìó àâòîìàòè÷åñêè ïîïàäàþò ñàéòû, íàõîäßùèåñß â ñëåäóþùèõ äîìåíàõ ïåðâîãî óðîâíß:
RU
SU
UA
BY
KZ
KG
UZ
AM
AZ
GE
MD
€ òàêæå ñàéòû, êîòîðûå ïî ãåîãðàôè÷åñêîìó ïðèíöèïó îòíîñßòñß ê ãîñóäàðñòâàì óêàçàííûõ àááðåâèàòóð. ƒåîãðàôè÷åñêàß ïðèíàäëåæíîñòü îïðåäåëßåòñß ñîãëàñíî êîíôèãóðàöèè íàøåãî Geo-to-IP ñåðâåðà. Šîíå÷íî, ìû íå îáëàäàåì ïîëíåéøåé èíôîðìàöèåé î ãåîãðàôè÷åñêîé ïðèíàäëåæíîñòè ëþáîãî IP-àäðåñà, îäíàêî âî ìíîãèõ ñëó÷àßõ ýòî ïîìîãàåò íàì àâòîìàòè÷åñêè âêëþ÷àòü ñàéòû â ñîñòàâ êîëëåêöèè "—åðåïàõè".

3. ˆìß ìîåãî ñàéòà íå ðàñïîëàãàåòñß â çîíå ".ru". Šàê ñäåëàòü, ÷òîáû "—åðåïàõà" èíäåêñèðîâàëà è íàõîäèëà ìîè äîêóìåíòû?

…ñëè íà âàø ñàéò èëè ñòðàíèöó ññûëàþòñß äðóãèå äîêóìåíòû óíåòà è îí íàõîäèòñß â âåäåíèè ðîññèéñêèõ ïðîâàéäåðîâ, òî íåò íåîáõîäèìîñòè ÷òî-ëèáî ïðåäïðèíèìàòü. "—åðåïàõà" óìååò îïðåäåëßòü ãåîãðàôèþ ñîãëàñíî IP-àäðåñàì ñåðâåðîâ è îáßçàíà ïðîèíäåêñèðîâàòü âàø ñàéò. àïðèìåð, êîðïîðàòèâíûé ñàéò íàøåé êîìïàíèè èìååò äîìåííîå èìß www.stack.net. ‘ïèñîê ñàéòîâ â çîíàõ ".com", ".org", ".net", êîòîðûå Turtle ïðèçíàë ðîññèéñêèìè âåñüìà âåëèê. …ñëè æå âàø ñàéò ðàñïîëîæåí çà ïðåäåëàìè ðîññèéñêèõ ïðîâàéäåðîâ, òî ñëåäóåò âîñïîëüçîâàòüñß ôîðìîé ðåãèñòðàöèè. ðè íåîáõîäèìîñòè, âû ìîæåòå ñâßçàòüñß ñ àäìèíèñòðàòîðîì ïîèñêîâîé ñèñòåìû ïî àäðåñó add@turtle.ru è óáåäèòü åãî â öåëåñîîáðàçíîñòè âêëþ÷åíèß âàøåãî ðåñóðñà â ÷èñëî ñêàíèðóåìûõ.

4. Šàê îòëè÷èòü ðîáîòîâ ñèñòåìû Turtle?

àøè ðîáîòû ïðè ïîñåùåíèè ñàéòîâ âûñòàâëßþò çàãîëîâîê:
User-Agent: TurtleScanner/version_number
Šðîìå òîãî, ðîáîòû óñòàíàâëèâàþò ïîëå "From:", â êîòîðîå ïîìåùàþò àäðåñ ýëåêòðîííîé ïî÷òû êîíòàêòíîãî ëèöà. ‚ ñëó÷àå íåîáõîäèìîñòè, ìîæíî âñåãäà îáðàòèòüñß ïî ýòîìó àäðåñó ñ âàøåé ïðîáëåìîé, ñâßçàííîé ñ äåßòåëüíîñòüþ ðîáîòîâ Turtle.

5. Šàê îãðàíè÷èòü ðàáîòó ðîáîòîâ ñèñòåìû Turtle íà ìîåì ñàéòå?

ðèíöèïû ðàáîòû íàøèõ ðîáîòîâ íàïðàâëåíû íà òî, ÷òîáû ðàâíîìåðíî ñêàíèðîâàòü âñå äîñòóïíûå ñàéòû è "íå òåðçàòü" êàêîé-ëèáî ñàéò â îòäåëüíîñòè. Žäíàêî åñëè íàøè ðîáîòû ñèëüíî äîñàæäàþò âàøåìó ñåðâåðó èëè âû õîòèòå èñêëþ÷èòü ñâîé ñàéò, èëè åãî êàêóþ-ëèáî ÷àñòü, èç ÷èñëà ñêàíèðóåìûõ, âû ìîæåòå îñóùåñòâèòü ýòî ñ ïîìîùüþ ñòàíäàðòíîãî ìåõàíèçìà èñêëþ÷åíèß ðîáîòîâ, èñïîëüçóß ôàéë robots.txt. óññêèé ïåðåâîä ñòàíäàðòà è ïðàâèë îôîðìëåíèß ôàéëîâ robots.txt ðàñïîëîæåí íà http://www.citforum.ru/internet/search/rbtspec.shtml
àøè ðîáîòû ðàñïîçíàþò äèðåêòèâû äëß ñåáß ñ èäåíòèôèêàòîðîì "Turtle", íàïèñàííîì â ëþáîì ðåãèñòðå. àïðèìåð, ÷òîáû çàïðåòèòü èíäåêñèðîâàíèå âñåãî ñàéòà, ñëåäóåò ñîñòàâèòü ôàéë robots.txt ñëåäóþùåãî ñîäåðæàíèß:
User-Agent: turtle
Disallow: /

6. Šàê îãðàíè÷èòü èíäåêñèðîâàíèå ÷àñòè äîêóìåíòà?

‡àïðåò èíäåêñèðîâàíèß ÷àñòè äîêóìåíòà íàøèìè ðîáîòàìè ìîæíî îñóùåñòâèòü ñ ïîìîùüþ HTML-èíñòðóêöèé: <noindex> </noindex>. ‡àïðåò èíäåêñèðîâàíèß âñåãî äîêóìåíòà ìîæíî îñóùåñòâèòü ñ ïîìîùüþ HTML-èíñòðóêöèè:
<META NAME="ROBOTS" CONTENT="NOINDEX">
Šðîìå òîãî, ìîæíî çàïðåòèòü èñïîëüçîâàíèå ëèíêîâ ñ äàííîé ñòðàíèöû ñ ïîìîùüþ äèðåêòèâû:
<META NAME="ROBOTS" CONTENT="NOFOLLOW">
Žäíàêî äàííûé ìåõàíèçì íå ãàðàíòèðóåò òîãî, ÷òî ëèíêè ñ äàííîé ñòðàíèöû íå ïîïàäóò â ïîèñêîâóþ ñèñòåìó, ò.ê. òàêèå ëèíêè ìîãóò áûòü íàéäåíû è íà äðóãèõ ñòðàíèöàõ, íà êîòîðûõ ïîäîáíîãî META òýãà íå áóäåò îáíàðóæåíî.

7. Šàê äîáàâèòü íîâûé ðåñóðñ â ïîèñêîâóþ ñèñòåìó Turtle?

‡àïîëíèòå ôîðìó ïî àäðåñó http://www.turtle.ru/add.html
å ñëåäóåò çàïîëíßòü ôîðìó íåñêîëüêî ðàç. òî íå èçìåíèò ïîðßäîê èíäåêñèðîâàíèß âàøèõ ñòðàíèö. ”îðìà ñëóæèò ëèøü äëß òîãî, ÷òîáû ñîîáùèòü "—åðåïàõå" åùå íå èçâåñòíûé àäðåñ ðåñóðñà.

8. åêîòîðûå ñòðàíèöû ìîåãî ñàéòà óñïåøíî ïðîèíäåêñèðîâàíû, à íåêîòîðûå îòñóòñòâóþò â ïîèñêîâîé ñèñòåìå. î÷åìó?

‘óùåñòâóþò ôîðìàëüíî îïèñàííûå ôèëüòðû, îãðàíè÷èâàþùèå ïîëå ñêàíèðîâàíèß íàøèõ ðîáîòîâ ðàçóìíûìè ïðåäåëàìè. ”èëüòðû ñòàðàþòñß èñêëþ÷èòü ðåêëàìíûå áëîêè, ñ÷åò÷èêè, ðåéòèíãè è ïð. ‚îçìîæíî, ÷òî íåêîòîðûå ñòðàíèöû âàøåãî ñàéòà ñîäåðæàò â èìåíè òàêèå ÷àñòè, êîòîðûå ôèëüòðóþòñß.

9. ˆíäåêñèðóåò ëè —åðåïàõà äèíàìè÷åñêèå ñòðàíèöû?

„à. Žäíàêî ñëåäóåò èìåòü â âèäó, ÷òî ñóùåñòâóåò ðßä îãðàíè÷åíèé. Žáû÷íî ìû èñêëþ÷àåì èç ÷èñëà ñêàíèðóåìûõ äîêóìåíòû, êîòîðûå ãåíåðèðóþò íåîïðàâäàííî áîëüøîå êîëè÷åñòâî íîâûõ ññûëîê. Šðîìå òîãî, ìû áåçæàëîñòíî "âûêóñûâàåì" èç URL ôðàãìåíòû, êîòîðûå ïîèñêîâàß ñèñòåìà ñ÷èòàåò ÷àñòüþ, ïðåäíàçíà÷åííîé äëß èäåíòèôèêàöèè ñåññèè. Œû íå ðåêîìåíäóåì ïîìåùàòü â URL äîêóìåíòà òàêèå ïîëß, äëß ýòîãî ñóùåñòâóåò ìåõàíèçì "Cookies".

—åðåïàøèé àíê. åêëàìà íà Turtle ‹îãîòèïû ðàâîâàß èíôîðìàöèß Šîíôèäåíöèàëüíîñòü Šîíòàêòû

								€‘˜ˆ…›‰ Žˆ‘Š Žˆ‘Š Ž ”€ƒŒ…’“ ŽŒŽ™œ Ž‘’€Ÿ ”ŽŒ€
	‘ˆŽˆŒ› \| ‚‘… ”ŽŒ› ‘‹Ž‚