ΠΠ½ΡΡΡΠ΅Π½Π½ΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΡ ΡΠ°ΡΡΡ 3
ΠΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΡΠ°ΠΉΡΠ°
Π ΡΠ°ΠΌΠΎΠΌ Π½Π°ΡΠ°Π»Π΅ Π½Π°ΡΠ΅Π³ΠΎ ΠΊΡΡΡΠ° ΠΌΡ Π·Π°ΡΡΠ°Π³ΠΈΠ²Π°Π»ΠΈ ΡΠ΅ΠΌΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. Π§ΡΠΎ ΡΠ°ΠΊΠΎΠ΅ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ, Π·Π°ΡΠ΅ΠΌ ΠΎΠ½Π° Π½ΡΠΆΠ½Π° ΠΈ Ρ.Π΄. Π‘ΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎ Π³ΠΎΠ²ΠΎΡΡ, ΡΠΎΠ³Π΄Π° ΠΌΡ ΠΏΡΠΈΡΠ»ΠΈ ΠΊ Π²ΡΠ²ΠΎΠ΄Ρ, ΡΡΠΎ Π²ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Π½Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° Π΄ΠΎΠ»ΠΆΠ½Ρ Π±ΡΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡΠ΅, Π½ΠΎ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅ ΡΡΠΎ Π½Π΅ Π²ΡΠ΅Π³Π΄Π° ΡΠ°ΠΊ. Π Π΄Π°Π½Π½ΠΎΠΌ Π²ΠΎΠΏΡΠΎΡΠ΅ Π΅ΡΡΡ ΡΠ²ΠΎΠΈ ΡΠΎΠ½ΠΊΠΎΡΡΠΈ. Π’Π°ΠΊ Π΄Π°Π²Π°ΠΉΡΠ΅ ΠΈΡ ΡΠ΅ΠΉΡΠ°Ρ ΠΈ ΡΠ°Π·Π±Π΅ΡΠ΅ΠΌ.
Π ΡΠ°Π±ΠΎΡΠ΅ Ρ ΡΠ΅Π°Π»ΡΠ½ΡΠΌ ΠΏΡΠΎΠ΅ΠΊΡΠΎΠΌ ΠΌΠΎΠ³ΡΡ Π²ΠΎΠ·Π½ΠΈΠΊΠ½ΡΡΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΡΠΈΠΏΠΎΠ² ΡΡΡΠ°Π½ΠΈΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΠΌΠ΅ΡΡ ΡΠ²ΠΎΡ ΡΠ΅Π½Π½ΠΎΡΡΡ Π΄Π»Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, Π½ΠΎ Π² ΡΠΎΠΆΠ΅ Π²ΡΠ΅ΠΌΡ Π½Π΅ Π½ΡΠΆΠ½Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΠ΅. ΠΠ°Π»ΠΎ ΡΠΎΠ³ΠΎ, Π² Π½Π΅ΠΊΠΎΡΠΎΡΡΡ ΡΠ»ΡΡΠ°ΡΡ ΡΡΠΎ ΠΏΡΠΎΡΡΠΎ Π½Π΅Π΄ΠΎΠΏΡΡΡΠΈΠΌΠΎ. ΠΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° Π·Π½Π°Π΅Ρ ΠΎ ΡΠ°ΠΊΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ΅ ΠΈ Π΄Π°Π΅Ρ Π½Π°ΠΌ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΡ, ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ ΠΊΠΎΡΠΎΡΡΡ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠΊΡΡΠ²Π°ΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΠ΅ΡΠ²ΡΠΉ ΡΠ°ΠΊΠΎΠΉ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ β ΡΡΠΎ ΡΠ°ΠΉΠ» robots.txt.
ΠΠ°Π²Π°ΠΉΡΠ΅ ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ, ΠΊΠ°ΠΊ Ρ Π½Π°Ρ ΠΌΠΎΠ³ΡΡ ΠΎΠ±ΡΠ°Π·ΠΎΠ²Π°ΡΡΡΡ ΡΡΡΠ°Π½ΠΈΡΡ, Π½Π΅Π½ΡΠΆΠ½ΡΠ΅ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. ΠΠ°ΠΉΠ΄Π΅ΠΌ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π½Π° ΡΠ°ΠΉΡ ΡΠΎΠ·Π΅ΡΠΊΠΈ. ΠΠΎΠΏΡΠΎΠ±ΡΠ΅ΠΌ Π²ΠΏΠΈΡΠ°ΡΡ Π² ΡΡΡΠΎΠΊΠ΅ ΠΏΠΎΠΈΡΠΊΠ° ΡΠ°Π½Π΄ΠΎΠΌΠ½ΡΠΉ Π½Π°Π±ΠΎΡ Π±ΡΠΊΠ² (ΡΠΈΡ.1).

Π ΠΈΡΡΠ½ΠΎΠΊ β1 β ΠΠΎΡΠ²Π»Π΅Π½ΠΈΠ΅ ΠΌΠ°Π»ΠΎ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡ ΡΠ΅ΡΠ΅Π· ΠΏΠΎΠΈΡΠΊ
ΠΠΎΡΠ»Π΅ ΡΠΎΠ³ΠΎ, ΠΊΠ°ΠΊ ΠΌΡ Π½Π°ΠΆΠΌΠ΅ΠΌ ΠΊΠ½ΠΎΠΏΠΊΡ Π½Π°ΠΉΡΠΈ, ΠΌΡ ΠΏΠΎΠ»ΡΡΠΈΠΌ Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈ ΡΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ (ΡΠΈΡ. 2).

Π ΠΈΡΡΠ½ΠΎΠΊ β2 β ΠΠ°Π»ΠΎ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ
ΠΠΎ ΡΠ²ΠΎΠ΅ΠΉ ΡΡΡΠΈ ΡΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎΠ»Π΅Π·Π½Ρ Π΄Π»Ρ ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π΄Π°ΡΡ ΠΎΡΠ²Π΅Ρ ΠΎΠ± ΠΎΡΡΡΡΡΡΠ²ΠΈΠΈ ΠΈΡΠΊΠΎΠΌΠΎΠ³ΠΎ Π½Π° ΡΠ°ΠΉΡΠ΅. ΠΠΎ, Π² ΡΠΎΠΆΠ΅ Π²ΡΠ΅ΠΌΡ, ΡΠ°ΠΊΠ°Ρ ΡΡΡΠ°Π½ΠΈΡΠ° Π½Π΅ Π±ΡΠ΄Π΅Ρ ΡΡΠΈΡΠ°ΡΡΡΡ ΠΠ‘ ΠΏΠΎΠ»Π΅Π·Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅ΠΉ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ½Π° ΠΌΠ°Π»ΠΎΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½Π°. Π ΠΎΡΠ½ΠΎΠ²Π½Π°Ρ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° ΡΡΡ Π² ΡΠΎΠΌ, ΡΡΠΎ ΠΠ‘ ΠΎΡΠ΅Π½ΠΈΠ²Π°Π΅Ρ ΠΎΠ±ΡΡΡ ΡΠ΅Π»Π΅Π²Π°Π½ΡΠ½ΠΎΡΡΡ ΡΠ°ΠΉΡΠ° ΠΏΠΎ ΡΠΎΠΎΡΠ½ΠΎΡΠ΅Π½ΠΈΡ ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ ΠΈ Π½Π΅ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡ. Π ΠΏΡΠΈΠΌΠ΅ΡΡ, Π΅ΡΠ»ΠΈ Ρ Π½Π°Ρ Π½Π° ΡΠ°ΠΉΡΠ΅ Π΅ΡΡΡ 10 ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡ ΠΈ 500 Π½Π΅ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ , ΡΠΎ ΠΏΠΎΠΈΡΠΊΠΎΠ²Π°Ρ ΡΠΈΡΡΠ΅ΠΌΠ° ΠΎΡΠ΅Π½ΠΈΡ Π² ΡΠ΅Π»ΠΎΠΌ ΡΠ°ΠΉΡ ΠΊΠ°ΠΊ Π½Π΅ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΠΉ.
Π’Π°ΠΊ Π²ΠΎΡ, ΡΠ°ΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ Π±ΡΠ΄ΡΡ ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°ΡΡΡΡ ΠΏΡΠΈ ΠΊΠ°ΠΆΠ΄ΠΎΠΌ Π·Π°ΠΏΡΠΎΡΠ΅ Π² ΡΡΡΠΎΠΊΠ΅ ΠΏΠΎΠΈΡΠΊΠ°. ΠΡΠ»ΠΈ ΠΌΡ Π½Π΅ ΠΎΠ³ΡΠ°Π½ΠΈΡΠΈΠΌ ΠΏΠΎΠΏΠ°Π΄Π°Π½ΠΈΠ΅ ΡΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡ, ΡΠΎ ΡΠ΅ΡΠ΅Π· Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠ΅ Π²ΡΠ΅ΠΌΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡΠ΅ ΠΌΠΎΠΆΠ΅Ρ ΠΎΠΊΠ°Π·Π°ΡΡΡΡ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ βΠΌΡΡΠΎΡΠ½ΡΡ β ΡΡΡΠ°Π½ΠΈΡ. Π§ΡΠΎ Π² ΡΠ²ΠΎΡ ΠΎΡΠ΅ΡΠ΅Π΄Ρ ΠΎΠΊΠ°ΠΆΠ΅Ρ Π½Π΅Π±Π»Π°Π³ΠΎΠΏΡΠΈΡΡΠ½ΠΎΠ΅ Π²ΠΎΠ·Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ Π½Π° ΡΠ°Π½ΠΆΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΡΠ° Π² ΡΠ΅Π»ΠΎΠΌ.
Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π½Π°ΡΠ΅ΠΉ Π·Π°Π΄Π°ΡΠ΅ΠΉ ΡΠ²Π»ΡΠ΅ΡΡΡ Π·Π°ΠΏΡΠ΅ΡΠΈΡΡ ΠΏΠΎΠΏΠ°Π΄Π°Π½ΠΈΠ΅ ΡΡΠΈΡ ΡΡΡΠ°Π½ΠΈΡ Π² Π±Π°Π·Ρ ΠΠ‘. ΠΠ°Π²Π°ΠΉΡΠ΅ Π΄Π»Ρ ΠΏΠΎΠ»Π½ΠΎΡΡ ΠΊΠ°ΡΡΠΈΠ½Ρ Π½Π°ΠΏΠΈΡΠ΅ΠΌ ΠΎΡΠΌΡΡΠ»Π΅Π½Π½ΡΠΉ Π·Π°ΠΏΡΠΎΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ»ΠΎΠ²ΠΎ βΡ ΠΎΠ»ΠΎΠ΄ΠΈΠ»ΡΠ½ΠΈΠΊΠΈβ (ΡΠΈΡ 3).

Π ΠΈΡΡΠ½ΠΎΠΊ β3 β ΠΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈΠ· ΠΏΠΎΠΈΡΠΊΠ°
ΠΠΎΡΠ»Π΅ ΡΠ΅Π³ΠΎ ΠΌΡ ΠΏΠΎΠ»ΡΡΠ°Π΅ΠΌ ΡΠΆΠ΅ Π½Π΅ ΠΌΠ°Π»ΠΎ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡΡ (ΡΠΈΡ. 4), Π½ΠΎ ΡΠ΅ΠΌ Π½Π΅ ΠΌΠ΅Π½Π΅Π΅ ΡΡΠ° ΡΡΡΠ°Π½ΠΈΡΠ° Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Π° Π±ΡΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡΠ΅. ΠΡΠΎΠ±Π»Π΅ΠΌΠ° ΡΡΡ Π² ΡΠΎΠΌ, ΡΡΠΎ ΡΡΠ° Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈ ΡΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½Π½Π°Ρ ΡΡΡΠ°Π½ΠΈΡΠ°, Π±ΡΠ΄Π΅Ρ ΠΈΠΌΠ΅ΡΡ ΡΠ²ΠΎΠΉ ΡΠ½ΠΈΠΊΠ°Π»ΡΠ½ΡΠΉ URL (ΡΠΈΡ. 5)

Π ΠΈΡΡΠ½ΠΎΠΊ β4 β ΠΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈ ΡΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΈΠ· ΠΏΠΎΠΈΡΠΊΠ° 2

Π ΠΈΡΡΠ½ΠΎΠΊ β5 β ΠΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈ ΡΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ URL
Π ΡΡΡ ΠΌΡ ΡΡΠ°Π»ΠΊΠΈΠ²Π°Π΅ΠΌΡΡ ΡΠΆΠ΅ Ρ Π΄ΡΡΠ³ΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠΎΠΉ β Π΄ΡΠ±Π»ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ°. ΠΠ΅Π΄Ρ Π½Π° ΡΠ°ΠΉΡΠ΅ ΡΠΎΠ·Π΅ΡΠΊΠΈ Π΅ΡΡΡ ΠΏΠΎΡΠ°Π΄ΠΎΡΠ½Π°Ρ ΡΡΡΠ°Π½ΠΈΡΠ° Π₯ΠΎΠ»ΠΎΠ΄ΠΈΠ»ΡΠ½ΠΈΠΊΠΈ ΡΠΎ ΡΠ²ΠΎΠΈΠΌ ΡΠ½ΠΈΠΊΠ°Π»ΡΠ½ΡΠΌ URL (ΡΠΈΡ. 6).

Π ΠΈΡΡΠ½ΠΎΠΊ β6 β Π‘ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠΉ URL
Π Π΄Π»Ρ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΠΎΠΉ ΡΠΈΡΡΠ΅ΠΌΡ ΡΡΠΎ Π΄Π²Π΅ ΡΠ°Π·Π½ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π°Π΄ΡΠ΅ΡΠ° Ρ Π½ΠΈΡ ΡΠ°Π·Π½ΡΠ΅. Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π΅ΡΠ»ΠΈ ΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ Π±ΡΠ΄ΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡΠ΅, ΠΌΡ ΠΏΠΎΠ»ΡΡΠΈΠΌ ΠΌΠ°ΡΡΡ Π΄ΡΠ±Π»Π΅ΠΉ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ°. ΠΡΠΈ Π΄Π²Π° ΠΏΡΠΈΠΌΠ΅ΡΠ° ΠΎΡΡΠ°ΠΆΠ°ΡΡ Π΄Π²Π° ΠΎΡΠ½ΠΎΠ²Π½ΡΡ Π²ΠΈΠ΄Π° Π½Π΅ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΡ ΡΡΡΠ°Π½ΠΈΡ β ΠΌΠ°Π»ΠΎΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΡΠ΅ ΠΈ Π΄ΡΠ±Π»ΠΈ. Π’Π°ΠΊΠΆΠ΅ Π½Π΅ΠΆΠ΅Π»Π°ΡΠ΅Π»ΡΠ½Ρ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΡΠ°Π½ΠΈΡΡ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π»ΠΈΡΠ½ΠΎΠ³ΠΎ ΠΊΠ°Π±ΠΈΠ½Π΅ΡΠ° ΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΠ΅Π»Ρ, Π΅Π³ΠΎ ΠΏΡΠΈΠ²Π°ΡΠ½ΡΡ Π΄Π°Π½Π½ΡΡ . ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΈΡΠΏΡΠ°Π²ΠΈΡΡ ΡΡΡ ΡΠΈΡΡΠ°ΡΠΈΡ, Π½Π°ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ Π·Π°ΠΊΡΡΡΡ ΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΠΎΠ±ΠΎΡΠ°ΠΌΠΈ ΠΠ‘. Π ΡΡΠΎΠΌ Π½Π°ΠΌ ΠΏΠΎΠΌΠΎΠΆΠ΅Ρ ΡΠ°ΠΉΠ» robots.txt.
ΠΠ°ΠΆΠ½ΠΎ!
Π ΠΎΠ±ΠΎΡΡ ΠΠ‘ ΠΌΠΎΠ³ΡΡ ΠΏΡΠΎΠΈΠ³Π½ΠΎΡΠΈΡΠΎΠ²Π°ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Π½ΡΡ Π² robots.txt, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΡΠΎ Π½Π΅ Π±ΠΎΠ»Π΅Π΅ ΡΠ΅ΠΌ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄Π°ΡΠΈΡ, ΠΏΠΎΡΡΠΎΠΌΡ ΠΈΠ½ΠΎΠ³Π΄Π° ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π°Π»ΡΡΠ΅ΡΠ½Π°ΡΠΈΠ²Π½ΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ Π·Π°ΠΊΡΡΡΠΈΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. Π Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Π΅ ΡΠ»ΡΡΠ°Π΅Π², Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π±ΡΠ΄Π΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ΅Π³ meta robots, ΠΏΠΎΠ΄ΡΠΎΠ±Π½Π΅Π΅ ΡΡΡ. ΠΠΎΠΌΠΈΠΌΠΎ ΡΡΠΈΡ Π΄Π²ΡΡ ΡΠΏΠΎΡΠΎΠ±ΠΎΠ² Π΅ΡΡΡ ΠΈ Π΅ΡΠ΅, β ΡΡΠ°ΡΡΡ Π½Π° ΡΡΡ ΡΠ΅ΠΌΡ.
Π€Π°ΠΉΠ» robots.txt
ΠΡΠΎ ΠΎΠ±ΡΡΠ½ΡΠΉ ΡΠ΅ΠΊΡΡΠΎΠ²ΡΠΉ ΡΠ°ΠΉΠ» Π² ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠ΅ UTF-8, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ ΠΌΡ ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°Π΅ΠΌ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Π±ΠΎΡΠ°ΠΌ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΈΡΡΠ΅ΠΌ. ΠΠ°Π²Π°ΠΉΡΠ΅ ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ ΡΡΠΎ ΠΏΠΎΠ΄ΡΠΎΠ±Π½Π΅Π΅. ΠΡΠΎΡ ΡΠ°ΠΉΠ» Ρ ΡΠ°Π½ΠΈΡΡΡ Π½Π° Ρ ΠΎΡΡΠΈΠ½Π³Π΅ Π½Π° ΠΎΠ΄Π½ΠΎΠΌ ΡΡΠΎΠ²Π½Π΅ Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ½ΡΠΌ ΡΠ°ΠΉΠ»ΠΎΠΌ ΡΠ°ΠΉΡΠ°. ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ ΡΡΠΎΡ ΡΠ°ΠΉΠ» Π½Π° Π»ΡΠ±ΠΎΠΌ ΡΠ°ΠΉΡΠ΅, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡΠΎΡΡΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ Π² Π°Π΄ΡΠ΅ΡΠ½ΠΎΠΉ ΡΡΡΠΎΠΊΠ΅ ΠΈΠΌΡ Π΄ΠΎΠΌΠ΅Π½Π° ΠΈ ΡΠ΅ΡΠ΅Π· ΡΠ»Π΅Ρ ΠΈΠΌΡ ΡΠ°ΠΉΠ»Π° https://ΠΈΠΌΡ_Π΄ΠΎΠΌΠ΅Π½Π°/robots.txt ΠΠ»Ρ ΠΏΡΠΈΠΌΠ΅ΡΠ° ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ ΡΠ°ΠΊΠΆΠ΅ ΡΠ°ΠΉΡ ΡΠΎΠ·Π΅ΡΠΊΠ° (ΡΠΈΡ. 7).

Π ΠΈΡΡΠ½ΠΎΠΊ β7 β Π€Π°ΠΉΠ» robots.txt
ΠΡΠ°ΠΊ, ΡΡΠΎ ΠΌΡ ΡΡΡ Π²ΠΈΠ΄ΠΈΠΌ? ΠΠ΅ΡΠ²Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° User-Agent:*, ΠΎΠ½Π° ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΊΠ°ΠΊΠΈΠΌ ΠΈΠΌΠ΅Π½Π½ΠΎ ΡΠΎΠ±ΠΎΡΠ°ΠΌ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ. ΠΠ° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎ 302 ΡΠΎΠ±ΠΎΡΠ°. Π’ΡΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΠΎΡΠΌΠΎΡΡΠ΅ΡΡ ΠΈΡ ΠΏΠΎΠ»Π½ΡΠΉ ΡΠΏΠΈΡΠΎΠΊ. Π Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ * ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ, ΡΡΠΎ ΡΡΠΈ ΠΈΠ½ΡΡΡΡΠΊΡΠΈΠΈ Π΄Π»Ρ Π²ΡΠ΅Ρ Π²ΠΈΠ΄ΠΎΠ² ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΡ ΡΠΎΠ±ΠΎΡΠΎΠ². ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π³Π»Π°Π²Π½ΡΠΌ Π±ΠΎΡΠΎΠΌ Π³ΡΠ³Π», ΡΠ²Π»ΡΠ΅ΡΡΡ Googlebot. Π ΡΠ»ΡΡΠ°Π΅ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ² ΠΈΡΠΊΠ»ΡΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π΄Π»Ρ Π½Π΅Π³ΠΎ, Π½ΡΠΆΠ½ΠΎ ΡΠΊΠ°Π·Π°ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΡΠ°ΠΊ β User-Agent: Googlebot.ΠΡΠΈ ΡΠ°ΠΊΠΈΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°Ρ Π²ΡΠ΅ ΠΎΡΡΠ°Π²ΡΠΈΠ΅ΡΡ Π±ΠΎΡΡ Π±ΡΠ΄ΡΡ ΠΏΡΠΎΠ²Π΅ΡΡΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ΅ ΡΠ°ΠΉΡΠ° Π½Π° ΠΎΡΠ½ΠΎΠ²Π°Π½ΠΈΠΈ ΡΠ²ΠΎΠΈΡ Π±Π°Π·ΠΎΠ²ΡΡ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ², Π½Π° ΡΠΎΡ ΡΠ»ΡΡΠ°ΠΉ ΠΊΠΎΠ³Π΄Π° ΡΠ°ΠΉΠ» robot.txt ΠΎΡΡΡΡΡΡΠ²ΡΠ΅Ρ. Π‘ΠΈΠ½ΡΠ°ΠΊΡΠΈΡ ΡΠ°ΠΉΠ»Π° Π²Π΅ΡΡΠΌΠ° ΠΏΡΠΎΡΡΠΎΠΉ.
ΠΠΎΠΌΠ°Π½Π΄Π°: Π·Π½Π°ΡΠ΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΠΈ ΠΊΠ°ΠΆΠ΄Π°Ρ Π½ΠΎΠ²Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° ΠΈΠ΄Π΅Ρ Ρ Π½ΠΎΠ²ΠΎΠΉ ΡΡΡΠΎΠΊΠΈ.
ΠΠ°Π»Π΅Π΅ ΠΌΡ Π²ΠΈΠ΄ΠΈΠΌ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Disallow. ΠΡΠ° ΠΊΠΎΠΌΠ°Π½Π΄Π° ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°Π΅Ρ Π·Π°ΠΏΡΠ΅Ρ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ. ΠΠ°Π²Π°ΠΉ ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ, ΠΊΠ°ΠΊ Π±ΡΠ΄Π΅Ρ Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ Ρ ΠΌΡΡΠΎΡΠ½ΡΠΌΠΈ ΡΡΡΠ°Π½ΠΈΡΠ°ΠΌΠΈ ΠΈΠ· Π²Π½ΡΡΡΠ΅Π½Π½Π΅Π³ΠΎ ΠΏΠΎΠΈΡΠΊΠ° Π½Π° ΡΠ°ΠΉΡΠ΅ ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ ΡΡΠΎΠΉ ΠΊΠΎΠΌΠ°Π½Π΄Ρ. ΠΡΠ»ΠΈ ΠΌΡ ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ Π½Π° ΡΠΎ, ΠΊΠ°ΠΊΠΎΠΉ url ΡΠΎΡΠΌΠΈΡΡΠ΅ΡΡΡ Ρ ΡΡΡΠ°Π½ΠΈΡΡ, ΠΊΠΎΡΠΎΡΠ°Ρ Π³ΠΎΠ²ΠΎΡΠΈΡ, ΡΡΠΎ Π½ΠΈΡΠ΅Π³ΠΎ Π½Π΅ Π½Π°ΠΉΠ΄Π΅Π½ΠΎ, ΡΠΎ ΡΠ²ΠΈΠ΄ΠΈΠΌ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π΅ (ΡΠΈΡ. 8).

Π ΠΈΡΡΠ½ΠΎΠΊ β8 β Π‘ΡΡΡΠΊΡΡΡΠ° url
Π‘ΠΊΠΎΠ»ΡΠΊΠΎ Π±Ρ ΡΠ°Π· ΠΌΡ Π½Π΅ Π²Π²ΠΎΠ΄ΠΈΠ»ΠΈ ΡΠ°ΠΊΠΎΠΉ Π·Π°ΠΏΡΠΎΡ, Ρ Π½Π°Ρ Π²ΡΠ΅Π³Π΄Π° ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ Π² ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅ search. Π‘Π»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, Π½Π°ΠΌ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ ΡΡΠΎΡ ΠΊΠ°ΡΠ°Π»ΠΎΠ³. ΠΠ»Ρ ΡΡΠΎΠ³ΠΎ ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΠΌ Π² ΡΠ°ΠΉΠ»Π΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Disallow: /search/. Π’Π΅ΠΌ ΡΠ°ΠΌΡΠΌ Π·Π°ΠΏΡΠ΅ΡΠ°Π΅ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ Π²ΡΠ΅Π³ΠΎ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π° ΠΈ Π²ΡΠ΅Π³ΠΎ, ΡΡΠΎ Π² Π½Π΅ΠΌ Π»Π΅ΠΆΠΈΡ. ΠΠ°Π²Π°ΠΉΡΠ΅ ΡΠ°Π·Π±Π΅ΡΠ΅ΠΌ Π΅ΡΠ΅ ΠΎΠ΄Π½Ρ ΡΠΈΡΡΠ°ΡΠΈΡ. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΌΡ ΠΎΡΠΊΡΠΎΠ΅ΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³ ΡΠΎΠ²Π°ΡΠΎΠ² ΠΈ Π²ΡΠ±Π΅ΡΠ΅ΠΌ ΡΠ°Π·Π΄Π΅Π» βΠΡΡΠΎΠ²Π°Ρ ΡΠ΅Ρ Π½ΠΈΠΊΠ°β, Π° Π² Π½Π΅ΠΉ Ρ ΠΎΠ»ΠΎΠ΄ΠΈΠ»ΡΠ½ΠΈΠΊΠΈ (ΡΠΈΡ. 9).

Π ΠΈΡΡΠ½ΠΎΠΊ β9
ΠΠ°Π»Π΅Π΅ ΠΊΠ»ΠΈΠΊΠ½Π΅ΠΌ Π½Π° ΠΎΠ΄Π½ΠΎΠΊΠ°ΠΌΠ΅ΡΠ½ΡΠ΅ (ΡΠΈΡ. 10)


Π ΠΈΡΡΠ½ΠΎΠΊ β10
Π ΠΈΡΠΎΠ³Π΅ ΠΌΡ ΠΏΠΎΠΏΠ°Π΄Π°Π΅ΠΌ Π½Π° ΡΡΡΠ°Π½ΠΈΡΡ Ρ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΠΌ Π°Π΄ΡΠ΅ΡΠΎΠΌ (ΡΠΈΡ. 11).

Π ΠΈΡΡΠ½ΠΎΠΊ β11
ΠΠΎ ΡΡΡ Π½Π° ΡΡΡΠ°Π½ΠΈΡΠ΅ Π΅ΡΡΡ ΠΎΡΠ΅Π½Ρ ΠΏΠΎΠ»Π΅Π·Π½ΡΠΉ ΡΡΠ½ΠΊΡΠΈΠΎΠ½Π°Π» β ΡΡΠΎ ΡΠΎΡΡΠΈΡΠΎΠ²ΠΊΠ° (ΡΠΈΡ. 12)

Π ΠΈΡΡΠ½ΠΎΠΊ β12 β Π‘ΠΎΡΡΠΈΡΠΎΠ²ΠΊΠ°
ΠΡΠΊΡΡΠ² Π΅Π΅ (ΡΠΈΡ. 13), ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΡΠ²ΠΈΠ΄Π΅ΡΡ ΡΠΎΡΡΠΈΡΠΎΠ²ΠΊΡ ΠΎΡ Π΄ΠΎΡΠΎΠ³ΠΈΡ ΠΊ Π΄Π΅ΡΠ΅Π²ΡΠΌ.

Π ΠΈΡΡΠ½ΠΎΠΊ β13
ΠΠΎΠ»ΡΡΠ°Π΅ΡΡΡ, ΡΡΠΎ ΠΊΠ°ΠΆΠ΄ΡΠΉ ΡΠ°Π· ΠΏΡΠΈ ΠΊΠ»ΠΈΠΊΠ΅ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΠΏΠΎΠ»ΡΡΠ°ΡΡ ΡΡ ΠΆΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΡ, Π½ΠΎ Ρ Π΄ΡΡΠ³ΠΈΠΌ ΠΏΠΎΡΡΠ΄ΠΊΠΎΠΌ ΠΈ Ρ Π½ΠΎΠ²ΡΠΌ url (ΡΠΈΡ. 14) .

Π ΠΈΡΡΠ½ΠΎΠΊ β14
ΠΠ°ΠΊ Π²Ρ ΡΠΆΠ΅ Π½Π°Π²Π΅ΡΠ½ΠΎ Π΄ΠΎΠ³Π°Π΄Π°Π»ΠΈΡΡ, ΠΌΡ ΡΠ½ΠΎΠ²Π° ΠΏΠΎΠ»ΡΡΠΈΠ»ΠΈ Π΄ΡΠ±Π»Ρ ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ°. ΠΠΎ Π΅Π³ΠΎ ΡΠ°ΠΊΠΆΠ΅ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΡΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, ΠΏΡΠΈΠΌΠ΅Π½ΠΈΠ² ΠΊΠΎΠΌΠ°Π½Π΄Ρ Disallow. ΠΡΠ»ΠΈ ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ url, ΡΠΎ ΠΌΡ Π½Π΅ Π½Π°ΠΉΠ΄Π΅ΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π°, ΠΏΠΎ ΠΊΠΎΡΠΎΡΠΎΠΌΡ ΠΌΡ ΠΌΠΎΠ³Π»ΠΈ Π±Ρ Π²ΡΠ΅ Π·Π°ΠΊΡΡΡΡ. ΠΠΎ Ρ Π½Π°Ρ ΠΏΠΎΡΠ²Π»ΡΠ΅ΡΡΡ Π² Π°Π΄ΡΠ΅ΡΠ΅ ΡΠ»ΠΎΠ²ΠΎ sort, ΠΊΠ°ΠΊ Π½Π΅ΠΎΡΡΠ΅ΠΌΠ»Π΅ΠΌΡΠΉ Π°ΡΡΠΈΠ±ΡΡ Π°Π΄ΡΠ΅ΡΠ° ΡΠΎΠ·Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΡΠΎΡΡΠΈΡΠΎΠ²ΠΊΠΎΠΉ.
Disallow: /*sort=*
ΠΠ° ΡΡΠΎΠΌ ΠΏΡΠΈΠΌΠ΅ΡΠ΅ ΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΡΠΎ Π·Π²Π΅Π·Π΄ΠΎΡΠΊΠΎΠΉ. Π Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ Π·Π²Π΅Π·Π΄ΠΎΡΠΊΠ° ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ Π»ΡΠ±ΠΎΠΉ Π½Π°Π±ΠΎΡ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ². ΠΡΠΎΡΠ΅ΡΡΡ Π΄Π°Π½Π½ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ ΠΌΠΎΠΆΠ½ΠΎ ΡΠ°ΠΊ. ΠΡΠ»ΠΈ ΠΏΠΎΡΠ»Π΅ ΡΠ»Π΅ΡΠ° ΠΈΠ΄Π΅Ρ Π»ΡΠ±ΠΎΠΉ Π½Π°Π±ΠΎΡ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ², Π° ΠΏΠΎΡΠΎΠΌ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎ sort= ΠΈ Π΄Π°Π»ΡΡΠ΅ ΡΠ½ΠΎΠ²Π° Π»ΡΠ±ΠΎΠΉ Π½Π°Π±ΠΎΡ, ΡΠΎΠ³Π΄Π° ΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ Π±ΡΡΡ Π² ΠΈΠ½Π΄Π΅ΠΊΡΠ΅. ΠΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΡΠΈ Π΄Π²Π° ΠΏΡΠ°Π²ΠΈΠ»Π° β Π·Π°ΠΏΡΠ΅Ρ ΠΏΠΎ Π·Π²Π΅Π·Π΄ΠΎΡΠΊΠ°ΠΌ ΠΈ Π·Π°ΠΏΡΠ΅Ρ ΠΏΠΎ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Ρ, ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ Π·Π°ΠΊΡΡΡΡ Π»ΡΠ±ΡΠ΅ ΡΡΡΠ°Π½ΠΈΡΡ ΠΏΠΎ url.
ΠΠ°ΠΆΠ½ΠΎ!
Π€Π°ΠΉΠ» robots.txt ΡΠΎΡΠΌΠΈΡΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ ΡΠ°ΠΉΡΠ° ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡΠ°Π»ΡΠ½ΠΎ. Π’.Π΅., Π΅ΡΠ»ΠΈ Π²Ρ ΠΊΠΎΠΏΠΈΡΡΠ΅ΡΠ΅ ΡΠ°ΠΉΠ» ΡΠΎΠ·Π΅ΡΠΊΠΈ ΠΈ Π΄ΠΎΠ±Π°Π²Π»ΡΠ΅ΡΠ΅ Π½Π° Π²Π°Ρ ΡΠ°ΠΉΡ, ΡΠΎ ΡΡΠΎ Π²Π°ΠΌ ΠΌΠΎΠΆΠ΅Ρ Π½ΠΈΡΠ΅Π³ΠΎ Π½Π΅ Π΄Π°ΡΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Ρ Π²Π°Ρ Π±ΡΠ΄ΡΡ Π΄ΡΡΠ³ΠΈΠ΅ ΡΡΡΡΠΊΡΡΡΡ Π½Π° ΡΠ°ΠΉΡΠ΅ ΠΈ Ρ Π΄ΡΡΠ³ΠΈΠΌΠΈ ΠΈΠΌΠ΅Π½Π°ΠΌΠΈ ΡΠ°ΠΉΠ»ΠΎΠ².
Π’Π°ΠΊΠΆΠ΅ cΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ 4 ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΡΠΈΠΌΠ²ΠΎΠ»Π°, ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ ΠΊΠΎΡΠΎΡΡΡ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΡΡ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠ΅ β/, *, $, #β.
/ β ΠΠ°Π΅Ρ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠΊΠ°Π·Π°ΡΡ, ΡΡΠΎ ΠΈΠΌΠ΅Π½Π½ΠΎ ΠΌΡ Ρ ΠΎΡΠΈΠΌ Π·Π°ΠΊΡΡΡΡ. ΠΡΠ»ΠΈ Π½ΡΠΆΠ½ΠΎ Π·Π°ΠΊΡΡΡΡ ΠΏΠ°ΠΏΠΊΡ ΠΈ Π²ΡΠ΅ Π² Π½Π΅ΠΉ Disallow: /folder, Π° Π΅ΡΠ»ΠΈ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ ΠΏΠ°ΠΏΠΊΡ ΡΠΎΠ³Π΄Π° Disallow: /papka/
* β ΠΡΡΠ°ΠΆΠ°Π΅Ρ ΡΠΎΠ±ΠΎΠΉ Π»ΡΠ±ΡΡ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎΡΡΡ ΡΠΈΠΌΠ²ΠΎΠ»ΠΎΠ². ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π·Π°ΠΊΡΡΠ²Π°Π΅ΠΌ Π²ΡΠ΅ ΡΠ°ΠΉΠ»Ρ Ρ ΡΠ°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ΠΌ gif, Π² catalog. ΠΠΎΠΌΠ°Π½Π΄Π° Π±ΡΠ΄Π΅Ρ Disallow: /catalog/*.gif$
$ β ΠΠ½Π°ΠΊ Π΄ΠΎΠ»Π»Π°ΡΠ° ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ ΠΎΠ±ΡΡΠ² ΡΡΡΠΎΠΊΠΈ, ΠΎΡΠΌΠ΅Π½ΡΠ΅Ρ Π΄Π΅ΠΉΡΡΠ²ΠΈΠ΅ *. ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Π° Disallow: /catalog/*.php$ Π·Π°ΠΏΡΠ΅ΡΠΈΡ ΡΠΊΠ°Π½ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ°ΠΉΠ»Π° index.php, Π° Π²ΠΎΡ index.php?id=12 Π½Π΅ Π·Π°ΠΏΡΠ΅ΡΠΈΡ.
# β ΠΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΠΊΠΎΠΌΠΌΠ΅Π½ΡΠ°ΡΠΈΠ΅Π², ΠΊΠΎΡΠΎΡΡΠ΅ Π΄Π»Ρ ΡΠ΅Π±Ρ ΠΈΠ»ΠΈ Π΄Π»Ρ Π΄ΡΡΠ³ΠΈΡ ΠΌΠΎΠΆΠ΅Ρ ΠΎΡΡΠ°Π²ΠΈΡΡ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅Ρ.
Π’Π΅ΠΏΠ΅ΡΡ ΠΏΡΠΈΡΡΡΠΏΠΈΠΌ ΠΊ ΠΊΠΎΠΌΠ°Π½Π΄Π΅ Allow . ΠΠ½Π° Π΄Π°Π΅Ρ ΡΠ°Π·ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ Π½Π° ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΡ ΠΊΠ°ΠΊΠΎΠ³ΠΎ-Π»ΠΈΠ±ΠΎ ΡΠ°ΠΉΠ»Π°/ΡΡΡΠ°Π½ΠΈΡΡ/Π΄ΠΈΡΠ΅ΠΊΡΠΈΠ²Ρ/. Π ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌ Π΄Π»Ρ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Allow Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΠΈ Π½Π΅Ρ. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΠΏΠΎ ΡΠΌΠΎΠ»ΡΠ°Π½ΠΈΡ, Π²ΡΠ΅ ΡΡΠΎ Π½Π΅ Π·Π°ΠΏΡΠ΅ΡΠ΅Π½ΠΎ β ΡΠ°Π·ΡΠ΅ΡΠ΅Π½ΠΎ. Π§Π°ΡΠ΅ ΡΠ»ΡΡΠ°Π΅ΡΡΡ ΡΠ°ΠΊ, ΡΡΠΎ Π½ΡΠΆΠ½ΠΎ ΠΎΡΠΊΡΡΡΡ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΡΡ ΠΏΠ°ΠΏΠΊΡ Π² Π·Π°ΠΊΡΡΡΠΎΠΌ ΠΊΠ°ΡΠ°Π»ΠΎΠ³Π΅, ΡΠΎΠ³Π΄Π° Π½Π° ΠΏΠΎΠΌΠΎΡΡ ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡ Allow. ΠΡΠ΅Π½Ρ ΡΠ°ΡΡΠΎ Ρ Π²Π΅Π±-ΠΌΠ°ΡΡΠ΅ΡΠΎΠ² ΠΏΠΎΡΠ²Π»ΡΠ΅ΡΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎΡΡΡ Π»ΠΈΠ±ΠΎ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ Π·Π°ΠΊΡΡΡΡ ΡΠ°ΠΉΡ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π² ΠΏΠ΅ΡΠΈΠΎΠ΄ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠΈ. ΠΠ»ΠΈ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ ΠΎΡΠΊΡΡΡΡ.
ΠΠ»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»Π½ΠΎΡΡΡΡ Π·Π°ΠΊΡΡΡΡ ΡΠ°ΠΉΡ, Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠΏΠΈΡΠ°ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄Ρ disallow: /
ΠΡΠ° ΠΊΠΎΠΌΠ°Π½Π΄Π° Π³ΠΎΠ²ΠΎΡΠΈΡ, ΡΡΠΎ ΠΌΡ Π·Π°ΠΏΡΠ΅ΡΠ°Π΅ΠΌ ΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°ΡΡ Π²ΡΠ΅, ΡΡΠΎ Π»Π΅ΠΆΠΈΡ Π½Π° ΡΠ°ΠΉΡΠ΅. ΠΠ½Π°Π»ΠΎΠ³ΠΈΡΠ½ΠΎ ΠΌΠΎΠΆΠ½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Disallow: *
ΠΡΠ»ΠΈ ΠΆΠ΅ ΡΠ°ΠΉΡ Π³ΠΎΡΠΎΠ² Π΄Π»Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ, ΠΊΠ°ΡΠ΅Π³ΠΎΡΠΈΠΈ ΡΠΎΠ·Π΄Π°Π½Ρ, ΠΊΠΎΠ½ΡΠ΅Π½ΡΠ° Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π΄Π»Ρ ΡΡΠ°ΡΡΠ°, ΡΠ°ΠΉΡ Π½ΡΠΆΠ½ΠΎ ΠΎΡΠΊΡΡΡΡ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ.
ΠΠΎΠΌΠ°Π½Π΄Π° Disallow:
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ ΠΊΠΎΠΌΠ°Π½Π΄Π° ΠΎΡΡΠ°Π»Π°ΡΡ ΠΏΡΡΡΠ°Ρ, ΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, ΠΎΠ½Π° ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ β Π½ΠΈΡΠ΅Π³ΠΎ Π½Π΅ Π·Π°ΠΊΡΡΠ²Π°ΡΡβ.
ΠΠ½Π°Π»ΠΎΠ³
Allow: *
Allow: /
ΠΠΎΠΌΠΈΠΌΠΎ ΡΡΠΈΡ Π΄Π²ΡΡ ΠΊΠΎΠΌΠ°Π½Π΄, Π² ΡΡΠΎΠΌ ΡΠ°ΠΉΠ»Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ Π΅ΡΠ΅ ΠΊΠΎΠΌΠ°Π½Π΄Ρ Host ΠΈ Sitemap.
ΠΠΎΠΌΠ°Π½Π΄Π° Host β Π² ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΡΡΡ Π΄Π»Ρ Π―Π½Π΄Π΅ΠΊΡ, ΠΡΠ³Π» ΠΎΡΠ΅Π½ΠΈΠ²Π°Π΅Ρ Π΅Π΅ ΠΏΡΠΎΡΡΠΎ ΠΊΠ°ΠΊ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΠΌΡΡ. ΠΠ½Π° ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ ΡΠ°ΠΉΡΠ°. ΠΡΠ»ΠΈ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π²Ρ ΡΠ΅ΡΠΈΠ»ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ, ΠΊΠ°ΠΊ ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠ΅ Π·Π΅ΡΠΊΠ°Π»ΠΎ https://ΠΈΠΌΡ_ΡΠ°ΠΉΡΠ°.com.ua, Π° Π½Π΅ https://www.ΠΈΠΌΡ_ΡΠ°ΠΉΡΠ°.com.ua, ΡΠΎ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΊΠ°Π·Π°ΡΡ Π² ΠΊΠΎΠ½ΡΠ΅ ΡΠ°ΠΉΠ»Π° robots ΠΊΠΎΠΌΠ°Π½Π΄Ρ Host: https://ΠΈΠΌΡ_ΡΠ°ΠΉΡΠ°.com.ua.
Π ΡΠ΅Ρ ΡΠ»ΡΡΠ°ΡΡ , ΠΊΠΎΠ³Π΄Π° ΡΠ°ΠΉΡ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ ΠΏΡΠΎΡΠΎΠΊΠΎΠ» https, ΠΌΡ ΡΠΊΠ°Π·ΡΠ²Π°Π΅ΠΌ ΠΏΡΠΎΡΡΠΎ
Host: site.com
Π ΡΠ΅Ρ ΡΠ»ΡΡΠ°ΡΡ , ΠΊΠΎΠ³Π΄Π° ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ https
Host:https://site.com
Π€Π°ΠΉΠ» sitemap.xml
Π‘Π΅ΠΉΡΠ°Ρ ΠΊΠΎΡΠ½Π΅ΠΌΡΡ ΠΏΠΎΡΠ»Π΅Π΄Π½Π΅ΠΉ Π²Π°ΠΆΠ½ΠΎΠΉ Π΄Π»Ρ Π½Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Ρ, ΡΡΠΎ Sitemap. ΠΠ°Π½Π½Π°Ρ ΠΊΠΎΠΌΠ°Π½Π΄Π° ΡΠΊΠ°ΠΆΠ΅Ρ Π°Π΄ΡΠ΅Ρ, ΠΏΠΎ ΠΊΠΎΡΠΎΡΠΎΠΌΡ ΠΌΡ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠΈΠ»ΠΈ Π½Π°ΡΡ ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ°.
ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ Sitemap: https://domain.com/sitemap.xml.
Π’Π΅ΠΏΠ΅ΡΡ Π΄Π°Π²Π°ΠΉΡΠ΅ Π±ΠΎΠ»Π΅Π΅ ΠΏΠ»ΠΎΡΠ½ΠΎ ΠΏΠΎΠ΄ΠΎΠΉΠ΄Π΅ΠΌ ΠΊ Π²ΠΎΠΏΡΠΎΡΡ ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ°. ΠΠ°ΡΡΠ° ΡΠ°ΠΉΡΠ° β ΡΡΠΎ ΡΠ°ΠΉΠ» Π² ΡΠΎΡΠΌΠ°ΡΠ΅ xml, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ ΠΏΠ΅ΡΠ΅ΡΠ΅Π½Ρ Π²ΡΠ΅Ρ ΡΡΡΠ°Π½ΠΈΡ Π½Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΡ Ρ ΠΎΡΠΈΠΌ ΡΡΠΎΠ±Ρ ΠΠ‘ ΠΏΡΠΎΠΈΠ½Π΄Π΅ΠΊΡΠΈΡΠΎΠ²Π°Π»Π°. ΠΡΠΎΡ ΠΏΡΠΎΡΠΎΠΊΠΎΠ», sitemap, ΡΠΎΡΡΠΎΠΈΡ ΠΈΠ· ΡΠ΅Π³ΠΎΠ² -XML, Π² ΠΊΠΎΡΠΎΡΡΡ ΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ°Π΅ΡΡΡ Π²ΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠ°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ. ΠΠ°Π²Π°ΠΉΡΠ΅ ΠΏΠΎΡΠΌΠΎΡΡΠΈΠΌ Π½Π° ΡΡΠ°Π³ΠΌΠ΅Π½Ρ ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ° (ΡΠΈΡ. 15).

Π ΠΈΡΡΠ½ΠΎΠΊ β15 β ΠΡΠΈΠΌΠ΅Ρ ΠΊΠ°ΡΡΡ ΡΠ°ΠΉΡΠ°
ΠΠ° ΡΡΠΎΠΌ ΡΡΠ°Π³ΠΌΠ΅Π½ΡΠ΅ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ²ΠΈΠ΄Π΅ΡΡ ΡΠΊΠ°Π·Π°Π½ΠΈΡ Π²Π΅ΡΡΠΈΠΈ xml ΠΈ ΠΊΠΎΠ΄ΠΈΡΠΎΠ²ΠΊΠΈ ΡΠΎΠ΄Π΅ΡΠΆΠΈΠΌΠΎΠ³ΠΎ. ΠΠ° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ 2 Π²Π΅ΡΡΠΈΠΈ xml, ΠΌΠ΅ΠΆΠ΄Ρ ΠΊΠΎΡΠΎΡΡΠΌΠΈ Π΅ΡΡΡ Π½Π΅Π±ΠΎΠ»ΡΡΠΈΠ΅ ΡΠ°Π·Π»ΠΈΡΠΈΡ, ΠΈ ΠΏΠ°ΡΡΠ΅Ρ xml Π΄ΠΎΠ»ΠΆΠ΅Π½ ΠΏΠΎΠ½ΠΈΠΌΠ°ΡΡ, Ρ ΠΊΠ°ΠΊΠΎΠΉ Π²Π΅ΡΡΠΈΠ΅ΠΉ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ. ΠΠ°Π»Π΅Π΅ ΡΠ΅Π³ΠΈ <urlset></urlset>, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΠ½ΠΊΠ°ΠΏΡΡΠ»ΠΈΡΡΡΡ Π²ΡΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, Π° Π΄Π°Π»Π΅Π΅ ΡΠ΅Π³ΠΈ <url></url>, Π²Π½ΡΡΡΠΈ ΠΊΠΎΡΠΎΡΡΡ Π²ΡΡ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠ°Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ, Π² Π΄Π°Π½Π½ΠΎΠΌ ΡΠ»ΡΡΠ°Π΅ β ΡΡΠΎ loc, ΠΊΠΎΡΠΎΡΡΠΉ, ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎ, ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ Π°Π΄ΡΠ΅Ρ, lastmod β ΡΠΊΠ°Π·ΡΠ²Π°Π΅Ρ Π΄Π°ΡΡ ΠΏΠΎΡΠ»Π΅Π΄Π½Π΅Π³ΠΎ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ, priority β ΡΠΊΠ°Π·ΡΠ²Π°ΡΡΠΈΠΉ ΠΏΡΠΈΠΎΡΠΈΡΠ΅Ρ ΠΎΠ±Π½ΠΎΠ²Π»ΡΠ΅ΠΌΠΎΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡ, Ρ.Π΅. Π²Ρ ΠΊΠ°ΠΊ Π±Ρ Π³ΠΎΠ²ΠΎΡΠΈΡΠ΅ ΡΠΎΠ±ΠΎΡΡ, ΡΡΠΎ ΡΡΠΈ ΡΡΡΠ°Π½ΠΈΡΡ Π±ΠΎΠ»Π΅Π΅ Π²Π°ΠΆΠ½ΡΠ΅ ΠΈ ΠΈΡ Π½ΡΠΆΠ½ΠΎ ΠΏΡΠΎΠ²Π΅ΡΡΡΡ ΡΠ°ΡΠ΅. Π₯ΠΎΡΡ ΡΡΠ° ΠΊΠΎΠΌΠ°Π½Π΄Π° Π½Π΅ ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΎΠ±ΡΠ·Π°ΡΠ΅Π»ΡΠ½ΠΎΠΉ ΠΈ changefreq β ΡΡΠΎ ΡΠΎ, ΠΊΠ°ΠΊ, ΠΏΠΎ Π²Π°ΡΠΈΠΌ ΠΏΡΠ΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΡΠΌ, ΠΏΠ»Π°Π½ΠΈΡΡΠ΅ΡΡΡ ΡΠ°ΡΡΠΎΡΠ° ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΈ.
ΠΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΡΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΡ:
- always
- hourly
- daily
- weekly
- monthly
- yearly
- never
Π‘ΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ Π΅ΡΠ΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ ΡΠΎΠ·Π΄Π°ΡΡ ΡΠ°ΠΉΠ» sitemap, ΡΠΎΡΡΠΎΡΡΠΈΠΉ ΠΈΠ· Π³ΡΡΠΏΠΏΡ ΡΠ°ΠΉΠ»ΠΎΠ² sitemap. ΠΡΡ ΠΎΠ΄Ρ ΠΈΠ· Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°ΡΠΈΠΈ, ΡΡΠΎ ΡΡΠΎΠΈΡ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ Π² ΡΠ΅Ρ ΡΠ»ΡΡΠ°ΡΡ , ΠΊΠΎΠ³Π΄Π° Π² ΡΠ°ΠΉΠ»Π΅ ΡΠ°Π·ΠΌΠ΅ΡΠ°Π΅ΡΡΡ Π±ΠΎΠ»Π΅Π΅ 50 000 url. Π’.Π΅. ΠΊΠ°ΡΡΠΈΠ½Π° ΠΏΠΎΠ»ΡΡΠ°Π΅ΡΡΡ ΡΠ»Π΅Π΄ΡΡΡΠ°Ρ: Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΠΎ ΡΠΎΠ·Π΄Π°ΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ½ΡΠΉ ΡΠ°ΠΉΠ» sitemap, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ Π±ΡΠ΄ΡΡ ΡΠΊΠ°Π·Π°Π½Ρ URL ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ sitemap (ΡΠΈΡ. 16).

Π ΠΈΡΡΠ½ΠΎΠΊ β16 β ΠΠ½Π΄Π΅ΠΊΡΠ½ΡΠΉ ΡΠ°ΠΉΠ» sitemap
ΠΠ°ΠΊ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ²ΠΈΠ΄Π΅ΡΡ Π½Π°Π³Π»ΡΠ΄Π½ΠΎ, ΡΠ΅Π³ <sitemapindex></sitemapindex> ΠΈΠ½ΠΊΠ°ΠΏΡΡΠ»ΠΈΡΡΠ΅Ρ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΎ Π²ΡΠ΅Ρ ΡΠ°ΠΉΠ»Π°Ρ Sitemap Π² ΡΡΠΎΠΌ ΡΠ°ΠΉΠ»Π΅. ΠΠ°ΠΆΠ΄ΡΠΉ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΠΉ ΡΠ°ΠΉΠ» sitemap Π½Π°Ρ ΠΎΠ΄ΠΈΡΡΡ Π² ΡΠ΅Π³Π°Ρ <sitemap></sitemap>. ΠΠ½ΡΠΌΠΈ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ, ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠΎΠ·Π΄Π°ΡΡ ΠΎΠ±ΡΠΈΠΉ ΠΈΠ½Π΄Π΅ΠΊΡΠ½ΡΠΉ ΡΠ°ΠΉΠ», Ρ ΡΠ°Π½ΡΡΠΈΠΉ Π² ΡΠ΅Π±Π΅ Π°Π΄ΡΠ΅ΡΠ° ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ ΡΠ°ΠΉΠ»ΠΎΠ².
ΠΠ»Ρ Π±ΠΎΠ»Π΅Π΅ Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΡ ΡΠ°Π±ΠΎΡΡ ΡΠ°ΠΉΠ»Π° sitemap ΡΠΎΠ²Π΅ΡΡΡ ΠΏΠΎΡΠΈΡΠ°ΡΡ ΠΌΠ°ΡΠ΅ΡΠΈΠ°Π» Π½Π° ΡΠ°ΠΉΡΠ΅ >https://www.sitemaps.org.
ΠΠΎ ΠΈΡΠΎΠ³Ρ, Ρ Π½Π°Ρ Π΅ΡΡΡ Π΄Π²Π° ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½ΡΠ°, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΏΠΎΠΌΠΎΠ³Π°ΡΡ Π½Π°ΠΌ ΡΠΏΡΠ°Π²Π»ΡΡΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ ΡΠ°ΠΉΡΠ°. ΠΡΠΎ robots.txt β Π½ΡΠΆΠ΅Π½ Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ Π·Π°ΠΊΡΡΡΡ ΡΡΠΎ-ΡΠΎ ΠΎΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, ΠΌΠ°Π»ΠΎΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠ²Π½ΡΠ΅ ΠΈΠ»ΠΈ Π΄ΡΠ±Π»ΠΈ. Sitemap β Π½ΡΠΆΠ΅Π½ Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΎΡΠ΄Π°ΡΡ Π±ΠΎΡΠ°ΠΌ Π²ΡΠ΅ ΡΡΡΠ»ΠΊΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΡ ΠΏΠΎΠ΄Π³ΠΎΡΠΎΠ²ΠΈΠ»ΠΈ Π΄Π»Ρ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠΈ. Π ΠΏΡΠΈ ΠΏΠΎΠΌΠΎΡΠΈ Π΄ΠΎΠΏ. ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², ΡΠ°ΠΊΠΈΡ ΠΊΠ°ΠΊ lastmod, ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠ΅ΡΠ΅Π΄Π°Π²Π°ΡΡ Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅.
ΠΡΡΠΈΠ±ΡΡ rel=nofollow ΠΈ ΠΌΠ΅ΡΠ°-ΡΠ΅Π³ <meta name=robots content=noindex >
ΠΠ· ΠΌΠ΅ΡΠΎΠ΄ΠΈΡΠΊΠΈ Π³ΡΠ³Π» ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ²ΠΈΠ΄Π΅ΡΡ Π΅ΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ ΠΏΠΎ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ ΠΈΠ½Π΄Π΅ΠΊΡΠ°ΡΠΈΠ΅ΠΉ, Π½Π° ΠΊΠΎΡΠΎΡΡΠΉ ΠΎΠ±ΡΠ°ΡΠ°ΡΡ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ β ΡΡΠΎ Π°ΡΡΠΈΠ±ΡΡ ΡΡΡΠ»ΠΊΠΈ rel="nofollow"
.
rel="nofollow"
β ΡΡΠΎ Π°ΡΡΠΈΠ±ΡΡ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡΠΈΡΠ²ΠΎΠΈΡΡ ΡΡΡΠ»ΠΊΠ΅(<a href="page.php" rel="nofollow">ΠΠΎΠΉΡΠΈ</a>
) ΠΈΠ»ΠΈ Π²ΡΠ΅ΠΉ ΡΡΡΠ°Π½ΠΈΡΠ΅(<meta name="robots" content=βnofollowβ/>
) Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ ΠΎΠ½Π° Π½Π΅ ΠΏΠ΅ΡΠ΅Π΄Π°Π²Π°Π»Π° ΡΡΡΠ»ΠΎΡΠ½ΡΠΉ Π²Π΅Ρ ΠΈ ΠΏΠΎ Π½Π΅ΠΉ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΠΏΠ΅ΡΠ΅Ρ
ΠΎΠ΄ΠΈΡΡ ΠΏΠΎΠΈΡΠΊΠΎΠ²ΡΠΉ ΡΠΎΠ±ΠΎΡ. ΠΠ½ΡΠΌΠΈ ΡΠ»ΠΎΠ²Π°ΠΌΠΈ ΡΠΌΡΡΠ» ΡΡΡΠ»ΠΊΠΈ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ·Π²ΡΡΠΈΡΡ ΡΠ°ΠΊ β ΠΏΠΎΡΠΌΠΎΡΡΠΈΡΠ΅ Π½Π° ΡΡΠΎΡ ΡΠ°ΠΉΡ, Π½ΠΎ ΠΌΡ Π΅Π³ΠΎ Π½Π΅ ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΠ΅ΠΌ. ΠΠ΅Π±ΠΎΠ»ΡΡΠ°Ρ ΡΠ΅ΡΡΠΎΡΠΏΠ΅ΠΊΡΠΈΠ²Π°, Π² ΡΠ°ΠΌΠΎΠΌ Π½Π°ΡΠ°Π»Π΅ ΡΡΠΈΡ
ΡΡΠΎΠΊΠΎΠ² ΠΌΡ ΡΠ°ΡΡΠΌΠ°ΡΡΠΈΠ²Π°Π»ΠΈ ΠΏΠΎΠ½ΡΡΠΈΠ΅ ΡΡΡΠ»ΠΎΡΠ½ΠΎΠ³ΠΎ Π²Π΅ΡΠ°, Π΅ΡΠ»ΠΈ Π·Π°ΠΏΠ°ΠΌΡΡΠΎΠ²Π°Π»ΠΈ, ΡΠΎ ΠΏΠΎΡΠΌΠΎΡΡΠΈΡΠ΅ ΡΡΡ. ΠΡΠ»ΠΈ ΠΊΠΎΡΠΎΡΠΊΠΎ, ΡΠΎ ΡΠ°ΠΌ ΠΏΠΎΠ΄Π½ΠΈΠΌΠ°Π»Π°ΡΡ ΡΠ΅ΠΌΠ° ΡΠΎΠ³ΠΎ, ΡΡΠΎ Π΅ΡΠ»ΠΈ Ρ ΠΎΠ΄Π½ΠΎΠΉ ΡΡΡΠ°Π½ΠΈΡΡ Π΅ΡΡΡ ΡΡΡΠ»ΠΊΠ° Π½Π° Π΄ΡΡΠ³ΡΡ, ΡΠΎ ΡΡΡΠ°Π½ΠΈΡΠ°, Ρ ΠΊΠΎΡΠΎΡΠΎΠΉ ΠΈΠ΄Π΅Ρ ΡΡΡΠ»ΠΊΠ° ΠΏΠ΅ΡΠ΅Π΄Π°Π΅Ρ Π½Π΅ΠΊΠΈΠΉ Π²Π΅Ρ (ΡΠΈΡ. 17).

Π ΠΈΡΡΠ½ΠΎΠΊ β17 β ΠΠ΅ΡΠ΅Π΄Π°ΡΠ° ΡΡΡΠ»ΠΎΡΠ½ΠΎΠ³ΠΎ Π²Π΅ΡΠ°
Π’Π°ΠΊ Π²ΠΎΡ, ΡΡΠΎΡ Π°ΡΡΠΈΠ±ΡΡ rel="nofollow"
ΠΌΠΎΠΆΠ΅Ρ ΠΏΠ΅ΡΠ΅ΠΊΡΡΡΡ ΡΡΡ ΠΏΠ΅ΡΠ΅Π΄Π°ΡΡ Π²Π΅ΡΠ°. ΠΡΠ»ΠΈ ΡΠΊΠ°Π·Π°ΡΡ ΠΏΡΠ΅Π΄Π΅Π»ΡΠ½ΠΎ ΡΠΎΡΠ½ΠΎ, ΡΠΎ ΠΏΠΎ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ Π½Π΅ΠΊΠΎΡΠΎΡΡΡ
ΡΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠΎΠ², ΡΡΡΠ°Π½ΠΈΡΠ° Ρ ΠΊΠΎΡΠΎΡΠΎΠΉ ΠΈΠ΄Π΅Ρ ΡΡΡΠ»ΠΊΠ° Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎΡΠ΅ΡΡΠ΅Ρ, Π° ΡΡΡΠ°Π½ΠΈΡΠ°, Π½Π° ΠΊΠΎΡΠΎΡΡΡ ΡΡΡΠ»ΠΊΠ° Π²Π΅Π΄Π΅Ρ, Π½Π΅ ΠΏΠΎΠ»ΡΡΠΈΡ Π²Π΅ΡΠ° Π²ΠΎΠΎΠ±ΡΠ΅. Π’Π°ΠΊΠΆΠ΅ ΡΡΠΈΡΠ°Ρ Π²Π°ΠΆΠ½ΡΠΌ ΠΎΠ±ΡΠ°ΡΠΈΡΡ Π²Π°ΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ Π½Π΅ ΡΡΠΎΠΈΡ ΠΏΡΠΈΠ±Π΅Π³Π°ΡΡ ΠΊ ΠΌΠ°ΡΡΠΎΠ²ΠΎΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ ΡΡΡΠ»ΠΎΠΊ Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° Ρ Π°ΡΡΠΈΠ±ΡΡΠΎΠΌ nofollow. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΡΡΠΎ ΠΊΠ°ΠΊ Π±Ρ Π³ΠΎΠ²ΠΎΡΠΈΡ ΠΎ ΡΠΎΠΌ, ΡΡΠΎ Π²Ρ ΠΌΠ°ΡΡΠΎΠ²ΠΎ ΡΡΡΠ»Π°Π΅ΡΠ΅ΡΡ Π½Π° Π½Π΅Π½Π°Π΄Π΅ΠΆΠ½ΡΠ΅ ΡΠ°ΠΉΡΡ. ΠΡΠΏΠΎΠ»ΡΠ·ΡΠΉΡΠ΅ ΡΡΠΎΡ ΠΈΠ½ΡΡΡΡΠΌΠ΅Π½Ρ ΠΏΠΎ Π½Π°Π·Π½Π°ΡΠ΅Π½ΠΈΡ. ΠΡΠ½ΠΎΠ²Π½ΠΎΠΉ ΡΠ΅Π»ΡΡ ΠΈΡ
ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ ΡΠ²Π»ΡΡΡΡΡ ΡΡΡΠ»ΠΊΠΈ ΡΠ΅ΠΊΠ»Π°ΠΌΠ½ΡΠ΅, Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π²Ρ ΠΏΡΠΎΠ΄Π°Π»ΠΈ Π±Π°Π½Π½Π΅Ρ Ρ Π²Π°ΡΠ΅Π³ΠΎ ΡΠ°ΠΉΡΠ° ΠΈΠ»ΠΈ ΠΎΠ±Π·ΠΎΡ, ΠΈΠ»ΠΈ ΠΊΠΎΠ³Π΄Π° Π²Ρ ΡΡΡΠ»Π°Π΅ΡΠ΅ΡΡ Π½Π° ΡΠ°ΠΉΡ, ΠΊΠΎΡΠΎΡΡΠΉ Π½Π΅ ΡΡΠΈΡΠ°Π΅ΡΠ΅ Π°Π²ΡΠΎΡΠΈΡΠ΅ΡΠ½ΡΠΌ ΠΈ ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅Π½Π½ΡΠΌ, ΡΠ°ΠΊΠΎΠ΅ Π²ΡΡΡΠ΅ΡΠ°Π΅ΡΡΡ ΡΠ°ΡΡΠΎ Π½Π° ΡΠΎΡΡΠΌΠ°Ρ
.
ΠΠ° ΡΡΠΎΠΌ ΠΌΡ Π·Π°Π²Π΅ΡΡΠΈΠΌ Π½Π°Ρ ΡΡΠΎΠΊ ΠΈ ΠΊΠ°ΠΊ Π²ΡΠ΅Π³Π΄Π° β to be continuedβ¦
ΠΠ²ΡΠΎΡ ΠΠΈΡΠ°Π»ΠΈΠΉ Π‘ΡΡ
ΠΎΠΌΠ»ΠΈΠ½ΠΎΠ²
ΠΏΡΠ°ΠΊΡΠΈΠΊΡΡΡΠΈΠΉ Π²Π΅Π± ΡΠ°Π·ΡΠ°Π±ΠΎΡΡΠΈΠΊ
ΠΈ seo-ΡΠΏΠ΅ΡΠΈΠ°Π»ΠΈΡΡ