אופטימיזציה לאתרים גדולים: איך לטפל בבעיות מלאי, סריקה ואינדוקס באתרים גדולים?

אתרים גדולים, בין אם אתרי תוכן ובין אם אתרי חנות וירטואלית, כוללים לרוב אלפי עמודים לפחות (ויש כאלה עם עשרות אלפים, מאות אלפים ואף מיליוני עמודים).

מכיוון שלא תמיד ניתן להגיע לכל העמודים הללו בזמן עבודה סביר, לבצע אופטימיזציה ולתקן תקלות – עלולות להיווצר לא מעט בעיות בסריקה ובאינדוקס במנועי חיפוש. בעיות אלו עשויות לפגוע בחשיפה האורגנית, ובעקבות כך גם בטראפיק ובהמרות.

בעיות נפוצות בסריקת אתרים גדולים ואתרי מסחר

טיפול שגוי או חסר בעמודי מוצרים שהפכו ללא רלוונטיים, עלול לפגוע (ואכן יפגע) בביצועים האורגניים של אתרי חנות. מוצרים שהוסרו לחלוטין מהאתר או באופן זמני בלבד מהמלאי – עלולים ליצור כמויות גדולות של עמודי שגיאה 404, קישורים שבורים ודפי קטגוריה דלים עד ריקים לחלוטין. כל אלו עלולים לפגוע בחוויית השימוש באתר, ובעקבות כך גם ברכישות או בהמרות נוספות.

קישורים שבורים עלולים לחבל משמעותית בהעברת פייג' ראנק לעמודים חשובים. עמודים דלים בשל הסרת מוצרים, עלולים לגרום לאובדן מכירות ואף להגיע לכדי סינון מוחלט מתוצאות החיפוש. מסיבות אלו וסיבות נוספות, מומלץ מאוד לבצע בדיקות אתר תקופתיות לאיתור מוצרים שהוסרו או אזלו מהמלאי, כמו גם דפי קטגוריות דלים בתוכן. מכיוון שמצבים אלו מתרחשים באופן קבוע באתרי חנות ומסחר אלקטרוני, יש להתמודד איתם בקנה מידה גדול.

טיפ 1 – איתור מוצרים שאזלו מהמלאי

מוצרים שאזלו מהמלאי בעמודים תקינים (עם קוד שרת 200), יהיו קשים לאיתור בהיקפים גדולים; זאת מכיוון שסריקה רגילה ככל הנראה לא תמצא אותם. כדי לעשות זאת בצורה הנכונה, יש להגדיר את תוכנת הצפרדע באמצעות "חיפוש מותאם אישית".

חיפוש זה מאפשר למצוא את כל דפי המוצרים באתר, המכילים את הביטוי "אזל" או "אזל מהמלאי" (באתרים באנגלית: out of stock). כדי לעשות זאת בתוכנת הצפרדע הצורחת:

• בתפריט העליון מקליקים על Configuration.
• בתפריט שנפתח מקליקים על Custom ולאחר מכן על Search.
• בתיבת השיחה מדביקים / מקלידים את מחרוזת החיפוש הדרושה (אזל מהמלאי, לא זמין וכן הלאה). שימו לב שהחיפוש הזה תלוי בגודל הפונט (Case sensitive).

טיפ 2 – איתור דפי קטגוריה ריקים

כאשר מוצרים רבים מדי יוצאים מהמלאי או נמחקים סופית מהאתר, עלול להיווצר מצב שבו קטגוריה שלמה נותרת ריקה ונטולת מוצרים (ולפעמים גם מספר קטגוריות).

מיותר לציין מה יקרה כאשר משתמש ייכנס לעמוד קטגוריה ריק… רוב הסיכויים שהוא יחזור אחורה לתוצאות מנוע החיפוש. התנהגות כזו לאורך זמן תפגע אנושות במיקומי הקטגוריה בגוגל, ובעקבותיה ייפגעו גם המכירות באתר.

כדי למצוא את כל דפי הקטגוריה הריקים, ניתן להשתמש בצפרדע הצורחת באותה דרך שתוארה בטיפ הקודם. במקום לכתוב אזל מהמלאי, נציין את שורת המחרוזת הרלוונטית המופיעה בעמודי קטגוריה ריקים (למשל: לא נמצאו מוצרים, 0 מוצרים וכן הלאה. כל אתר והמחרוזת שלו).

טיפ 3 – איתור דפי קטגוריות בלבד

בהמשך ישיר לחיפוש עמודי קטגוריה ריקים – ניתן לצמצם אף יותר את החיפוש, ולוודא שהתוצאות יכילו אך ורק עמודי קטגוריה (ולא עמודים אחרים שעשויים להכיל את המחרוזת המבוקשת). סינון נוסף זה יעיל גם אם האתר גדול מדי, ואתם נתקלים בבעיות סריקה בשל מגבלת משאבים.

באמצעות הצפרדע ניתן להגביל את הסריקה לסוגים מסוימים של כתובות עמודים. למשל: רק כתובות URL של קטגוריות או לחילופין כתובות URL ללא קטגוריות. עושים זאת על ידי שימוש בתכונה include או exclude לפי הצורך.

לדוגמה, אם המוצרים באתר ממוקמים בתוך תיקיית /products/ – תוכלו להוסיף את הביטוי הרגולרי הזה בתכונת 'אי הכללה' כדי להוציא אותם מהסריקה (כולל הנקודה והכוכבית בסיום):

https://www.example.com/products/.*

לחילופין אפשר לעשות את ההפך, על ידי הכללה של כתובות עמודים בעלות חלק URL ספציפי. לדוגמה, אם נרצה לסרוק רק דפי קטגוריה בתיקייה ספציפית (למשל /categories/), ניתן להשתמש בתכונת הכללה בצורה הבאה:

https://www.example.com/categories/.*

בהתאם לסוגי ה-URL באתר, ניתן לסרוק במגוון דרכים נוספות: לפי מגדר או גיל (women, men, kids), מחלקה או קטגוריה ספציפית (shirts, pants, accessories) וכן הלאה.

טיפ 4 – איתור דפי קטגוריה דלים עם מלאי מוגבל

על מנת למצוא דפי קטגוריות עם תוכן דל ומלאי מוגבל, ניתן להשתמש בכלי הנקרא Custom Extraction בתוכנת הצפרדע. שימו לב – שיטה זו מתאימה רק לעמודי קטגוריה שמציגים את מספר המוצרים הכולל בעמוד.

לדוגמה, כך זה נראה באתר של אסוס – הקלאס המופיע בקוד הוא: styleCount

עמודי קטגוריה דלים עם מלאי מוגבל עלולים להיות מתויגים כבעלי תוכן דל במנועי חיפוש, ובכך להעמיד את האתר בסיכון להורדת החשיפה האורגנית ואף לסינון אלגוריתמי. מעבר לכך, הם פוגעים בחוויית השימוש ועלולים לגרום לאובדן מכירות והכנסות.
‍
כדי לעשות זאת יש למצוא את הקלאס של מספר המוצרים בעמוד הקטגוריה, ולהדביק אותו בתיבת ה-Extraction יחד עם כללי Regex המתאימים. לדוגמה:

//*[contains(@class, 'שם הקלאס הרלוונטי')]

טיפ 5 – שימוש במחרוזות XPath

באמצעות Xpath ניתן לחלץ אלמנטים רבים מתוך דפי האתר. זוהי שיטה שימושית לזיהוי אלמנטים בעמודי HTML, ובמיוחד באתרי חנות בהם יש ריבוי אלמנטים. הנה כמה דברים לדוגמה שניתן לעשות:

• איתור קטעי תוכן בדפי קטגוריה כדי לוודא שעברו אופטימיזציה.
• איתור תוכן קצר או דל שדורש הרחבה ושדרוג.
• איתור המחיר בכל דף מוצר בודד באתר.
• איתור כותרות עמודים, מטא תיאורים או כותרות ראשיות.
• איתור כל הקישורים בעמוד (למשל: כל המוצרים בדף קטגוריה).
• איתור תגי קנוניקל, hreflang ועוד.

כדי ללמוד XPath אפשר להיעזר במדריך הזה >

רגע לפני סיום

אתרים גדולים, ובמיוחד אתרי איקומרס המוכרים מוצרים, תמיד מהווים אתגר. בכל אתר, קטן או גדול, יתגלו בעיות המקשות על הסריקה והאינדוקס במנועי חיפוש; אבל כאשר מדובר באתר גדול – זה נכון שבעתיים.

ככל שנשכיל לעשות מעקבים תקופתיים ובדיקות קבועות, נקדים תרופה למכה ונוודא שהאתר מתפקד בצורה אופטימלית בכל הנוגע לקידום האורגני. תיקוני רוחב שלוקחים מעט זמן, עשויים להתגלות במלוא עוצמתם בכל הנוגע להשפעתם על ה-SEO.