Qwen 3 בא לשנות את חוקי המשחק - מה כדאי לדעת על המודל של עליבאבא?

היום שוחרר מודל Qwen3 מבית עליבאבא, התוספת החדשה למשפחת מודלי השפה הגדולים של Qwen.
מודל הדגל Qwen3-235B-A22B, משיג תוצאות מרשימות במבחני השוואה בתחומי קידוד, מתמטיקה, יכולות כלליות ועוד, כאשר הוא מושווה למודלים מובילים אחרים כמו DeepSeek-R1, o1, o3-mini, Grok-3 ו-Gemini-2.5-Pro. בנוסף, המודל הקטן Qwen3-30B-A3B, עולה בביצועיו על QwQ-32B עם פי 10 פרמטרים פעילים, ואפילו מודל זעיר כמו Qwen3-4B יכול להתחרות בביצועים של Qwen2.5-72B-Instruct.

מצבי חשיבה משולבים

אחד החידושים המשמעותיים ביותר ב-Qwen3 הוא הגישה המשולבת לפתרון בעיות. המודלים תומכים בשני מצבים:

- מצב חשיבה: במצב זה, המודל לוקח זמן לחשוב צעד אחר צעד לפני מתן התשובה הסופית. זה אידיאלי לבעיות מורכבות שדורשות חשיבה עמוקה יותר.

- מצב ללא חשיבה: כאן, המודל מספק תשובות מהירות, כמעט מיידיות, המתאימות לשאלות פשוטות יותר בהן המהירות חשובה יותר מהעומק.

גמישות זו מאפשרת למשתמשים לשלוט בכמות ה"חשיבה" שהמודל מבצע בהתאם למשימה. למשל, בעיות קשות יותר יכולות להיפתר עם חשיבה מורחבת, בעוד שקלות יותר יכולות לקבל מענה ישיר ללא עיכוב. באופן מכריע, השילוב של שני המצבים הללו מגביר משמעותית את יכולת המודל ליישם בקרת תקציב חשיבה יציבה ויעילה.

המשתמש יכול לבחור מתי להפעיל את מצב החשיבה ומתי לא, בהתאם למורכבות השאלה וצרכי המהירות. אפשר לבקש ממודל Qwen3 לחשוב עמוק על בעיות מתמטיות מורכבות או על שאלות לוגיות, ולהפעיל את המצב המהיר יותר לשאלות פשוטות יותר.

תמיכה רב-לשונית

מודלי Qwen3 תומכים ב-119 שפות וניבים. יכולת רב-לשונית נרחבת זו פותחת אפשרויות חדשות ליישומים בינלאומיים, ומאפשרת למשתמשים ברחבי העולם ליהנות מהעוצמה של מודלים אלה.

משפחות השפות הנתמכות כוללות:

שפות אירופאיות ואסיאתיות נפוצות:
אנגלית, צרפתית, פורטוגזית, גרמנית, רומנית, שוודית, דנית, בולגרית, רוסית, צ'כית, יוונית, אוקראינית, ספרדית, הולנדית, סלובקית, קרואטית, פולנית, ליטאית, נורווגית, סלובנית, לטבית, איטלקית, בלארוסית, סרבית, לוקסמבורגית, וולשית ועוד.

שפות מהודו ואסיה הדרומית:
הינדית, פנג'אבית, בנגלית, גוג'ראטית, נפאלית, מראטהית, אסאמית ועוד.

שפות סיניות וטיבטיות:
סינית (פשוטה, מסורתית, קנטונזית), בורמזית.

שפות ערביות ושפות מהמזרח התיכון וצפון אפריקה:
ערבית (סטנדרטית, נג'די, לבנטינית, מצרית, מרוקאית ועוד), עברית, מלטזית.

שפות דרום-מזרח אסיה:
אינדונזית, מלאית, טגלוג, ג'וואנית ועוד.

שפות דרווידיות מדרום הודו:
טמילית, טלוגו, קאנדה, מלאיאלם.

שפות טורקיות ואסיאתיות מרכזיות:
טורקית, אזרביג'נית צפונית, אוזבקית צפונית, קזחית ועוד.

שפות נוספות וייחודיות:
יפנית, קוריאנית, גאורגית, באסקית, האיטית, סוואהילי ועוד רבות.

חשוב לציין כי Qwen3 תומך בעברית באופן מלא ויכול להבין ולייצר טקסט באיכות גבוהה בשפה העברית, מה שהופך אותו לשימושי במיוחד עבור דוברי עברית.

יכולות סוכן (Agent) משופרות

צוות Qwen אופטימיזו את מודלי Qwen3 לקידוד וליכולות סוכן, וחיזקו גם את התמיכה במערכות תקשורת מודליות. המודל מסוגל לחשוב ולתקשר עם הסביבה באופן אינטראקטיבי ואינטליגנטי.

מה המשמעות של יכולות סוכן משופרות? זה אומר שהמודל יכול לבצע פעולות ולהשתמש בכלים חיצוניים כדי להשלים משימות. למשל, המודל יכול:

לחפש מידע באינטרנט, לבצע חישובים מורכבים, לפרש ולנתח נתונים, לעבוד עם טבלאות וגרפים, להפעיל קוד ולבצע פעולות תכנות.

בשימוש יומיומי, זה אומר שאפשר לתת למודל משימה מורכבת והוא יכול "לחשוב" איך לפתור אותה, להשתמש בכלים הנכונים, ולהציג תוצאה ברורה - הכל באופן אוטומטי.

אימון המודל

אימון מקדים

מודלי Qwen3 עברו אימון משמעותי יותר מאשר Qwen2.5:

כמות נתונים גדולה יותר: בעוד ש-Qwen2.5 אומן על 18 טריליון טוקנים, Qwen3 משתמש בכמעט פי שניים מכך, עם כ-36 טריליון טוקנים המכסים 119 שפות וניבים.

מקורות מגוונים: הנתונים נאספו לא רק מהאינטרנט אלא גם ממסמכים דמויי PDF. צוות Qwen השתמש ב-Qwen2.5-VL כדי לחלץ טקסט ממסמכים אלה וב-Qwen2.5 כדי לשפר את איכות התוכן שחולץ.

נתונים סינתטיים: כדי להגדיל את כמות נתוני המתמטיקה והקוד, נעשה שימוש ב-Qwen2.5-Math וב-Qwen2.5-Coder ליצירת נתונים סינתטיים, כולל ספרי לימוד, זוגות שאלות-תשובות וקטעי קוד.

תהליך האימון המקדים כלל שלושה שלבים:

שלב ראשון: המודל אומן על למעלה מ-30 טריליון טוקנים עם אורך הקשר של 4K טוקנים, מה שהעניק למודל מיומנויות שפה בסיסיות וידע כללי.

שלב שני: שיפור מאגר הנתונים על ידי הגדלת שיעור הנתונים עתירי הידע, כגון STEM, קידוד ומשימות חשיבה. המודל אומן על 5 טריליון טוקנים נוספים.

שלב אחרון: שימוש בנתוני הקשר ארוך באיכות גבוהה להארכת אורך ההקשר ל-32K טוקנים, מה שמבטיח שהמודל יכול לטפל ביעילות בקלטים ארוכים יותר.

אימון לאחר האימון המקדים

כדי לפתח את המודל ההיברידי המסוגל הן לחשיבה צעד אחר צעד והן לתגובות מהירות, צוות Qwen יישם צינור אימון בן ארבעה שלבים:

התחלה קרה בשרשרת חשיבה ארוכה: אימון המודלים באמצעות נתוני שרשרת חשיבה (CoT) ארוכים ומגוונים, המכסים משימות ותחומים שונים כגון מתמטיקה, קידוד, חשיבה לוגית ובעיות STEM.

למידה מחיזוקים מבוססת חשיבה: התמקדות בהגדלת משאבי מחשוב עבור למידה מחיזוקים, תוך שימוש בתגמולים מבוססי כללים לשיפור יכולות החקירה והניצול של המודל.

מיזוג מצבי חשיבה: שילוב יכולות ללא חשיבה במודל החשיבה על ידי אימון עדין שלו על שילוב של נתוני CoT ארוכים ונתוני הוראות שכיחים.

למידת חיזוקים כללית: יישום למידת חיזוקים על יותר מ-20 משימות בתחומים כלליים לחיזוק נוסף של היכולות הכלליות של המודל ותיקון התנהגויות לא רצויות.

איך להשתמש ב-Qwen3

השימוש ב-Qwen3 פשוט יחסית למשתמשים ממשק. רוב המשתמשים יוכלו להשתמש במודל דרך ממשק הצ'אט הרשמי של Qwen באתר Qwen או דרך אפליקציית המובייל.

בממשק הצ'אט, אפשר פשוט להקליד שאלות או בקשות בשפה טבעית, והמודל יענה בהתאם. אם אתם רוצים שהמודל יחשוב באופן מעמיק יותר, אפשר להוסיף "/think" לפני או אחרי השאלה. אם אתם רוצים תשובה מהירה יותר, אפשר להוסיף "/no_think".

למפתחים, Qwen3 זמין בפלטפורמות שונות כמו Hugging Face, ModelScope ו-Kaggle. מפתחים יכולים להשתמש במודל באמצעות ספריות פייתון סטנדרטיות או דרך API תואם OpenAI.

סיכום ומה הצוות של Qwen מכין לנו לעתיד?

Qwen3 מייצג צעד משמעותי קדימה בעולם מודלי השפה הגדולים. עם תמיכה ב-119 שפות וניבים, מצבי חשיבה משולבים שמאפשרים גם תשובות מעמיקות וגם תגובות מהירות, וארכיטקטורת MoE שמאפשרת ביצועים טובים יותר עם פחות משאבים חישוביים - Qwen3 מציע פתרון מתקדם ונגיש למגוון רחב של צרכים.

המודלים זמינים בקוד פתוח, מה שמאפשר למפתחים ולחוקרים ברחבי העולם להשתמש בהם, לשפר אותם ולהתאים אותם לצרכים השונים. עם אפשרויות הפריסה הרבות ויכולות הסוכן המשופרות, Qwen3 מתאים למגוון רחב של יישומים - מצ'אטבוטים ועד לפתרון בעיות מורכבות וסיוע בתכנות.

אם אתם מעוניינים לנסות את Qwen3, אתם מוזמנים לבקר באתר Qwen Chat Web (chat.qwen.ai) או להשתמש באפליקציית המובייל. הגרסאות הזמינות לציבור מספקות חוויה נגישה ופשוטה לשימוש, גם למי שאינו בעל רקע טכני.

במבט קדימה, צוות Qwen שואף לשפר את המודלים שלו במספר ממדים. זה כולל זיקוק ארכיטקטורות מודל ומתודולוגיות אימון כדי להשיג מספר יעדים מרכזיים: הרחבת נתונים, הגדלת גודל המודל, הארכת אורך ההקשר, הרחבת מודליות, וקידום למידה מחיזוקים עם משוב סביבתי לחשיבה ארוכת טווח. הצוות מאמין כי אנו עוברים מעידן שהתמקד באימון מודלים לעידן ממוקד באימון סוכנים. המודלים הבאים מבטיחים להביא התקדמויות משמעותיות לעבודה ולחיים של כולנו.

אם אתם מעוניינים לנסות את Qwen3, אתם מוזמנים לבקר באתר Qwen Chat Web (chat.qwen.ai) או להשתמש באפליקציית המובייל. הגרסאות הזמינות לציבור מספקות חוויה נגישה ופשוטה לשימוש, גם למי שאינו בעל רקע טכני.

להתנסות ב-Qwen 3