כך תצרו סרטוני אנימציה עם קלוד באמצעות OpenMontage החינמי
אמיר משה
רוב הכלים ליצירת סרטון מבקשים מנוי. OpenMontage לא: זה פרויקט קוד פתוח שהופך את קלוד קוד לאולפן הפקה, והוא חינמי לגמרי. גם הקול בעברית יצא לי בלי לשלם שקל, וכך נוצר סרטון אנימציה ליום הולדת בסגנון סאות' פארק. הנה ההדגמה המלאה.
למה זה חינמי באמת, ואיפה כן יש עלות
הרישיון של OpenMontage הוא AGPLv3. קול מקומי בשם Piper כלול בו בחינם, כולל עברית. סרטון שלם מתרנדר אצלכם על המחשב. ElevenLabs מציעים תוכנית חינמית של כ-10,000 תווים בחודש, לשימוש אישי בלבד, והסרטון שלי השתמש בפחות מ-200. הדבר היחיד שמשלמים עליו הוא מודל קלוד שמריץ את הסוכן. אם מחברים ספקי תמונה ווידאו בתשלום, התיעוד מעריך 0.15 עד 3 דולר לסרטון.
שלב 1: מבקשים מקלוד ליצור ומצרפים חומרי גלם
הכנתי תיקייה עם תמונה של החוגג ופתחתי אותה בקלוד קוד. כתבתי תסריט של 15 שניות בפורמט 9:16: בסצנה הראשונה שמוליק עומד בעיירה מושלגת והראש שלו תמונה גזורה עם פה קנדי שקופץ, בסצנה השנייה קרטמן, סטן, קייל וקני רוקדים ושרים יום הולדת, ובשלישית באנר "מזל טוב שמוליק". בסוף ההנחיה ביקשתי: שאל אותי שאלות בעברית לפני שאתה מתחיל, ועבוד עם Open Montage. הסוכן בדק את ההתקנה, התקין חבילות חסרות, הסיר רקע מהתמונה וחתך את הראש.
צילום מסך של ההנחיה שנשלחה לקלוד יחד עם התמונה שצורפה בתיקיה
שלב 2: התוצאה הראשונה והתיקון של הפה
הסרטון הראשון יצא מהר, אבל הפה נפתח כלפי מטה והראש נכנס ללסת. ביקשתי שהפה ייפתח כלפי מעלה, והסוכן הפך את הזווית, אך עדיין לא נוצר רווח. אז צירפתי תמונת רפרנס של דמות מצוירת שהפה שלה נפתח כמו שרציתי. הסוכן הבין שהחלק העליון של הראש בעצם הסתובב פנימה, העביר את הציר לצד השני, והחלק העליון עלה. עוד תיקון: ברווח נראה עכשיו הרקע של ההרים, ולא חלל חום.
צילום מסך מתוך הסרטון . יחד עם תמונת הרפרנס שניתנה לו. פתיחת הפה בוצעה בדיוק לפי רפרנס התמונה.
קודם הסוכן הפעיל את Piper העברי החינמי. אחר כך ביקשתי ElevenLabs, והוא הסביר שהכלי כבר מובנה ב-OpenMontage ושמודל eleven_v3 תומך בעברית. טעות שכדאי להכיר: בהתחלה הדבקתי את מזהה המפתח ולא את המפתח עצמו, והסוכן זיהה את זה והסביר איפה למצוא מפתח שמתחיל ב-sk. הוא הכין חמש דוגמאות קול, בחרתי את Liam לשמוליק, ולשיר ביקשתי כמה קולות שאומרים יחד, אז כל ילד קיבל קול אחר והם כוונו לאותן תווים.
מקום לצילום מסך: יצירת המפתח בפרופיל ElevenLabs, ורשימת קבצי הדוגמה שנוצרו בתיקייה
בסוף ביקשתי להחליף את התמונה לאדם גנרי ואת השם ל"שמוליק", בקובץ חדש. את התוצאה אפשר לראות בפריים מהסרטון.
הסרטון הסופי
הסרטון לא מושלם, ובכל זאת זו בשורה של ממש
צריך להגיד את זה ישר: התוצאה רחוקה מסופר מקצועית. רואים את החיתוך סביב הראש, הפה זז קצת בנוקשות, וגם באוזן שומעים שהקולות לא תמיד מדויקים. אף אחד לא יטעה בינו לבין הפקה של אולפן. אבל קיבלתי קובץ MP4 גמור, עם תסריט, דמויות, קול בעברית וכתוביות, תוך כעשר דקות ובלי לפתוח After Effects או כל תוכנת עריכה אחרת. מי שניסה פעם להרכיב סרטון כזה ביד יודע כמה זה ערב שלם. מניסיון, בעוד שנה הסרטון הזה ייראה לנו כמו בדיחה, כי התחום מתקדם בקצב מטאורי. מה שחשוב כבר היום הוא ההרגל: לדעת לבקש, לתקן בשיחה ולהגיע לתוצאה.
OpenMontage מול HyperFrames: מה בעצם משווים
HyperFrames הוא מסגרת רינדור ו-OpenMontage הוא מערכת הפקה שיכולה להשתמש בו. אין בנצ'מרקים רשמיים מקבילים, ולכן הטבלה משווה מה שמתועד.
מבקשים, מתקנים בשיחה, ומחליפים קול לעברית, בלי לשלם על התוכנה. אם זה מעניין אתכם, כדאי לראות גם את Claude Motion וכתוביות מטקסט חופשי. לשימוש מסחרי בדקו את תנאי AGPLv3 ואת תנאי ElevenLabs.