يداك
تتحوّلان إلى كلمات.
يحوّل HandScript لغة الإشارة الأمريكية المباشرة إلى نص في الوقت الفعلي — مدعومًا بنموذج TFLite يضمّ 250 فئة ويعمل بالكامل داخل متصفّحك.
الأداء في لمحة
كيف يعمل
عندما تفتح معاً وتسمح بالوصول إلى الكاميرا، يرسم MediaPipe Holistic 21 نقطة دالّة لليد، و33 نقطة رئيسية للجسم، و468 نقطة دالّة للوجه — كلّها محليًا وفي الوقت الفعلي. تغذّي هذه النقاط نموذج TFLite الذي يصنّف الإشارة الحالية ضمن واحدة من 250 مفردة في معجم ASL. تتدفّق التنبّؤات إلى منطقة النص ما إن تستقرّ نوافذ الثقة المتتالية فوق العتبة المحدّدة.
دُرِّب النموذج على مجموعة بيانات ضخمة تضمّ عددًا كبيرًا من مؤدّي الإشارة، مع تنويعات معزّزة في الإضاءة وزاوية اليد وسرعة الأداء. وجرى ضغطه بعد التدريب باستخدام تكميم النطاق الديناميكي int8 لنشره عبر WebAssembly دون أي فقدان في الدقة.
حالات الاستخدام
يؤدّي المهنيون الصُّمّ الإشارات بينما يقرأ زملاؤهم التسميات التوضيحية المباشرة. لا حاجة إلى جدولة مترجم للمحادثات العفوية.
يتدرّب الطلاب على المفردات مع تلقّي ملاحظات فورية. ويتحقّق المعلّمون من صحّة الأداء دون مقاطعة سير الحصّة.
يتواصل المرضى مع موظّفي الاستقبال. وتُرفَق نصوص HandScript مباشرةً بملاحظات الاستشارة.
يُنتج مؤدّو الإشارة محتوى لوسائل التواصل الاجتماعي مزوّدًا بتسميات توضيحية تلقائية، دون الحاجة إلى أدوات تفريغ نصّي في مرحلة ما بعد الإنتاج.
البنية التقنية
يعمل HandScript عبر مسار من ثلاث مراحل: استخراج النقاط الدالّة بواسطة MediaPipe Holistic (بواجهة WebGL الخلفية)، والتنعيم الزمني عبر نافذة متتالية من 15 إطارًا، واستدلال TFLite باستخدام بيئة تشغيل WebAssembly. النموذج هجين مدمج من نوع CNN-LSTM: تستخرج بنية MobileNetV3-Small الأساسية السمات المكانية لكل إطار، وتنمذج طبقتان من LSTM الديناميكيات الزمنية عبر النافذة.
يبلغ حجم النموذج كاملًا 4.2 ميغابايت (مكمّم بـ int8) ويُحمَّل في أقل من 800 مللي ثانية على حاسوب محمول متوسّط الفئة. ولا يتطلّب وحدة معالجة رسومية — فالاستدلال على المعالج المركزي سريع بما يكفي لمعالجة تدفّقات إدخال بمعدّل 30 إطارًا في الثانية.
جرّب HandScript الآن
افتح لوحة التحكّم واختر «من الإشارة إلى النص». لا حاجة إلى حساب لتجربة العرض التوضيحي.
افتح لوحة التحكّم احجز عرضًا توضيحيًا