طراحی مربیان هوش مصنوعی، نه عصا

از پروفسور حمسا باستانی و صندوق آژانس

نگرانی فزاینده در بحبوحه ظهور هوش مصنوعی مولد، کاری است که این سیستم ها با شناخت و روانشناسی انسان انجام می دهند، از جمله تمایل به برون سپاری تلاش ذهنی و حل مسئله به ابزارهای خارجی. این نگرانی به ویژه برای سازمان‌هایی که هوش مصنوعی را برای ایجاد ظرفیت، از مشاوره به کارآفرینان و ارتقای مهارت کارکنان گرفته تا آموزش و یادگیری دانش‌آموزان، به کار می‌گیرند، شدید است.

در اخیر وبینار سازماندهی شده توسط The Agency Fund، شواهد نوظهوری را ارائه کردم که نشان می‌دهد چنین ابزارهایی می‌توانند «تحویل شناختی» را القا کنند: هوش مصنوعی به‌جای افزایش توانایی‌ها، می‌تواند بی‌صدا با بهینه‌سازی برای عملکرد کوتاه‌مدت کار، آنها را تضعیف کند. اما شواهد همچنین نشان می دهد که با طراحی عمدی، ابزارهای هوش مصنوعی می توانند “مبارزه مولد” را تشویق کنند – چالش شناختی مقابله با مشکلات سخت که منجر به توسعه مهارت های طولانی مدت می شود.

برای تیم های سازنده هوش مصنوعی در بخش اجتماعی و فراتر از آن، این یافته ها پیامدهای مهمی دارند. به‌جای ساده‌سازی کارها، طراحی ابزارهای مؤثر برای ایجاد ظرفیت هوش مصنوعی به معنای مشارکت فعال و گسترش یادگیری واقعی انسان است.

هوش مصنوعی مولد به طور اساسی ظرفیت سازی را از یک مدل تنظیم شده توسط سیستم، که در آن یک مربی یا برنامه درسی جریان اطلاعات را کنترل می کند، به یک مدل خود تنظیمی تغییر داده است، جایی که کاربران تصمیم می گیرند چه زمانی و چگونه از هوش مصنوعی کمک بگیرند. اگرچه دسترسی بر اساس تقاضا به هوش مصنوعی فرصت‌های جدیدی برای توسعه مهارت‌ها ایجاد می‌کند، شواهد در حال ظهور نشان می‌دهد که می‌تواند یادگیری را نیز محدود کند.

در یک یک RCT با حدود 1000 دانش آموز ریاضی دبیرستان در ترکیه، من و همکارانم متوجه شدیم که دانش‌آموزانی که با رابط استاندارد ChatGPT تمرین می‌کنند، 17 درصد در امتحان بدتر از دانش‌آموزانی که هرگز دسترسی نداشته‌اند، عمل کرده‌اند. باور کرد به طور موثر یاد می گرفتند. در مقابل، دانش‌آموزانی که با استفاده از رابط ChatGPT با «نرده‌های محافظ» برای محافظت از یادگیری تمرین می‌کردند، همانند گروه کنترل عمل کردند.

ما دینامیک مشابهی را در a مشاهده کردیم یک کارآزمایی تصادفی از بازیکنان شطرنج شرکت در آموزش فشرده 12 هفته ای که از ابزارهای هوش مصنوعی استفاده می کند. شرکت کنندگان به دو گروه تقسیم شدند که از اشکال اساسی کمک هوش مصنوعی استفاده کردند:

• تنظیم سیستمی: ابزار هوش مصنوعی زمانی که یک حرکت بهینه در دسترس است به بازیکنان اطلاع می‌دهد، اما از آن‌ها می‌خواهد قبل از ارائه توضیح، آن را خودشان پیدا کنند.

• خود تنظیمی: علاوه بر اعلان‌های حرکتی بهینه، ابزار هوش مصنوعی همچنین به بازیکنان پیشنهاد می‌کند “یک نکته دریافت کنید!” دکمه ای که آنها می توانند در هر زمان کلیک کنند تا فوراً بهترین حرکت موجود را نشان دهند.

نتایج به شدت متفاوت است. بازیکنانی که از ابزار هوش مصنوعی تنظیم شده توسط سیستم استفاده می‌کنند، نرخ برد بدون کمک خود را تا 64 درصد در مقایسه با 30 درصد برای بازیکنانی که از ابزار تنظیم خودکار استفاده می‌کنند، بهبود می‌بخشند. اگرچه آنها در ابتدا سعی کردند از تکیه بر دکمه راهنمایی اجتناب کنند، بازیکنان خودتنظیمی در نهایت به طور متوسط ​​12 اشاره در هر بازی ارائه کردند و تقریباً هر سوم حرکت را به هوش مصنوعی اختصاص دادند.

این مطالعات نشان می‌دهد که کمک هوش مصنوعی اغلب منجر به دور زدن فراگیران از مبارزه سازنده می‌شود که در آن توسعه ظرفیت واقعی رخ می‌دهد. این منعکس کننده چیزی است که روانشناس اوایل قرن بیستم، لو ویگوتسکی آن را “منطقه توسعه نزدیک” نامید: منطقه بهینه بین آنچه که فرد می تواند به طور مستقل انجام دهد و آنچه که هنوز نمی تواند به تنهایی انجام دهد، جایی که یادگیری واقعی رخ می دهد.

چرا افراد وقتی ابزار قدرتمند هوش مصنوعی در اختیارشان قرار می‌گیرد، اینقدر سریع توانایی‌های شناختی خود را تسلیم می‌کنند؟ من و نویسنده همکارم این چالش را از طریق چیزی که به آن می گوییم چارچوب بندی می کنیم “پارادوکس قرارداد انسان و هوش مصنوعی” – یک استعاره اقتصادی برگرفته از مشکلات عامل اصلی و طراحی مشوق. در بسیاری از روابط قراردادی، واگذاری یک کار ارزان تر و آسان تر از نظارت دقیق و ارزیابی نحوه انجام آن می شود. از آنجایی که ابزار هوش مصنوعی دقیق‌تر می‌شود – ایجاد طرح‌های پروژه‌ای که تا حد زیادی معقول هستند یا کدهای عمدتاً صحیح را می‌نویسند – ممکن است دیگر برای کارگران ارزشی نداشته باشد که خروجی هوش مصنوعی را ارزیابی و تصحیح کنند. در عوض، آنها به سادگی نتیجه را همانطور که هست می‌پذیرند و کارفرمای خود را مجبور می‌کنند که بار عمده اشتباهاتی را که بدون توجه به آن می‌لغزند، متحمل شود. به طور متناقض، کارفرمایان با ابزار هوش مصنوعی کمتر توانمندتر که در آن کارگران انگیزه بررسی خروجی آن را دارند، بهتر از ابزار هوش مصنوعی تواناتر هستند که هنوز آنقدر اشتباه می کند که مشکل ساز باشد، اما به ندرت به اندازه ای است که کارگران از بررسی دست بکشند.

این نشان می دهد که ابزارهای هوش مصنوعی برای تقویت ظرفیت انسانی باید فراتر از انجام دقیق و کارآمد کار باشد. آنها باید تلاش کنند تا مبارزه را سازنده نگه دارند و از نظر شناختی مردم را در جریان نگه دارند.

این تحقیق، همراه با مجموعه‌ای از شواهد، بینش‌های مهم و همچنین هشداری را ارائه می‌دهد: وقتی ابزارهای یادگیری هوش مصنوعی ضعیف طراحی شوند، می‌توانند مهارت‌هایی را که برای ساختن آنها طراحی شده‌اند، تضعیف کنند. همچنین به مسیر امیدوارکننده‌تری اشاره می‌کند که در آن سیستم‌های هوش مصنوعی طراحی شده می‌توانند به‌جای جایگزینی، ظرفیت انسان را به طور فعال افزایش دهند. برای تیم هایی که ابزارهای هوش مصنوعی برای آموزش و ظرفیت سازی می سازند، سه اصل طراحی محصول ظاهر می شود:

1. آموزش داربست به جای ارائه راه حل. ابزارهای یادگیری هوش مصنوعی باید فراتر از رابط‌های چت باز که پاسخ‌های فوری ارائه می‌دهند، بروند. در عوض، آن‌ها می‌توانند با علامت‌گذاری احتمالات یا ارائه نکات جهت‌دار، اصطکاک مولد ایجاد کنند و کاربران را مجبور کنند تا راه‌حل‌ها را قبل از آشکار کردن نتیجه نهایی امتحان کنند.

2. منطقه توسعه پروگزیمال هر کاربر را هدف قرار دهید. داده‌های حاصل از تعاملات انسان-LLM می‌تواند به سیستم‌ها کمک کند تا قابلیت‌های فعلی کاربر را ترسیم کنند و وظایف کالیبره‌شده را در سطح آن‌ها ارائه دهند. در اجرای اخیر یک معلم AI برای برنامه‌نویسی پایتون در تایوان، من و همکارانم از گزارش‌های تعامل برای ارائه مشکلات شخصی به دانش‌آموزان استفاده کردیم که از آسان یا غیرممکن نبودن آنها اجتناب می‌کرد و عملکرد آزمون را تا 0.15 انحراف استاندارد افزایش می‌داد.

3. اندازه گیری کنید که آیا کاربران واقعاً در حال یادگیری هستند یا خیر. سطوح بالای مشارکت لزوماً به معنای ایجاد ظرفیت بالا نیست. اگر کاربر به سرعت درخواست‌هایی را برای دستیار هوش مصنوعی ارسال کند، ممکن است به جای درگیر شدن در یادگیری معنادار، از آن به عنوان عصا استفاده کند. به همین دلیل است که صندوق آژانس راهنمای ارزیابی هوش مصنوعی بین ارزیابی محصولات هوش مصنوعی، که در آن تعامل یک معیار مفید است، و ارزیابی خود کاربران، که در آن یادگیری و توسعه مهارت باید مستقیماً اندازه‌گیری شود، تمایز قائل می‌شود. در عمل، این به معنای ردیابی شاخص‌های مبارزه مولد است – مانند زمان صرف شده برای بحث، انواع سؤالاتی که کاربران می‌پرسند و تکمیل وظایف بدون کمک.

برای درک کامل پتانسیل هوش مصنوعی به عنوان یک شریک ظرفیت سازی، باید ابزارهایی طراحی کنیم که بیشتر به عنوان مربی عمل کنند تا ماشین تصمیم گیری. این امر مستلزم پذیرش اصطکاک یادگیری و ساختن عمدی محصولاتی است که عاملیت، قضاوت و تلاش انسان را حفظ کرده و نیاز دارد.

راحمسا باستانی دانشیار عملیات، اطلاعات و تصمیمات در مدرسه وارتون، دانشگاه پنسیلوانیا است. تحقیقات او بر توسعه الگوریتم‌های یادگیری ماشین جدید برای تصمیم‌گیری مبتنی بر داده با کاربردهای عملیات در مراقبت‌های بهداشتی، رفاه اجتماعی و مدیریت درآمد متمرکز است.