ساختن معیارهای بهتر برای هوش مصنوعی سلامت

از سلامتی بی نهایت و صندوق آژانس

از آنجایی که سازمان‌های مراقبت‌های بهداشتی ابزارهای هوش مصنوعی را در تنظیمات دنیای واقعی استقرار می‌دهند، مشخص شده است که مدل‌ها دیگر مانع اصلی نیستند. زمینه و عملکرد هستند. اگرچه خطاهای مدل در سلامت پیامدهای جدی دارند، ارزیابی های اخیر نشان می دهد که LLM ها در معیارهای فنی به شدت عمل می کنند.

اکنون سوال کلیدی این است که این ابزارها در یک زمینه خاص چگونه عمل می کنند. آیا آنها با خیال راحت و قابل اعتماد در یک کلینیک مراقبت های اولیه شلوغ در نایروبی کار خواهند کرد؟ آیا آنها به پرستاران در روستاهای هند کمک می کنند تا بیماران را به طور موثرتری از طریق واتس اپ تریاژ کنند یا به کارکنان بهداشت مادران برای حمایت بهتر از مادران جدید کمک می کنند؟

ارزیابی های استاندارد شده هوش مصنوعی به ندرت این واقعیت ها را نشان می دهد. اکثر سازمان ها بر رویکردهای پراکنده و تکرار نشدنی تکیه می کنند، با توافق محدود در مورد چگونگی تعریف معیارهای کیفیت و ایمنی و روش های ساختارمند کمی برای یادگیری از همتایان. این امر مقایسه ادعاهای عملکرد را دشوار و حتی تفسیر آن را دشوارتر می کند.

این را در بخش اجتماعی می بینیم. سازمان‌ها هوش مصنوعی را به کار می‌گیرند، اما فاقد راه‌های عملی مشترک برای ارزیابی ظاهر «خوب» هستند. در پاسخ، ما توسعه یافتیم راهنمای ارزیابی هوش مصنوعی، ماشین آزمایشی اثباتی، و شتاب دهنده صندوق آژانس برای سازمان‌های غیرانتفاعی که ابزارهای هوش مصنوعی را می‌سازند تا از یکدیگر یاد بگیرند و بینش‌هایی در سطح اکوسیستم ایجاد کنند.

بر اساس این کار، صندوق آژانس و سلامتی بی نهایت اخیراً طرح سنجش هوش مصنوعی سلامت را راه‌اندازی کرده است، یک برنامه هم‌گروه برای سازمان‌هایی که ابزارهای هوش مصنوعی متناسب با بخش مراقبت‌های بهداشتی را به کار می‌گیرند.

این ابتکار که ریشه در ارائه مراقبت های بهداشتی در دنیای واقعی دارد، با هدف توسعه معیارهای مبتنی بر شواهد، رویکردهای ارزیابی عملی و استانداردهای واضح تر برای کیفیت و ایمنی در سیستم های مراقبت بهداشتی هوش مصنوعی خط مقدم است. به‌جای رتبه‌بندی مدل‌ها بر اساس معیارهای انتزاعی، بر پاسخ‌گویی به سؤالات مربوط به زمینه تمرکز دارد. چگونه باید دقت را در گردش کار تریاژ تعریف کنیم؟ پرهیز از آسیب برای یک سیستم به چه معناست؟ چگونه باید قابلیت اطمینان تشدید را اندازه گیری کرد؟

هدف طراحی معیارهایی است که در استفاده در دنیای واقعی پابرجا هستند. امیدواریم با همکاری یکدیگر، ارزیابی هوش مصنوعی در مراقبت های بهداشتی را شفاف تر، قابل مقایسه و عملی تر کنیم. در طی یک سرعت 120 روزه، سازمان‌های شرکت‌کننده یک کمک هزینه کاتالیزوری 20000 دلاری دریافت خواهند کرد تا بر چهار حوزه تمرکز کنند:

• مدیریت داده های دنیای واقعی برگرفته از گردش کار خدمات فعال مراقبت های بهداشتی.

• توسعه چارچوب های ارزیابی با ابعاد به وضوح تعریف شده کیفیت (به عنوان مثال، دقت پزشکی، اجتناب از آسیب، مناسب بودن زمینه، قابلیت اطمینان تشدید) و شاخص های قابل اندازه گیری.

• معیارهای فعلی برای تولید نتایج عملکرد مستند.

• سند و به اشتراک بگذارید روش شناسی برآورد، فرآیندهای آماده سازی داده ها، مفروضات و محدودیت ها یا سوگیری های شناخته شده.

برای گروه اولیه، ما با 10 سازمان همکاری می کنیم که تجربه عملیاتی و پذیرش اولیه هوش مصنوعی شامل مراقبت های اولیه، سلامت مادر، تریاژ دیجیتال و خدمات اجتماعی می شود: آرمان (هند)، سلامت الکترونیک در آفریقا (غرب و آفریقای مرکزی) سلامت جاکاراندا (کنیا) سلامت فکری (هند، قرقیزستان) اینترون (در جنوب صحرای آفریقا) آزمایشگاه مدترونیک (صحرای آفریقا و جنوب آسیا) مینا ماگیلا (هند)، قول پینکی (هند)، پندا سلام (کنیا) و همینطور (آفریقای جنوبی).

هدف گسترده تر این ابتکار، بهبود روشی است که بخش مراقبت های بهداشتی ابزارهای هوش مصنوعی را ارزیابی می کند. در حال حاضر، یک نتیجه مقایسه ای قوی لزوماً به این معنی نیست که یک ابزار به طور ایمن و قابل اعتماد در یک محیط بالینی کار می کند. برای اینکه نتایج ارزیابی معنی دار باشند، باید زمینه ها، گردش کار و محدودیت های واقعی را منعکس کنند.

برای کمک به رفع این مشکل، این ابتکار اولویت بندی می کند:

• به اشتراک گذاری معیارها و رویکردها چارچوب های ارزیابی و نتایج معیار از گروه تحت مجوزهای باز منتشر می شود و از طریق پلتفرم هایی مانند Hugging Face به اشتراک گذاشته می شود و درک، استفاده مجدد و ساخت رویکردها را آسان تر می کند.

• کاهش تکرار از طریق یادگیری مشترک. با مقایسه رویکردها در سراسر گروه، هدف ما شناسایی شکاف‌های متداول روش‌شناختی، تفاوت‌ها در تعاریف ایمنی، محدودیت‌های گردش کار که انتخاب‌های ارزیابی را شکل می‌دهند، و محدودیت‌های ابزاری که آزمایش را به تاخیر می‌اندازد، شناسایی می‌کنیم.

در حالی که این ابتکار یک شروع محکم است، اما فقط به سطح اول در سطح ما می پردازد چارچوب ارزیابی هوش مصنوعی: اجرای مدل. سایر سطوح ارزیابی، از جمله پذیرش محصول و تجربه کاربر، به منابع و تخصص بیشتری نیاز دارند. با این حال، قابل مشاهده کردن روش‌های ارزیابی سطح 1 برای جامعه ما می‌تواند به اطمینان حاصل شود که تفاوت‌ها در نتایج معیار منعکس‌کننده تفاوت‌های واقعی در رفتار مدل است – نه فقط تفاوت در نحوه طراحی ارزیابی‌ها.

علم از این گروه، استراتژی‌های سرمایه‌گذار در هوش مصنوعی توسعه‌یافته را اطلاع‌رسانی می‌کند و به گردهمایی ذینفعان سطح بالا آینده که توسط صندوق آژانس، ابتکار دسترسی سلامت کلینتون، و سلامت بی‌پایان در مرکز بلاژیو بنیاد راکفلر برگزار می‌شود، کمک خواهد کرد.

این ابتکار بخشی از یک تلاش گسترده تر برای بهبود نحوه ارزیابی هوش مصنوعی توسط بخش اجتماعی در عمل است. علاوه بر کتاب بازی و اثباتی که در بالا مشخص شد، ما نیز در حال توسعه هستیم و به زودی منتشر خواهیم کرد کارت های محصول برای برنامه‌های GenAI که توسط سازمان‌های دریافت‌کننده کمک هزینه اجرا می‌شوند: پروفایل‌های استاندارد شده و خوانا که نشان می‌دهند ابزارهای خاص چگونه در زمینه‌های مختلف کار می‌کنند.

از آنجایی که بیشتر سازمان‌های مراقبت‌های بهداشتی هوش مصنوعی را در محیط‌های خدماتی زنده مستقر می‌کنند، رویکردهای ارزیابی باید سرعت خود را حفظ کنند. هنگامی که ارزیابی از واقعیت های بالینی جدا می شود، تفسیر معنای نتایج برای ایمنی یا کیفیت خدمات دشوار می شود. رویکردهای مشترک برای ارزیابی عملکرد مدل، پذیرش محصول و تجربه کاربر می‌تواند به نمایان شدن این معاوضه‌ها کمک کند و از تصمیم‌گیری‌های آگاهانه‌تر در مورد اینکه چه و چه زمانی باید هوش مصنوعی در مراقبت‌های بهداشتی پیاده‌سازی شود، پشتیبانی می‌کند.