مدیرکل زیرساخت و شبکه به‌پرداخت ملت صنعت پرداخت با هشدار نسبت به واگذاری تصمیم‌های حساس به هوش مصنوعی تاکید کرد: سازمان‌ها باید این فناوری را برای تحلیل و تصمیم‌سازی به کار بگیرند و تصمیم نهایی و اجرای عملیات را به انسان بسپارند.

به گزارش ستاد خبری اینوتکس ۲۰۲۶، پنل «هوش مصنوعی در صنعت پرداخت» با حضور داریوش نجارزاده، کارشناس زیرساخت و شبکه؛ سعید علی‌اکبری، کارشناس هوش تجاری؛ امیر محسنی، کارشناس امنیت؛ محمد طیبی، مدیرکل زیرساخت و شبکه؛ محمد دماوندی، مدیرکل امنیت و محمدحسین حسینی، کارشناس ارشد هوش مصنوعی شرکت به‌پرداخت ملت در حاشیه اینوتکس ۲۰۲۶ و در سومین کنفرانس ملی و نخستین کنفرانس بین‌المللی هوش مصنوعی و اینترنت اشیا برگزار شد.

محمد طیبی، مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت در این پنل با تشریح نحوه عملکرد مدل‌های زبانی بزرگ (LLM) گفت: مدل‌های زبانی بزرگ در حال حاضر یکی از مهم‌ترین ابزارهای مورد استفاده سازمان‌ها برای بهره‌گیری از قابلیت‌های هوش مصنوعی هستند و شرکت‌ها می‌توانند با استفاده از این مدل‌ها، خدمات و کاربردهای مختلفی را در حوزه‌های سازمانی ایجاد کنند.

LLMها «پیش‌بینی» می‌کنند، نه تصمیم‌گیری

وی با اشاره به نحوه عملکرد مدل‌های زبانی بزرگ افزود: این مدل‌ها با استفاده از داده‌هایی که در فرآیند آموزش در اختیارشان قرار گرفته، دانش موجود در پایگاه‌های اطلاعاتی و نتایج فرآیندهای داده‌کاوی، پاسخ مورد انتظار را تولید می‌کنند اما نکته مهم این است که مدل زبانی در واقع پیش‌بینی می‌کند و تصمیم‌گیری انجام نمی‌دهد.

طیبی توضیح داد: مدل زبان، اطلاعات و واحدهای متنی را به بخش‌های کوچک‌تری مانند توکن تقسیم می‌کند و بر اساس الگوها و شباهت‌های موجود ادامه یا پاسخ احتمالی را پیش‌بینی می‌کند. بنابراین نباید خروجی مدل را با تصمیم‌گیری انسانی یکسان دانست.

«پرامپت» درست، شرط دریافت پاسخ دقیق از هوش مصنوعی

مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت با اشاره به اهمیت نحوه تعامل کاربران با مدل‌های هوش مصنوعی، مفهوم مهندسی پرامپت (Prompt Engineering) را مورد توجه قرار داد و گفت: نحوه دستوری که به هوش مصنوعی داده می‌شود، تاثیر مستقیمی بر پاسخ دریافت‌شده دارد.

وی افزود: اگر کاربر دستور یا پرسش خود را به‌صورت ناقص مطرح کند ممکن است مدل برداشت متفاوتی از منظور او داشته باشد بنابراین برای دریافت پاسخ دقیق‌تر باید درخواست و زمینه موردنظر به‌طور روشن و کامل در اختیار مدل قرار گیرد.

طیبی تاکید کرد: این موضوع صرفا به یک مدل خاص محدود نمی‌شود و در تعامل با مدل‌های مختلف هوش مصنوعی، نحوه بیان درخواست و ارائه اطلاعات زمینه‌ای اهمیت دارد.

هشدار درباره «توهم» هوش مصنوعی؛ هر خروجی قابل اجرا نیست

وی یکی از چالش‌های مهم استفاده از مدل‌های هوش مصنوعی را پدیده توهم مدل ها(Hallucination) دانست و گفت: نباید هر چیزی را که هوش مصنوعی ارائه می‌دهد بدون بررسی و ارزیابی اجرا کرد.

مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت ادامه داد: در برخی کاربردهای سازمانی به‌ویژه در حوزه زیرساخت و عملیات، یک پاسخ اشتباه از سوی مدل می‌تواند پیامدهای جدی برای سازمان داشته باشد. برای مثال اگر در یک محیط عملیاتی از هوش مصنوعی درباره اختلال یک کلاستر یا سرویس سوال شود ممکن است مدل پیشنهادی ارائه دهد که در صورت اجرای بدون بررسی، تبعات نامطلوبی ایجاد کند.

«گراندینگ» و «استناد»؛ دو راهکار برای کاهش خطای مدل‌ها

طیبی با اشاره به راهکارهای کاهش توهم در مدل‌های هوش مصنوعی اظهار کرد: یکی از موضوعات مهم در این زمینه، «گراندینگ» (Grounding) یا اتصال پاسخ مدل به واقعیت و منابع معتبر است.
وی افزود: در این روش مدل به مستندات و منابع مشخص سازمان متصل می‌شود تا پاسخ خود را بر اساس اطلاعات معتبر و مرتبط تولید کند. استفاده از رویکردهایی مانند RAG نیز می‌تواند به مدل کمک کند تا هنگام پاسخ‌گویی از مستندات و دانش مشخصی استفاده کند.

او همچنین بر اهمیت «استناد» (Citation) تأکید کرد و گفت: اگر هوش مصنوعی برای ارائه یک پاسخ از مقاله، وب‌سایت، مستندات فنی یا استاندارد خاصی استفاده می‌کند، باید منبع و ارجاع مربوط به پاسخ نیز مشخص باشد.

طیبی خاطرنشان کرد: اتصال پاسخ‌ها به منابع معتبر و ارائه ارجاع، از جمله اقداماتی است که می‌تواند در کاهش خطا و افزایش قابلیت اعتماد به خروجی مدل‌های هوش مصنوعی موثر باشد.

بیشترین کاربرد هوش مصنوعی در به‌پرداخت؛ تحلیل داده و مانیتورینگ

مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت با اشاره به کاربردهای عملی هوش مصنوعی در این شرکت گفت: یکی از مهم‌ترین حوزه‌هایی که در حال حاضر از هوش مصنوعی در آن استفاده می‌شود تحلیل داده است.

وی توضیح داد: ابزارهای مانیتورینگ و لاگ در مجموعه با کمک هوش مصنوعی تحلیل می‌شوند و این فناوری می‌تواند برای بررسی لاگ‌ها، تیکت‌ها و داده‌های مختلف مورد استفاده قرار گیرد و از میان حجم زیادی از اطلاعات، تحلیل و استنتاج ارائه کند.

تصمیم نهایی همچنان با انسان است

طیبی با تأکید بر اینکه استفاده از هوش مصنوعی به معنای حذف نیروی انسانی نیست، گفت: در حال حاضر اجازه اجرای مستقیم اقدامات به هوش مصنوعی داده نمی‌شود و تصمیم نهایی همچنان بر عهده انسان است.

وی افزود: در کاربردهای فعلی هوش مصنوعی می‌تواند نقش «کوپایلوت» یا «دستیار» را برای کارشناسان ایفا کند؛ به این معنا که داده‌ها را تحلیل کند، الگوها را شناسایی کند و پیشنهاد یا نتیجه تحلیل خود را در اختیار نیروی انسانی قرار دهد اما اجرای نهایی عملیات باید توسط انسان انجام شود.

مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت ادامه داد: این رویکرد تنها مختص صنعت مالی نیست و در حوزه‌هایی مانند پزشکی و سایر صنایع نیز اهمیت دارد؛ چراکه در بسیاری از کاربردهای حساس، واگذاری کامل تصمیم و اجرای عملیات به هوش مصنوعی می‌تواند ریسک‌های جدی ایجاد کند.

وی البته با اشاره به روند پیشرفت فناوری گفت: ممکن است در سال‌های آینده و با توسعه بیشتر مدل‌های هوش مصنوعی شرایط تغییر کند و امکان استفاده از این فناوری به‌عنوان یک عامل اجرایی نیز فراهم شود.

هوش مصنوعی با پایگاه داده و دانش‌نامه یکسان نیست

طیبی در ادامه با تأکید بر ضرورت درک صحیح از ماهیت هوش مصنوعی اظهار کرد: هوش مصنوعی را نباید با پایگاه داده یا Knowledge Base یکسان دانست.

وی توضیح داد: مدل هوش مصنوعی از داده‌هایی که با آنها آموزش دیده و همچنین نتایج فرآیندهای یادگیری ماشین و داده‌کاوی استفاده می‌کند و بر اساس آنها پاسخ تولید می‌کند؛ بنابراین ماهیت آن با یک پایگاه داده که صرفا اطلاعات را ذخیره و بازیابی می‌کند، متفاوت است.

هوش مصنوعی صرفا یک موتور جست‌وجو نیست

مدیرکل زیرساخت و شبکه شرکت به‌پرداخت ملت همچنین با اشاره به قابلیت‌هایی مانند Deep Search گفت: اگرچه برخی ابزارهای هوش مصنوعی می‌توانند از اینترنت یا منابعی که در اختیارشان قرار می‌گیرد، اطلاعات مورد نیاز را جست‌وجو و جمع‌آوری کنند اما هوش مصنوعی را نمی‌توان صرفا یک موتور جست‌وجو در نظر گرفت.