بازگشت به نوشته‌ها

AI · · 1 دقیقه مطالعه

حس سریع‌ترشدن رو اندازه بگیریم

برداشت من از مطالعهٔ METR دربارهٔ ابزارهای AI اوایل ۲۰۲۵.

حس سریع‌ترشدن رو اندازه بگیریم

نسخهٔ وبلاگیِ بسط‌یافته از یادداشت تلگرامم؛ نسخهٔ انگلیسی ترجمه و بازنویسی است.

چیزی که توی مطالعهٔ METR برام جالب بود، فاصلهٔ حس سرعت با سرعت اندازه‌گیری‌شده بود. برنامه‌نویس‌ها فکر می‌کردن AI کمکشون کرده، ولی نتیجهٔ اندازه‌گیری توی همون موقعیت جهت دیگه‌ای داشت.

آزمایش دربارهٔ مشارکت‌کننده‌های باتجربهٔ پروژه‌های اوپن‌سورس و ابزارهای اوایل ۲۰۲۵ بود؛ آدم‌هایی که مخزن خودشون رو خوب می‌شناختن. نتیجه رو باید توی همین محدوده خوند و نمی‌شه مستقیم به هر تیم، مدل و کاری تعمیمش داد.

کل کار رو حساب کنیم

برای سنجیدن کار خودت، نوشتن درخواست، انتظار، خواندن، اصلاح و بررسی جواب رو هم حساب کن. ممکنه پیش‌نویس اول خیلی سریع آماده بشه، ولی بازبینی طول بکشه.

کیفیت هم تعریف لازم داره. توی تحلیل داده، خروجی باید قابل‌بازتولید و سازگار با ورودی باشه. توی کد، رفتار موردنظر باید کار کنه و نگهداریش ممکن بمونه.

یه مقایسهٔ کوچیک

چند کار قابل‌مقایسه انتخاب کن و زمان کل، زحمت بازبینی و خطاهایی رو که پیدا کردی بنویس. آشنایی با مسئله و سختیش رو هم ثبت کن چون روی مقایسه اثر دارن.

این یه بررسی شخصیه و آزمایش کنترل‌شده نیست، ولی می‌تونه نشون بده کجای فرایند از کمک AI سود می‌بره و کجا باید روش رو عوض کرد.

برداشت من اینه که حس سریع‌ترشدن رو یه فرضیه بدونم. تصمیم بهتر از کاری درمیاد که واقعاً به نتیجهٔ بررسی‌شده رسیده.

علی راشدی