بخش روش‌ها Methods

یک سؤال داور که همه‌چیز را عوض کرد

این ماجرا ساختگی است و فقط مثال آموزشی است.

مریم دانشجوی ارشد است. مدلی ساخته که از روی صدای افراد خستگی را تشخیص می‌دهد. در مقاله‌اش نوشته دقت مدل خیلی بالاست. داور فقط یک سؤال می‌پرسد: «آیا ضبط‌های یک نفر هم در داده‌ی آموزش بود و هم در داده‌ی آزمون؟»

مریم در بخش روش چیزی درباره‌ی این موضوع ننوشته بود. وقتی برمی‌گردد و کدش را نگاه می‌کند، می‌بیند جواب «بله» است. یعنی مدل شاید صدای آدم‌ها را حفظ کرده باشد، نه نشانه‌های خستگی را. آن عدد بالا دیگر معنای روشنی ندارد.

بخش روش همان جایی است که خواننده تصمیم می‌گیرد به نتیجه‌ی تو اعتماد کند یا نه. در این درس یاد می‌گیری:

• جمله‌های مبهم روش را به جزئیات عملیاتی و قابل تکرار تبدیل کنی.
• نمونه‌گیری، معیارهای ورود و خروج و تعداد حذف‌شده‌ها را شفاف گزارش کنی.
• اخلاق پژوهش و دسترسی به داده را صادقانه بنویسی و حد حریم خصوصی را هم در نظر بگیری.
• نرم‌افزار، پارامترها و شیوه‌ی انتخاب آن‌ها را طوری بنویسی که مقایسه منصفانه باشد.
• نشت داده در یادگیری ماشین را بشناسی و تقسیم در سطح شرکت‌کننده را گزارش کنی.
• بدانی روش در پژوهش کیفی چه چیزهای دیگری لازم دارد.

محک اصلی: همکار توانا بتواند کار را تکرار کند

یک محک ساده داریم. پژوهشگری از رشته‌ی خودت را در نظر بگیر که مقاله‌ات را خوانده ولی هیچ‌وقت با تو حرف نزده. آیا فقط با خواندن روش تو می‌تواند همین کار را تکرار کند؟ یا دست‌کم می‌تواند بفهمد کجای کار ممکن است نتیجه را تحت تأثیر گذاشته باشد؟

برای رسیدن به این‌جا، روش باید به شش سؤال جواب بدهد:

از جمله‌ی مبهم به جزئیات عملیاتی

رایج‌ترین ضعف روش، جمله‌ای است که درست است ولی هیچ اطلاعاتی نمی‌دهد. به این جمله نگاه کن (مثال ساختگی):

Sleep was measured and compared with exam performance.

خواننده نمی‌داند خواب چطور اندازه گرفته شد، کدام شب بود، «خواب» دقیقاً یعنی چه، و عملکرد امتحان با چه معیاری سنجیده شد. نسخه‌ی عملیاتی آن این‌طور است:

Total sleep time on the night before the midterm was recorded with a wrist-worn activity tracker and defined as the minutes between device-detected sleep onset and final awakening. Exam performance was the instructor-assigned midterm score (0–20), obtained directly from course records with participants' written permission.

مثال آموزشی و ساختگی است. نام دستگاه واقعی و تنظیماتش را در مقاله‌ی خودت دقیق بنویس.

ببین چه اضافه شد: ابزار، زمان، تعریف متغیر، واحد، دامنه و منبع داده. یک قاعده‌ی کاربردی هم دارد: هر جا صفتی مثل «مناسب»، «استاندارد» یا «معمول» نوشتی، از خودت بپرس دقیقاً یعنی چه، و جواب را جای آن صفت بنویس.

نمونه‌گیری و حذف‌ها: پیش از دیدن نتیجه تصمیم بگیر

خواننده باید بداند نمونه‌ی تو از کجا آمده، چه کسانی کنار گذاشته شدند و چرا. مهم‌تر اینکه بداند معیار حذف را قبل از نگاه کردن به نتیجه گذاشتی. اگر بعد از دیدن داده‌ها چند نفر «عجیب» را حذف کنی و نتیجه بهتر شود، اعتبار کار زیر سؤال می‌رود. اگر حذفی بعد از دیدن داده‌ها انجام شده، آن را صادقانه بنویس و نتیجه را با آن حذف و بدون آن گزارش کن.

بهترین راه برای نشان دادن این موضوع، یک نمودار جریان است:

یک نکته هم درباره‌ی ادعا: نمونه‌ی داوطلب از یک دانشکده، نماینده‌ی همه‌ی دانشجوها نیست. این را در روش بگو تا خواننده در نتایج انتظار تعمیم بزرگ نداشته باشد. این مطالعه مشاهده‌ای است، پس روش هم نباید با کلمه‌هایی مثل «اثر خواب» ادعای علّی را از پیش القا کند.

اخلاق پژوهش و حریم خصوصی: صداقت به جای شماره‌ی ساختگی

اگر پژوهشت با انسان، داده‌ی شخصی یا حیوان سروکار دارد، معمولاً باید بنویسی کدام کمیته‌ی اخلاق آن را تأیید کرده، شماره‌ی مصوبه چیست، و رضایت چطور گرفته شده. جزئیات این کار به دانشگاه، کشور و مجله بستگی دارد، پس آیین‌نامه‌ی خودت را ببین.

قانون طلایی این بخش: هیچ‌وقت شماره‌ی مصوبه یا نام کمیته را حدس نزن و از خودت نساز. در پیش‌نویس، جای آن را خالی بگذار تا یادت بماند اطلاعات واقعی را از مدارک رسمی وارد کنی:

The study protocol was approved by [full name of your institution's ethics committee] (approval no. [insert your actual number]). All participants provided written informed consent, and they could withdraw at any time without academic consequences.

قالب آموزشی است. داخل کروشه را فقط با اطلاعات واقعی و رسمی پروژه‌ی خودت پر کن.

تکرارپذیری هم حد دارد. اگر شرکت‌کننده‌ها برای انتشار عمومی داده رضایت نداده‌اند، یا داده با وجود حذف نام قابل شناسایی است (مثل ضبط صدا یا ترکیب سن، رشته و کلاس)، نباید آن را عمومی کنی. در این حالت شفافیت یعنی دلیل را بگویی و راه قانونی دسترسی را مشخص کنی:

Because participants consented only to use of their recordings within the research team, raw audio cannot be shared. Extracted, de-identified acoustic features and all analysis code are available [repository or access route], and the raw data can be accessed by qualified researchers under a data use agreement approved by the ethics committee.

نرم‌افزار، پارامترها و دسترسی به کد

«تحلیل با پایتون انجام شد» برای تکرار کار کافی نیست. نسخه‌ی نرم‌افزار و کتابخانه‌ها، تنظیمات غیر پیش‌فرض، بذر تصادفی (random seed) و مهم‌تر از همه شیوه‌ی انتخاب پارامترها را بنویس. خواننده باید بداند پارامترها از قبل ثابت بودند یا با جست‌وجو انتخاب شدند، و اگر با جست‌وجو، روی کدام داده.

Models were implemented in [language and version] using [library and version]. For each model, hyperparameters were selected by grid search over the ranges listed in Supplementary Table S1, using five-fold cross-validation within the training set only. Final models were refit on the full training set and evaluated once on the held-out test set. Random seeds were fixed and are reported with the code.

مثال آموزشی است. جدول S1 و نام کتابخانه‌ها ساختگی‌اند و جای خالی را باید با اطلاعات واقعی کار خودت پر کنی.

مقایسه‌ی منصفانه و نشت داده در یادگیری ماشین

بیا مسئله‌ی مریم را باز کنیم. فرض کن (ساختگی) ۴۰ شرکت‌کننده داری و از هر کدام چند ضبط صدا. اگر ضبط‌ها را تصادفی بین آموزش و آزمون پخش کنی، صدای یک نفر در هر دو بخش می‌افتد. مدل می‌تواند ویژگی‌های صدای همان آدم را یاد بگیرد و در آزمون عدد خوبی بگیرد، بدون اینکه چیزی درباره‌ی آدم‌های تازه یاد گرفته باشد. به این نشت داده (leakage) می‌گویند.

نشت فقط از تقسیم داده نمی‌آید. اگر نرمال‌سازی یا انتخاب ویژگی را روی کل داده انجام دهی، یا پارامترها را با نگاه به نتیجه‌ی آزمون تنظیم کنی، باز هم نشت داری. مقایسه‌ی منصفانه هم یعنی روش پایه (baseline) همان داده، همان تقسیم و بودجه‌ی تنظیم مشابه را بگیرد. اگر فقط مدل خودت را تنظیم کنی و روش پایه را با تنظیمات پیش‌فرض اجرا کنی، مقایسه یک‌طرفه است. یک پاراگراف خوب این‌طور است:

Data from 40 participants were split at the participant level: 30 participants (all of their recordings) formed the training set and 10 independent participants formed the test set. Feature scaling was fitted on training data only. Hyperparameters for both the proposed model and the baseline were tuned with participant-grouped five-fold cross-validation inside the training set, using the same search budget of 50 configurations. The test set was used once, after all modelling decisions were fixed.

مطالعه و اعداد ساختگی‌اند و فقط برای آموزش آمده‌اند.

روش در پژوهش کیفی شکل دیگری دارد

در پژوهش کیفی (مثلاً مصاحبه با دانشجوها درباره‌ی عادت‌های خواب) هدف تکرار دقیق عدد نیست. هدف این است که خواننده بفهمد یافته‌ها از کجا آمده‌اند و چقدر می‌شود به آن‌ها اعتماد کرد. پس این‌ها را بنویس: چرا این افراد را انتخاب کردی (نمونه‌گیری هدفمند)، چطور تصمیم گرفتی مصاحبه را تمام کنی، راهنمای مصاحبه چه بود، مصاحبه‌ها چطور ضبط و پیاده شدند، کدگذاری چطور انجام شد و چند نفر کد زدند، و جایگاه خودت به‌عنوان پژوهشگر چه بود. مثلاً اگر خودت دستیار آموزشی همان کلاس‌ها بودی، این ممکن است روی جواب‌ها اثر گذاشته باشد.

We purposively sampled students with contrasting work and commuting schedules. Semi-structured interviews (guide in Appendix B) were audio-recorded, transcribed verbatim and anonymised. Two researchers coded the first five transcripts independently, discussed disagreements to refine the codebook, and then coded the remaining transcripts. Because the first author was a teaching assistant for some participants, interviews were conducted by a researcher outside the course.

مثال ساختگی است. پیوست B وجود خارجی ندارد.

طرح نمونه یا نسخه‌ی آماری؟ این دو را قاطی نکن

رگرسیون خطی در مثال خواب فقط برای این آمده که نشان دهد چطور تحلیل را گزارش کنی. این توصیه نیست که برای داده‌ی تو هم رگرسیون خطی درست است. انتخاب آزمون یا مدل به نوع متغیرها، ساختار داده (مثلاً اندازه‌گیری تکراری از یک نفر)، فرض‌های مدل و سؤال پژوهش بستگی دارد. این تصمیم را با استاد راهنما یا مشاور آماری بگیر. در روش هم بنویس چرا آن را انتخاب کردی و فرض‌هایش را چطور بررسی کردی.

برای اینکه چیزی جا نیفتد، راهنماهای گزارش‌دهی خیلی کمک می‌کنند. کتابخانه‌ی راهنماهای گزارش‌دهی شبکه‌ی EQUATOR آن‌ها را بر اساس نوع مطالعه جمع کرده است: مثلاً STROBE برای مطالعه‌های مشاهده‌ای، CONSORT برای کارآزمایی‌های تصادفی، TRIPOD برای مدل‌های پیش‌بینی، و SRQR یا COREQ برای پژوهش کیفی. راهنمای مربوط به طرح خودت را پیدا کن و از آن مثل چک‌لیست استفاده کن. خیلی از مجله‌ها هم پر کردن آن را لازم می‌دانند.

اگر در انگلیسی نوشتن این بخش برایت سخت است، بخش Describing methods در Academic Phrasebank دانشگاه منچستر الگوهای جمله را بر اساس کارکردشان دسته‌بندی کرده است: توصیف نمونه، بیان دلیل انتخاب روش، توصیف ابزار و غیره. از آن الگوها برای ساختار جمله استفاده کن، ولی محتوا باید جزئیات واقعی کار خودت باشد.

نگاه پژوهشگر باتجربه و اشتباه‌های رایج

• روش را هم‌زمان با کار بنویس. دفترچه‌ای داشته باش که تاریخ، نسخه‌ی نرم‌افزار و هر تصمیمی که گرفتی (و دلیلش) را در آن ثبت کنی. شش ماه بعد هیچ‌چیز یادت نمی‌ماند.
• زمان فعل معمولاً گذشته است. کاری که انجام دادی را با فعل گذشته بنویس. مجهول یا معلوم بودن جمله را از عادت مجله‌ی هدفت یاد بگیر. کریستین سینانی در درس نگارش علمی‌اش توصیه می‌کند تا جایی که ممکن است جمله را معلوم و مستقیم بنویسی. لینک ویدیو در ستون کنار صفحه است.
• ترتیب روش را با ترتیب نتایج یکی کن. اگر نتایج با تحلیل اصلی شروع می‌شود، روش هم همین ترتیب را داشته باشد.
• جزئیات طولانی را به پیوست ببر. متن اصلی را روان نگه دار و فهرست کامل پارامترها یا راهنمای مصاحبه را در پیوست بگذار.

اشتباه‌هایی که زیاد دیده می‌شود:

• «با روش‌های آماری مناسب تحلیل شد» بدون اینکه بگویی کدام روش.
• عدد ناسازگار: اینکه روش بگوید ۱۲۵ نفر و جدول نتایج ۱۲۰، بدون توضیح درباره‌ی آن ۵ نفر.
• آوردن نتیجه در روش: جمله‌ای مثل «که نشان داد خواب مؤثر است» جایش در روش نیست.
• تقسیم داده در سطح رکورد وقتی از هر نفر چند نمونه داری، یا تنظیم پارامترها با نگاه به داده‌ی آزمون.
• ساختن شماره‌ی مصوبه یا ادعای «داده‌ها عمومی است» وقتی رضایت انتشار عمومی نگرفته‌ای.

تمرین

اول خودت جواب بده، بعد جواب را باز کن.

خروجی عملی و جایگاه این مبحث در نقشه

در ۲۰ تا ۳۰ دقیقه: یک سند تازه باز کن و شش تیتر بنویس: شرکت‌کننده‌ها یا داده، نمونه‌گیری و حذف‌ها، اندازه‌گیری‌ها، روند اجرا، تحلیل، و اخلاق و دسترسی. زیر هر تیتر دو یا سه جمله‌ی عملیاتی درباره‌ی پروژه‌ی خودت بنویس. هر جا اطلاعات دقیق نداری (شماره‌ی مصوبه، نسخه‌ی نرم‌افزار، تعداد حذف‌شده‌ها)، یک کروشه‌ی خالی بگذار و آن را پررنگ کن. آخر کار، راهنمای EQUATOR مربوط به طرحت را کنار سندت بگذار و موردهای جاافتاده را علامت بزن. اگر با یادگیری ماشین کار می‌کنی، یک خط هم بنویس که تقسیم داده در چه سطحی انجام شد و پارامترها روی کدام داده تنظیم شدند. حاصل کار، اسکلت روش و فهرست کارهای باقی‌مانده‌ی توست.

در مبحث مقدمه یاد گرفتی سؤال پژوهش را تیز کنی. روش جواب می‌دهد آن سؤال را دقیقاً چطور بررسی کردی. مبحث بعدی بخش نتایج است. آن‌جا می‌بینی هر عددی که گزارش می‌کنی، باید به چیزی برگردد که در روش تعریف کرده‌ای: همان ۱۲۰ نفر، همان متغیرها و همان تحلیل، به همان ترتیب.

ویدیوی مکمل

این سخنرانی برای مرور مهارت‌های نگارش و خواندن علمی است؛ توضیح و تمرین همین مبحث را در متن بالا بخوان.

منابع

• University of Manchester: Describing methods
• EQUATOR Network: Reporting guideline library