بیشتر شکست‌های سیستم‌های معاملاتی الگوریتمی از مدل شروع نمی‌شوند؛ از داده شروع می‌شوند. داده‌های OHLCV (Open, High, Low, Close, Volume) ستون فقرات بسیاری از سیستم‌های معاملاتی، موتورهای بک‌تست، مدل‌های یادگیری ماشین و پلتفرم‌های تحلیل کمی هستند. با این حال، بخش بزرگی از تیم‌ها کیفیت داده را به عنوان یک مسئله ثانویه در نظر می‌گیرند و تنها زمانی متوجه مشکل می‌شوند که نتایج بک‌تست با واقعیت بازار همخوانی ندارد.

تمیزکاری داده (Data Cleaning) در پایپلاین‌های بیگ دیتا صرفاً حذف مقادیر خالی نیست. هدف اصلی، ایجاد یک لایه اعتمادپذیر برای تمام تصمیمات بعدی سیستم است. اگر داده اولیه آلوده باشد، تمام سیگنال‌ها، مدل‌ها و داشبوردها نیز آلوده خواهند بود.

راهنمای کامل تمیزکاری داده‌های OHLCV در پایپلاین بیگ دیتا

OHLCV چیست و چرا کیفیت آن اهمیت دارد؟

OHLCV شامل پنج مؤلفه اصلی هر کندل بازار است:

در ظاهر این ساختار ساده است. در عمل، داده‌های OHLCV می‌توانند شامل شکاف زمانی، داده تکراری، حجم غیرواقعی، کندل‌های معیوب، خطاهای تبدیل منطقه زمانی و مشکلات ناشی از ادغام چندین منبع داده باشند.

پاسخ کوتاه: تمیزکاری OHLCV شامل چه مراحلی است؟

• اعتبارسنجی ساختاری داده
• بررسی ترتیب زمانی
• تشخیص رکوردهای تکراری
• شناسایی کندل‌های غیرمنطقی
• بررسی شکاف‌های زمانی
• تشخیص ناهنجاری‌های حجم معاملات
• نرمال‌سازی منطقه زمانی
• بازبینی داده پس از تعدیل‌ها و Corporate Actions
• ثبت کامل Data Lineage و Audit Trail

چارچوب عملی پنج‌لایه برای تمیزکاری OHLCV

لایه اول: اعتبارسنجی ساختاری (Structural Validation)

قبل از هر تحلیل باید مطمئن شوید ساختار داده سالم است.

• تمام ستون‌های ضروری وجود دارند.
• نوع داده‌ها صحیح است.
• Timestamp معتبر است.
• مقادیر Null کنترل شده‌اند.

بسیاری از تیم‌ها مستقیماً سراغ تحلیل می‌روند در حالی که بخشی از خطاهای عملیاتی دقیقاً در همین مرحله رخ می‌دهد.

لایه دوم: اعتبارسنجی منطقی قیمت

هر کندل باید قوانین بنیادی بازار را رعایت کند.

اگر این قواعد شکسته شوند، معمولاً مشکل از Provider، ETL یا Mapping داده است.

لایه سوم: پیوستگی زمانی (Temporal Integrity)

یکی از رایج‌ترین خطاها در سیستم‌های کمی، وجود Gap زمانی است.

برای مثال اگر داده یک دقیقه‌ای دریافت می‌کنید اما بین ساعت 10:15 و 10:22 هیچ رکوردی وجود ندارد، سیستم باید این موضوع را ثبت و تحلیل کند.

نباید تمام Gapها را به‌صورت خودکار پر کرد. برخی Gapها ناشی از تعطیلی بازار، توقف نماد یا مشکلات Provider هستند.

لایه چهارم: تشخیص ناهنجاری (Anomaly Detection)

همه داده‌های اشتباه ظاهراً اشتباه نیستند.

گاهی یک کندل با رشد 40 درصدی دیده می‌شود. آیا خطای داده است یا یک رویداد واقعی؟

سیستم‌های حرفه‌ای معمولاً از ترکیب موارد زیر استفاده می‌کنند:

• Z-Score
• MAD (Median Absolute Deviation)
• Volatility Bands
• Cross-Exchange Validation
• Cross-Provider Validation

لایه پنجم: حاکمیت داده (Data Governance)

بزرگ‌ترین اشتباه این است که داده را تمیز کنیم اما ندانیم چه چیزی تغییر کرده است.

هر اصلاح باید شامل موارد زیر باشد:

• Timestamp اصلاح
• نسخه داده
• دلیل تغییر
• سیستم اعمال‌کننده تغییر
• منبع اولیه

آنچه اغلب تیم‌ها اشتباه انجام می‌دهند

حذف Outlierها بدون تحلیل

در بازارهای مالی، Outlier همیشه خطا نیست.

اعلام سود شرکت، لیکوییدیشن گسترده یا شوک‌های نقدینگی می‌توانند رفتارهای شدید اما واقعی ایجاد کنند.

Forward Fill کورکورانه

پر کردن داده‌های گمشده با آخرین مقدار مشاهده‌شده یکی از رایج‌ترین منابع نشت اطلاعات (Data Leakage) است.

در بک‌تست این روش معمولاً نتایج را بهتر از واقعیت نشان می‌دهد.

نادیده گرفتن Timezone

در محیط‌های چندبازاری، اختلاف UTC، EST، CET و زمان محلی بورس‌ها می‌تواند باعث خطاهای جدی در محاسبه سیگنال شود.

واقعیت عملیاتی در پایپلاین‌های بیگ دیتا

در پروژه‌های واقعی، تمیزکاری داده یک Job مستقل نیست؛ یک سیستم مستقل است.

معماری‌های بالغ معمولاً شامل چهار لایه هستند:

1. Raw Zone
2. Validated Zone
3. Clean Zone
4. Research Ready Zone

هیچ داده‌ای مستقیماً از Raw وارد محیط تحقیق یا تولید نمی‌شود.

نمونه پیاده‌سازی در Python

بررسی اعتبار کندل‌ها

import pandas as pd
def validate_ohlcv(df):
    invalid = df[
        (df["high"] < df["open"]) |
        (df["high"] < df["close"]) |
        (df["low"] > df["open"]) |
        (df["low"] > df["close"]) |
        (df["volume"] < 0)
    ]
    return invalid
invalid_rows = validate_ohlcv(df)
print(len(invalid_rows))

تشخیص شکاف زمانی

df = df.sort_values("timestamp")
expected = pd.date_range(
    start=df.timestamp.min(),
    end=df.timestamp.max(),
    freq="1min"
)
missing = expected.difference(df.timestamp)
print(missing)

مقایسه رویکردهای تمیزکاری داده

محدودیت‌ها و Trade-offها

• کیفیت بالاتر داده معمولاً هزینه پردازش بیشتری دارد.
• تمیزکاری تهاجمی می‌تواند سیگنال‌های واقعی را حذف کند.
• اعتبارسنجی چندمنبعه هزینه زیرساخت را افزایش می‌دهد.
• بازتولیدپذیری نتایج نیازمند Versioning دقیق است.

درس‌هایی که پس از ساخت چندین سیستم معاملاتی آموخته می‌شوند

بسیاری از تیم‌ها روی مدل تمرکز می‌کنند، اما مزیت رقابتی پایدار اغلب از کیفیت داده ناشی می‌شود. در عمل، بهبود یک درصدی کیفیت داده می‌تواند ارزش بیشتری از بهبود یک درصدی مدل داشته باشد.

سیستم‌های کمی بالغ، داده را به‌عنوان یک دارایی استراتژیک مدیریت می‌کنند؛ نه صرفاً یک ورودی برای الگوریتم.

نکات کلیدی

• تمیزکاری OHLCV یک فرآیند چندلایه است.
• Gapها همیشه نباید پر شوند.
• Outlierها همیشه خطا نیستند.
• Data Governance بخشی از تمیزکاری داده است.
• Versioning و Audit Trail برای تحقیقات کمی ضروری هستند.
• کیفیت داده مستقیماً بر کیفیت بک‌تست و مدل اثر می‌گذارد.

سوالات متداول (FAQ)

بهترین روش تمیزکاری داده OHLCV چیست؟

رویکرد Hybrid که اعتبارسنجی Rule-Based را با تشخیص آماری ناهنجاری ترکیب می‌کند، معمولاً بهترین تعادل بین دقت و هزینه عملیاتی را فراهم می‌کند.

آیا باید تمام داده‌های گمشده را پر کنیم؟

خیر. ابتدا باید علت Gap مشخص شود. برخی شکاف‌ها بخشی از رفتار طبیعی بازار هستند.

آیا Outlierها باید حذف شوند؟

خیر. ابتدا باید مشخص شود که Outlier ناشی از خطای داده است یا یک رویداد واقعی بازار.

مهم‌ترین شاخص کیفیت داده در سیستم‌های معاملاتی چیست؟

قابلیت اعتماد (Trustworthiness) داده مهم‌تر از حجم داده است. داده‌ای که منشأ، نسخه و کیفیت آن مشخص نباشد برای تحقیقات کمی قابل اتکا نیست.