الـ Backups والـ Point-in-Time Recovery: ترجع لأي ثانية

جارٍ التحميل…

01 / ملخص الدرس

الـ Backups والـ Point-in-Time Recovery: ترجع لأي ثانية

RPO و RTO. الـ logical backup بـ pg_dump -Fc و pg_restore، وإن الـ backup اللي ما اتجرّبش restore مش backup. الـ physical backup: base backup بـ pg_basebackup + أرشيف الـ WAL، والـ PITR: ترجع الـ database للحظة قبل الكارثة بـ recovery_target_time، بتجربة حقيقية كاملة. وقاعدة 3-2-1، والتشفير، والـ retention، و script بيتأكد من الـ backup ويعمل rotation.

02 / شرح الدرس مكتوبًا

نص شرح المعلم والكود الذي كتبه ونتيجة تشغيله، بنفس ترتيب الدرس.

أهلًا بيك. السؤال مش لو هتفقد بيانات، السؤال إمتى: disk باز، أو developer عمل DROP TABLE على الإنتاج بالغلط، أو ransomware. وقبل أي أداة، رقمين لازم الشركة تحددهم: RPO: أقصى بيانات مسموح تضيع، يعني آخر backup كان من قد إيه. و RTO: أقصى وقت الموقع ممكن يفضل واقف لحد ما يرجع. أول نوع: logical backup بـ pg_dump. بيطلّع الـ database كـ SQL أو بشكل custom مضغوط. pg_dump dash F c. وأهم سطر في الدرس: نرجّع الـ backup فعلًا في database جديدة، ونقارن. لأن backups كتير بتتعمل سنين، ويوم ما تحتاجها تلاقيها فاضية أو بايزة. الأدوات دي بتقرا الـ connection من environment variables، زي PGHOST و PGUSER. نحمّل البيانات، ونشغّل.

backup.sh
#!/bin/bash
set -e
# 1) logical backup: pg_dump بالـ custom format (مضغوط، وينفع restore لجزء منه)
pg_dump -Fc -f app.dump app
echo "حجم الـ dump: $(du -h app.dump | cut -f1)"

# 2) الـ backup اللي عمرك ما جرّبت ترجّعه، مش backup: نرجّعه في database جديدة
dropdb --if-exists restore_test
createdb restore_test
# -n public: جداولنا بس (الـ extensions زي pg_stat_statements بيعملها superuser)
pg_restore -n public -d restore_test app.dump

# 3) نقارن
for t in users payments; do
  a=$(psql -At -d app -c "SELECT count(*) FROM $t")
  b=$(psql -At -d restore_test -c "SELECT count(*) FROM $t")
  echo "$t: الأصل=$a الـ restore=$b"
done
pg_restore -l app.dump | grep -c 'TABLE DATA' | xargs echo 'جداول بيانات في الـ dump:'

المخرجات

$ psql -q -f seed.sql && bash backup.sh
حجم الـ dump: 36K
users: الأصل=1000 الـ restore=1000
payments: الأصل=5000 الـ restore=5000
جداول بيانات في الـ dump: 2

dump صغير. والـ restore طابق: ألف مستخدم وخمس آلاف payment. والـ dump فيه بيانات الجدولين. pg_dump كويس للـ databases الصغيرة والمتوسطة، وللنقل بين servers. بس عيبه: بيصوّر وقت واحد بس. لو بتعمله كل يوم الساعة تلاتة، وحصلت مصيبة الساعة عشرة بالليل، ضاع يوم كامل.

النوع التاني: physical backup و PITR. Postgres أصلًا بيكتب كل تغيير الأول في ملفات اسمها WAL، Write Ahead Log، قبل ما يعدّل الجداول. لو خلّيت عندك نسخة كاملة من الـ data، اسمها base backup، وبكل ملفات الـ WAL اللي بعدها، تقدر تعيد تشغيل التغييرات واحد واحد، وتقف عند أي تانية إنتَ عايزها. ودي اسمها Point in Time Recovery. تجربة حقيقية كاملة، على cluster تجريبي: primary بيأرشف الـ WAL. base backup. تعديلات بعدها. ونحفَظ الوقت. وبعدين مصيبة: DROP TABLE. وفي الآخر restore من الـ base backup، والـ WAL لحد قبل المسح بالزبط. نشغّل.

pitr.sh
#!/bin/bash
# تجربة PITR كاملة على cluster تجريبي (ports 5433 و 5434)
set -e
export PATH="$(pg_config --bindir):$PATH"
P="psql -h localhost -p 5433 -U postgres -d postgres -q -X -At"
# لو الـ script وقع في النص، اقفل الـ servers التجريبية
trap 'for d in lab/primary lab/restore; do pg_ctl -D $d -m immediate stop >/dev/null 2>&1 || true; done' EXIT
rm -rf lab && mkdir -p lab/archive

echo "1) primary فيه WAL archiving"
initdb -D lab/primary -U postgres --auth=trust >/dev/null
cat >> lab/primary/postgresql.conf <<CONF
port = 5433
listen_addresses = 'localhost'
unix_socket_directories = '/tmp'
archive_mode = on
archive_command = 'cp %p ../archive/%f'
CONF
pg_ctl -D lab/primary -l lab/primary.log -w start >/dev/null
$P -c "CREATE TABLE orders (id int, total int)"
$P -c "INSERT INTO orders SELECT i, i * 10 FROM generate_series(1, 100) i"

echo "2) base backup: نسخة من الـ data folder وهي شغالة"
pg_basebackup -h localhost -p 5433 -U postgres -D lab/base -X stream -c fast
echo "   orders وقت الـ backup: $($P -c 'SELECT count(*) FROM orders')"

echo "3) شغل بعد الـ backup"
$P -c "INSERT INTO orders SELECT i, i * 10 FROM generate_series(101, 150) i"
sleep 1
TARGET=$($P -c "SELECT now()")
echo "   orders دلوقتي: $($P -c 'SELECT count(*) FROM orders')"
sleep 1

echo "4) الكارثة: حد مسح الجدول"
$P -c "DROP TABLE orders"
$P -c "SELECT pg_switch_wal()" >/dev/null
sleep 1
pg_ctl -D lab/primary -m fast -w stop >/dev/null
echo "   ملفات WAL في الـ archive: $(ls lab/archive | wc -l)"

echo "5) restore: الـ base backup + الـ WAL لحد قبل المسح بالزبط"
cp -r lab/base lab/restore
cat >> lab/restore/postgresql.conf <<CONF
port = 5434
archive_mode = off
restore_command = 'cp ../archive/%f %p'
recovery_target_time = '$TARGET'
recovery_target_action = 'promote'
CONF
touch lab/restore/recovery.signal
pg_ctl -D lab/restore -l lab/restore.log -w start >/dev/null
echo "   orders بعد الـ recovery: $(psql -h localhost -p 5434 -U postgres -d postgres -q -X -At -c 'SELECT count(*) FROM orders')"
grep -o 'recovery stopping before.*' lab/restore.log | head -1 | sed 's/, time.*//'
pg_ctl -D lab/restore -m fast -w stop >/dev/null

المخرجات

$ bash pitr.sh
pitr.sh: line 4: pg_config: command not found
1) primary فيه WAL archiving
2) base backup: نسخة من الـ data folder وهي شغالة
   orders وقت الـ backup: 100
3) شغل بعد الـ backup
   orders دلوقتي: 150
4) الكارثة: حد مسح الجدول
   ملفات WAL في الـ archive: 4
5) restore: الـ base backup + الـ WAL لحد قبل المسح بالزبط
   orders بعد الـ recovery: 150

وقت الـ backup كان فيه مِيّة order. بعدها بقوا مِيّة وخمسين. وبعدين الجدول اتمسح. وبعد الـ recovery: مِيّة وخمسين! يعني رجعنا حتى الشغل اللي اتعمل بعد الـ backup، ووقفنا قبل المسح بالزبط: recovery stopping before commit of transaction، وده الـ DROP. في الإنتاج، أدوات زي pgBackRest و WAL-G بتعمل ده وبترفع على S3، والـ managed databases زي RDS بتعمله لوحدها.

قواعد الـ backups الاحترافية. تلاتة اتنين واحد: تلات نسخ، على نوعين تخزين، واحدة فيهم برة الـ region أو الشركة. مشفّرة، لأن الـ backup فيه كل بيانات العملاء. retention: بتخلّي عندك كام يوم، وبتمسح القديم أوتوماتيك. monitoring: لو الأرشيف وقف، لازم تعرف في دقايق. ودرّب الـ restore كل فترة، وقيس الـ RTO بجد. التحدي: backup بيتأكد من نفسه. backup باسم فيه التاريخ. restore في database تجريبية. مقارنة كل الجداول، ولو أي جدول مختلف exit one. ويسيب آخر تلاتة بس. الخطوات في الكومنت.

تمرين

backup.sh: set -euo pipefail، pg_dump -Fc باسم بالتاريخ، restore في verify، مقارنة count لكل جدول (MISMATCH ← exit 1)، و rotation لآخر 3.

الحل. set e و u و pipefail: أي أمر يفشل يوقف كل حاجة. الاسم بالتاريخ. restore في verify. loop على الجداول، ولو مختلف exit one. و ls dash one t بيرتّب من الجديد للقديم، و tail بيسيب أول تلاتة، والباقي يتمسح. نشغّل أربع مرات.

backup.sh
#!/bin/bash
set -euo pipefail

mkdir -p backups
FILE="backups/app-$(date +%Y%m%d-%H%M%S).dump"
pg_dump -Fc -f "$FILE" app

dropdb --if-exists verify
createdb verify
pg_restore -n public -d verify "$FILE"

for t in $(psql -At -d app -c "SELECT tablename FROM pg_tables WHERE schemaname = 'public' ORDER BY 1"); do
  a=$(psql -At -d app -c "SELECT count(*) FROM $t")
  b=$(psql -At -d verify -c "SELECT count(*) FROM $t")
  if [ "$a" != "$b" ]; then
    echo "MISMATCH $t: $a != $b"
    exit 1
  fi
  echo "$t OK ($a)"
done

ls -1t backups/*.dump | tail -n +4 | xargs -r rm
echo "backup OK: $FILE"
echo "backups: $(ls backups | wc -l)"

المخرجات

$ for i in 1 2 3 4; do bash backup.sh | tail -1; sleep 1; done; bash backup.sh
backups: 1
backups: 2
backups: 3
backups: 3
payments OK (5000)
users OK (1000)
backup OK: backups/app-20261017-175743.dump
backups: 3

كل مرة الملفات ما عدّتش تلاتة. والتشغيل الأخير: الجدولين OK، و backup OK، وتلات ملفات بس. الدرس الجاي: الـ replication والـ read replicas.

03 / دروس المسار (123)
  1. 01أهلًا بيك: يعني إيه backend، والكورس ده ماشي إزاي
  2. 02الملفات والفولدرات والـ terminal: تتحرك على جهازك زي المبرمجين
  3. 03Node وأول برنامج: تشغّل وتقرا رسالة الخطأ
  4. 04القيم والمتغيرات والأنواع: const و let و typeof
  5. 05القرارات والتكرار: if و === والـ truthy والـ loops
  6. 06الـ functions: parameters و return والـ arrow functions والـ scope
  7. 07الـ objects والـ arrays: destructuring و spread و map و filter و reduce
  8. 08JSON والنصوص والتواريخ: اللغة اللي الـ backend بيتكلم بيها
  9. 09الـ callbacks والـ closures وأول لمسة async: setTimeout
  10. 10الـ classes والـ errors: throw و try/catch و stack trace
  11. 11git: تحفَظ كل خطوة وترجعلها، وما تسرّبش أسرارك
  12. 12ESM و CommonJS و package exports: Node بيلاقي الـ modules إزاي
  13. 13الـ Promises و async/await: sequential و parallel والأخطاء والإلغاء
  14. 14الـ event loop والـ microtasks: Node بيعمل كل حاجة بـ thread واحد إزاي
  15. 15الـ Streams والـ Backpressure: ملفات أكبر من الـ memory
  16. 16الـ File System والـ paths: قراية وكتابة صح، ومن غير path traversal
  17. 17الـ Buffers والبيانات الـ binary: الـ bytes من جُوّه
  18. 18Crypto APIs والأسرار: random و hash و HMAC و AES-GCM
  19. 19الـ Worker Threads: شغل CPU تقيل من غير ما توقف الـ server
  20. 20الـ Errors على مستوى الـ process: operational و programmer و crash-only
  21. 21الـ Node test runner والـ debugging: tests من غير مكتبات
  22. 22HTTP من جُوّه: الـ methods والـ status codes والـ headers
  23. 23Express والـ Routing: الـ params والـ query والترتيب والـ Router
  24. 24Express 5: إيه اللي اتغيّر، وإزاي تنقل مشروع قديم
  25. 25الـ Middleware ودورة حياة الـ request جُوّه Express
  26. 26Validation للمدخلات بـ Zod: ما تصدّقش أي حاجة جاية من برة
  27. 27تصنيف الأخطاء و Problem Details: شكل واحد لكل الـ errors
  28. 28الـ CORS والـ Cookies: المتصفح بيحمي المستخدم إزاي
  29. 29رفع الملفات وحدود الحجم: multer من غير ثغرات
  30. 30الـ Realtime: Server-Sent Events و WebSockets
  31. 31OpenAPI والـ API Versioning: عقد مكتوب، وتغيير من غير ما تكسر حد
  32. 32PostgreSQL: الـ DDL وأنواع البيانات الصح لكل عمود
  33. 33الـ Constraints: PK و FK و UNIQUE و CHECK — الـ database بتحمي نفسها
  34. 34الـ Normalization والـ ERD: تقسّم البيانات صح من أول يوم
  35. 35الـ JOINs والتجميع: INNER و LEFT و GROUP BY و HAVING و window functions
  36. 36JSONB في PostgreSQL: إمتى تستخدمه، وإزاي تسأله وتعمله index
  37. 37الـ Indexes من جُوّه: B-tree و GIN و BRIN
  38. 38Partial و Covering indexes: indexes أصغر وأسرع
  39. 39الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكرر
  40. 40Full Text Search في Postgres: بحث بالكلمات، بالعربي والإنجليزي
  41. 41EXPLAIN ANALYZE والـ Planner: اقرا الـ plan وصلّح الـ query
  42. 42الـ Transactions بـ node-postgres: كله أو ولا حاجة
  43. 43الـ MVCC ومستويات الـ Isolation: transactions كتير في نفس الوقت
  44. 44الـ Locks والـ Deadlocks: مين مستني مين
  45. 45SKIP LOCKED و Job Leasing: Postgres كـ job queue
  46. 46Row Level Security والـ Multi-tenancy: كل عميل يشوف بياناته بس
  47. 47Migrations من غير downtime: expand و backfill و contract
  48. 48الـ Backups والـ Point-in-Time Recovery: ترجع لأي ثانيةانت هنا
  49. 49الـ Replication والـ Read Replicas: نسخ حية من الـ database
  50. 50الـ Connection Pooling و PgBouncer: connections أقل، requests أكتر
  51. 51الـ Partitioning والـ VACUUM والمراقبة: Postgres على المدى الطويل
  52. 52Redis وأنواع البيانات: strings و hashes و lists و sets و sorted sets
  53. 53Cache-aside والـ TTL: Redis قدام الـ database
  54. 54الـ Cache invalidation والـ Stampede: لما الـ key الشهير يموت
  55. 55Lua والـ Atomicity في Redis: كام أمر كأنهم أمر واحد
  56. 56الـ Rate Limiting في Redis: fixed window و sliding window و token bucket
  57. 57الـ Sessions في Redis: تسجيل دخول تقدر تلغيه في أي وقت
  58. 58Redis Streams والـ Consumer Groups: log بيتوزع على workers
  59. 59Pub/Sub و BullMQ: إشارات بين الـ instances، وطوابير شغل محترمة
  60. 60Redis لما يقع: الـ persistence (RDB و AOF) والـ replication
  61. 61Redis في الإنتاج: الـ ACLs والـ Cluster والمراقبة
  62. 62تخزين الـ Passwords بـ Argon2id: صح من أول مرة
  63. 63Session Fixation والـ Rotation: id جديد مع كل صلاحية جديدة
  64. 64الـ Cookie Flags والـ CSRF: المتصفح بيبعت الـ cookie، فلازم تتأكد مين اللي طلب
  65. 65الـ XSS والـ Content Security Policy: ما تخليش النص يتحوّل لـ code
  66. 66الـ OAuth و OpenID Connect و PKCE: login بـ Google من غير ما تشوف الـ password
  67. 67التأكد من الـ JWT صح: التوقيع والـ claims والـ scopes
  68. 68الـ BOLA و BFLA: الـ token السليم مش معناه إن الطلب مسموح
  69. 69الـ RBAC و ABAC والملكية: policy واحدة بدل ifs متفرقة
  70. 70الـ MFA والـ recovery: التاني factor اللي بجد
  71. 71الـ Passkeys و WebAuthn: login من غير password وضد الـ phishing
  72. 72الـ Threat Modeling بـ STRIDE: فكّر زي المهاجم قبل ما تكتب code
  73. 73الـ SQL Injection والـ Parameterization: الـ data ما تبقاش code
  74. 74الـ SSRF والـ Egress: ما تخليش الـ server بتاعك يزور الشبكة الداخلية
  75. 75الـ Security Headers والـ TLS: كل response يقول للـ browser يحمي المستخدم إزاي
  76. 76توقيع الـ Webhooks والـ Replay: الـ webhook ده جاي فعلًا من Stripe؟
  77. 77تغيير الأسرار والـ HMAC: إزاي تغيّر مفتاح من غير ما كل حاجة تقع
  78. 78سلسلة التوريد والـ SBOM: إنت واثق في ألف package ما تعرفهمش؟
  79. 79الـ Audit والـ Privacy Logs: سجّل مين عمل إيه، من غير ما تسجّل الأسرار
  80. 80اختبار الأمان و OWASP ASVS: الأمن جُوّه الـ CI، مش audit آخر السنة
  81. 81الـ Prototype Pollution والـ Resource DoS: request واحد يخلّي الكل admin أو يوقّع الـ server
  82. 82الـ SLI والـ SLO والـ Error Budget: إمتى تصحّي الـ on-call وإمتى تسيبه نايم
  83. 83الـ Event Loop Delay والـ ELU: لما Node نفسه يتخنق
  84. 84الـ Worker Threads والـ CPU Profiling: الشغل التقيل بره الـ event loop، والوقت راح فين
  85. 85الـ Memory والـ GC والـ Leaks: الـ process اللي بيكبر لحد ما يقع
  86. 86الـ N+1 Queries والـ DataLoader: صفحة واحدة بمِيّتين query
  87. 87الـ HTTP Caching والـ Compression: أسرع request هو اللي ما بيوصلش
  88. 88الـ Load Testing والـ Soak Testing: الـ server بيستحمل قد إيه بجد
  89. 89الـ Concurrency Limits والـ Bulkheads: dependency بطيئة ما توقعش الـ app كله
  90. 90الـ Timeouts والـ Retries والـ Circuit Breakers: إزاي تتعامل مع dependency بطيئة أو واقعة
  91. 91OpenTelemetry والـ Distributed Tracing: الـ request راح فين وضاع وقته فين
  92. 92Docker Layers والـ Build Context: ليه الـ build بياخد دقيقة وفيه الـ .env بتاعك
  93. 93Multi-stage Builds و Non-root: image صغيرة ومن غير root
  94. 94Docker Compose والـ Networks: الـ services بتلاقي بعض إزاي
  95. 95Docker Volumes: الـ data بتتحفَظ فين
  96. 96Healthcheck و Restart و Resource Limits: running مش معناها شغّال
  97. 97BuildKit والـ Build Secrets: الـ token ما يدخلش الـ image
  98. 98Reverse Proxy و TLS: اللي واقف قدام الـ app
  99. 99Multi-arch Images والـ Native Modules: اشتغلت عندي
  100. 100CI/CD و Rollback و Canary: الـ deploy يبقى ممل
  101. 101Kubernetes من الأول: Pods و Deployments و Services و Probes
  102. 102Modular Monolith و DDD: حدود واضحة من غير network
  103. 103Transactional Outbox و Inbox: الـ event ما يضيعش وما يتنفذش مرتين
  104. 104Sagas: عملية واحدة على تلات services من غير transaction واحدة
  105. 105CQRS و Event Sourcing: الـ events هي الحقيقة
  106. 106الـ Queues والـ Brokers: BullMQ و RabbitMQ و Kafka و SQS
  107. 107Realtime على أكتر من instance: Redis pub/sub و presence و resume
  108. 108الـ Object Storage والـ Media: presigned URLs و uploads مباشرة
  109. 109التكامل مع الـ Email والـ Search: retries و webhooks و indexes
  110. 110GraphQL و gRPC في الإنتاج: contracts و DataLoader و limits و deadlines
  111. 111Kafka على أكتر من zone و region: الـ replication والـ ISR والـ acks والـ MirrorMaker والـ failover
  112. 112TypeScript و runtime boundaries: الـ types بتختفي، والـ schemas لأ
  113. 113ORM ولا SQL: query builders و repositories و migrations و transactions
  114. 114الـ Serverless من جُوّه: cold starts و freeze و timeouts و connections
  115. 115الـ Testing Pyramid: unit و integration و e2e على Postgres حقيقية
  116. 116Contract Testing و Property-Based Testing بـ fast-check
  117. 117الـ Payments: idempotency و webhooks و refunds و reconciliation
  118. 118الـ Timezones والـ Internationalization: UTC و DST والـ locales والـ plurals والفلوس
  119. 119الـ Privacy والـ Data Retention: consent و export و erasure و crypto shredding
  120. 120الـ ADRs والـ Feature Flags: القرارات المكتوبة والـ rollout من غير deploy
  121. 121Multi-region active-active: حل الـ conflicts بـ HLC و CRDTs
  122. 122Readiness و Liveness و Startup Probes: الـ pod جاهز ولا عايش؟
  123. 123Incident Runbooks: من الـ alert للـ postmortem