Redis لما يقع: الـ persistence (RDB و AOF) والـ replication
Redis في الـ memory، فلو اتقفل بالعافية من غير persistence كل حاجة بتضيع. RDB: snapshots، وبتضيّع اللي بعد آخر snapshot. AOF مع appendfsync everysec: كل أمر بيتكتب، وبتضيّع تانية بالكتير. الاتنين مع بعض. الـ replication بـ replicaof، والـ replica للقراية، وإنها async، و WAIT، والـ failover اليدوي و Sentinel. و maxmemory-policy للـ cache مقابل البيانات المهمة.
نص شرح المعلم والكود الذي كتبه ونتيجة تشغيله، بنفس ترتيب الدرس.
أهلًا بيك. Redis بيشيل كل حاجة في الـ memory، يعني لو الـ process مات، أو الـ server عمل restart، الـ memory اتمسحت. لو Redis cache بس، مش مشكلة كبيرة. بس لو فيه sessions أو queues، دي مصيبة. Redis عنده طريقتين يكتب بيهم على الـ disk: RDB: صورة كاملة كل فترة. AOF: كل أمر كتابة بيتكتب في ملف، Append Only File. الـ script ده بيشغّل تلات servers: من غير persistence، و RDB، و AOF بـ everysec. بيملاهم، وبيعمل snapshot للـ RDB، وبيكتب خمسين key كمان بعده، وبعدين بيموّت التلاتة بـ kill dash nine، يعني من غير ما يلحقوا يحفَظوا، وبيشغّلهم تاني. نشغّل.
#!/bin/bash
# 3 servers تجريبية: من غير persistence، و RDB، و AOF. ونموّتهم بالعافية (kill -9)
set -e
rm -rf lab && mkdir -p lab/none lab/rdb lab/aof
start() { redis-server --port $1 --dir lab/$2 --daemonize yes --pidfile "$PWD/lab/$2.pid" --logfile "$PWD/lab/$2.log" ${@:3}; sleep 0.3; }
crash() { kill -9 $(cat lab/$1.pid); sleep 0.3; }
fill() { for i in $(seq 1 100); do echo "SET key:$i $i"; done | redis-cli -p $1 > /dev/null; }
start 6381 none --save "" --appendonly no
start 6382 rdb --save "" --appendonly no
start 6383 aof --save "" --appendonly yes --appendfsync everysec
fill 6381; fill 6382; fill 6383
redis-cli -p 6382 SAVE > /dev/null # snapshot يدوي (RDB)
for i in $(seq 101 150); do redis-cli -p 6382 SET key:$i $i > /dev/null; done # بعد الـ snapshot
for i in $(seq 101 150); do redis-cli -p 6383 SET key:$i $i > /dev/null; done
sleep 1.2 # everysec: نستنى الـ fsync
crash none; crash rdb; crash aof
start 6381 none --save "" --appendonly no
start 6382 rdb --save "" --appendonly no
start 6383 aof --save "" --appendonly yes
echo "من غير persistence: $(redis-cli -p 6381 DBSIZE) key"
echo "RDB: $(redis-cli -p 6382 DBSIZE) key (اللي بعد آخر snapshot ضاع)"
echo "AOF everysec: $(redis-cli -p 6383 DBSIZE) key"
for p in 6381 6382 6383; do redis-cli -p $p SHUTDOWN NOSAVE > /dev/null 2>&1 || true; doneالمخرجات
$ bash crash.sh من غير persistence: 0 key RDB: 100 key (اللي بعد آخر snapshot ضاع) AOF everysec: 150 key
من غير persistence: zero، كل حاجة راحت. RDB: مِيّة، يعني الخمسين اللي اتكتبوا بعد آخر snapshot ضاعوا. AOF: مِيّة وخمسين، كله موجود. الـ everysec معناها: Redis بيعمل fsync للملف كل تانية، فأقصى حاجة ممكن تضيع: آخر تانية. ولو عايز صفر، appendfsync always، بس كل كتابة هتستنى الـ disk، فـ Redis هيبطأ جدًّا. الـ replication: Redis تاني بياخد نسخة من كل حاجة، وبيتابع التغييرات أول بأول. replicaof localhost والـ port بتاع الـ primary. ونستنى لحد ما الـ link يبقى up، يعني الـ replica خلّصت أول نسخة كاملة. الـ replica للقراية بس. INFO replication بيقول الـ role وعدد الـ replicas. و WAIT: بعد كتابة مهمة، استنى لحد ما replica واحدة على الأقل تأكّد إنها وصلتها، أو timeout. وفي الآخر: الـ primary مات، فنعمل failover يدوي: REPLICAOF NO ONE، يعني بقيت primary.
نشغّل.
#!/bin/bash
# primary على 6391، و replica على 6392
set -e
rm -rf lab && mkdir -p lab/p lab/r
redis-server --port 6391 --dir lab/p --save "" --daemonize yes --logfile "$PWD/lab/p.log"
redis-server --port 6392 --dir lab/r --save "" --daemonize yes --logfile "$PWD/lab/r.log" --replicaof localhost 6391
# استنى لحد ما الـ replica تخلّص أول نسخة كاملة (full sync)
until redis-cli -p 6392 INFO replication | grep -q "master_link_status:up"; do sleep 0.1; done
redis-cli -p 6391 SET user:7 mona > /dev/null
sleep 0.2
echo "الـ replica شايفة: $(redis-cli -p 6392 GET user:7)"
echo "كتابة على الـ replica: $(redis-cli -p 6392 SET x 1 2>&1)"
redis-cli -p 6391 INFO replication | grep -E "^(role|connected_slaves)"
# WAIT: استنى لحد ما N replicas يأكّدوا (أو timeout)
redis-cli -p 6391 SET order:9 paid > /dev/null
echo "WAIT 1 replica: $(redis-cli -p 6391 WAIT 1 500)"
# failover يدوي: الـ primary مات، رقّي الـ replica
redis-cli -p 6391 SHUTDOWN NOSAVE > /dev/null 2>&1 || true
redis-cli -p 6392 REPLICAOF NO ONE > /dev/null
echo "بعد الترقية: role=$(redis-cli -p 6392 INFO replication | grep ^role | cut -d: -f2 | tr -d "\r") و order:9=$(redis-cli -p 6392 GET order:9)"
redis-cli -p 6392 SHUTDOWN NOSAVE > /dev/null 2>&1 || trueالمخرجات
$ bash replication.sh الـ replica شايفة: mona كتابة على الـ replica: READONLY You can't write against a read only replica. role:master connected_slaves:1 WAIT 1 replica: 1 بعد الترقية: role=master و order:9=paid
الـ replica شافت mona. الكتابة عليها: READONLY You cannot write against a read only replica. الـ primary: role master و connected slaves واحد. WAIT رجّع واحد: replica واحدة أكّدت. وبعد ما الـ primary مات والترقية: role master، و order تسعة موجود. في الإنتاج، Redis Sentinel بيراقب ويعمل الترقية دي لوحده، والـ clients زي ioredis بتسأل الـ Sentinel مين الـ primary دلوقتي. أو Redis Cluster، وده الدرس الجاي. وخد بالك: الـ replication async، يعني لو الـ primary مات قبل ما يبعت آخر كتابات، ضاعت، حتى مع AOF. و WAIT بتقلل ده، بس مش بتلغيه.
آخر إعداد مهم جدًّا: maxmemory. لما الـ memory تتملى، Redis يعمل إيه؟ ده بيحدده maxmemory-policy: noeviction: يرفض أي كتابة، مناسب للـ queues. allkeys-lru: يشيل الأقل استخدامًا، مناسب للـ cache. volatile-ttl: يشيل من اللي ليهم TTL، الأقرب للموت الأول. وغلطة شائعة: Redis واحد للـ cache والـ queues بـ allkeys-lru، فيوم ما يتملى، يمسح jobs من الطابور من غير ما حد يحس. الأحسن: Redis للـ cache، و Redis تاني للبيانات المهمة. التحدي: Redis للـ sessions ما يضيّعش حاجة. ملف config فيه AOF everysec، و RDB كـ backup، و maxmemory و policy مناسبة للـ sessions. و script بيكتب خمسمية session، ويموّت Redis بالعافية، ويشغّله تاني، ويعدّ. التفاصيل في الكومنت.
redis-sessions.conf: port 6385، appendonly yes، appendfsync everysec، save 300 10، maxmemory 64mb، volatile-ttl. و crash-test.sh: 500 session، kill -9، restart، DBSIZE = 500.
الحل. الـ config بالسطور الست. و crash-test بيشغّل بالملف، ويكتب الخمسمية، ويستنى الـ fsync، ويموّته، ويشغّله، ويعدّ. نشغّل.
#!/bin/bash
set -e
rm -rf lab && mkdir lab
run() { redis-server redis-sessions.conf --dir lab --daemonize yes --pidfile "$PWD/lab/s.pid" --logfile "$PWD/lab/s.log"; sleep 0.3; }
run
for i in $(seq 1 500); do echo "SET sess:$i data EX 3600"; done | redis-cli -p 6385 > /dev/null
sleep 1.2
kill -9 $(cat lab/s.pid); sleep 0.3
run
echo "DBSIZE: $(redis-cli -p 6385 DBSIZE)"
redis-cli -p 6385 CONFIG GET maxmemory-policy | tr '\n' ' '; echo
redis-cli -p 6385 SHUTDOWN NOSAVE > /dev/null 2>&1 || trueالمخرجات
$ bash crash-test.sh DBSIZE: 500 maxmemory-policy volatile-ttl
خمسمية session بعد الـ crash، والـ policy volatile-ttl. الدرس الجاي: الـ ACLs والـ Redis Cluster والمراقبة.
port 6385
appendonly yes
appendfsync everysec
save 300 10
maxmemory 64mb
maxmemory-policy volatile-ttl03 / دروس المسار (122)
- 01أهلًا بيك: يعني إيه backend، والكورس ده ماشي إزاي
- 02الملفات والفولدرات والـ terminal: تتحرك على جهازك زي المبرمجين
- 03Node وأول برنامج: تشغّل وتقرا رسالة الخطأ
- 04القيم والمتغيرات والأنواع: const و let و typeof
- 05القرارات والتكرار: if و === والـ truthy والـ loops
- 06الـ functions: parameters و return والـ arrow functions والـ scope
- 07الـ objects والـ arrays: destructuring و spread و map و filter و reduce
- 08JSON والنصوص والتواريخ: اللغة اللي الـ backend بيتكلم بيها
- 09الـ callbacks والـ closures وأول لمسة async: setTimeout
- 10الـ classes والـ errors: throw و try/catch و stack trace
- 11git: تحفَظ كل خطوة وترجعلها، وما تسرّبش أسرارك
- 12ESM و CommonJS و package exports: Node بيلاقي الـ modules إزاي
- 13الـ Promises و async/await: sequential و parallel والأخطاء والإلغاء
- 14الـ event loop والـ microtasks: Node بيعمل كل حاجة بـ thread واحد إزاي
- 15الـ Streams والـ Backpressure: ملفات أكبر من الـ memory
- 16الـ File System والـ paths: قراية وكتابة صح، ومن غير path traversal
- 17الـ Buffers والبيانات الـ binary: الـ bytes من جُوّه
- 18Crypto APIs والأسرار: random و hash و HMAC و AES-GCM
- 19الـ Worker Threads: شغل CPU تقيل من غير ما توقف الـ server
- 20الـ Errors على مستوى الـ process: operational و programmer و crash-only
- 21الـ Node test runner والـ debugging: tests من غير مكتبات
- 22HTTP من جُوّه: الـ methods والـ status codes والـ headers
- 23Express والـ Routing: الـ params والـ query والترتيب والـ Router
- 24Express 5: إيه اللي اتغيّر، وإزاي تنقل مشروع قديم
- 25الـ Middleware ودورة حياة الـ request جُوّه Express
- 26Validation للمدخلات بـ Zod: ما تصدّقش أي حاجة جاية من برة
- 27تصنيف الأخطاء و Problem Details: شكل واحد لكل الـ errors
- 28الـ CORS والـ Cookies: المتصفح بيحمي المستخدم إزاي
- 29رفع الملفات وحدود الحجم: multer من غير ثغرات
- 30الـ Realtime: Server-Sent Events و WebSockets
- 31OpenAPI والـ API Versioning: عقد مكتوب، وتغيير من غير ما تكسر حد
- 32PostgreSQL: الـ DDL وأنواع البيانات الصح لكل عمود
- 33الـ Constraints: PK و FK و UNIQUE و CHECK — الـ database بتحمي نفسها
- 34الـ Normalization والـ ERD: تقسّم البيانات صح من أول يوم
- 35الـ JOINs والتجميع: INNER و LEFT و GROUP BY و HAVING و window functions
- 36JSONB في PostgreSQL: إمتى تستخدمه، وإزاي تسأله وتعمله index
- 37الـ Indexes من جُوّه: B-tree و GIN و BRIN
- 38Partial و Covering indexes: indexes أصغر وأسرع
- 39الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكرر
- 40Full Text Search في Postgres: بحث بالكلمات، بالعربي والإنجليزي
- 41EXPLAIN ANALYZE والـ Planner: اقرا الـ plan وصلّح الـ query
- 42الـ Transactions بـ node-postgres: كله أو ولا حاجة
- 43الـ MVCC ومستويات الـ Isolation: transactions كتير في نفس الوقت
- 44الـ Locks والـ Deadlocks: مين مستني مين
- 45SKIP LOCKED و Job Leasing: Postgres كـ job queue
- 46Row Level Security والـ Multi-tenancy: كل عميل يشوف بياناته بس
- 47Migrations من غير downtime: expand و backfill و contract
- 48الـ Replication والـ Read Replicas: نسخ حية من الـ database
- 49الـ Connection Pooling و PgBouncer: connections أقل، requests أكتر
- 50الـ Partitioning والـ VACUUM والمراقبة: Postgres على المدى الطويل
- 51Redis وأنواع البيانات: strings و hashes و lists و sets و sorted sets
- 52Cache-aside والـ TTL: Redis قدام الـ database
- 53الـ Cache invalidation والـ Stampede: لما الـ key الشهير يموت
- 54Lua والـ Atomicity في Redis: كام أمر كأنهم أمر واحد
- 55الـ Rate Limiting في Redis: fixed window و sliding window و token bucket
- 56الـ Sessions في Redis: تسجيل دخول تقدر تلغيه في أي وقت
- 57Redis Streams والـ Consumer Groups: log بيتوزع على workers
- 58Pub/Sub و BullMQ: إشارات بين الـ instances، وطوابير شغل محترمة
- 59Redis لما يقع: الـ persistence (RDB و AOF) والـ replicationانت هنا
- 60Redis في الإنتاج: الـ ACLs والـ Cluster والمراقبة
- 61تخزين الـ Passwords بـ Argon2id: صح من أول مرة
- 62Session Fixation والـ Rotation: id جديد مع كل صلاحية جديدة
- 63الـ Cookie Flags والـ CSRF: المتصفح بيبعت الـ cookie، فلازم تتأكد مين اللي طلب
- 64الـ XSS والـ Content Security Policy: ما تخليش النص يتحوّل لـ code
- 65الـ OAuth و OpenID Connect و PKCE: login بـ Google من غير ما تشوف الـ password
- 66التأكد من الـ JWT صح: التوقيع والـ claims والـ scopes
- 67الـ BOLA و BFLA: الـ token السليم مش معناه إن الطلب مسموح
- 68الـ RBAC و ABAC والملكية: policy واحدة بدل ifs متفرقة
- 69الـ MFA والـ recovery: التاني factor اللي بجد
- 70الـ Passkeys و WebAuthn: login من غير password وضد الـ phishing
- 71الـ Threat Modeling بـ STRIDE: فكّر زي المهاجم قبل ما تكتب code
- 72الـ SQL Injection والـ Parameterization: الـ data ما تبقاش code
- 73الـ SSRF والـ Egress: ما تخليش الـ server بتاعك يزور الشبكة الداخلية
- 74الـ Security Headers والـ TLS: كل response يقول للـ browser يحمي المستخدم إزاي
- 75توقيع الـ Webhooks والـ Replay: الـ webhook ده جاي فعلًا من Stripe؟
- 76تغيير الأسرار والـ HMAC: إزاي تغيّر مفتاح من غير ما كل حاجة تقع
- 77سلسلة التوريد والـ SBOM: إنت واثق في ألف package ما تعرفهمش؟
- 78الـ Audit والـ Privacy Logs: سجّل مين عمل إيه، من غير ما تسجّل الأسرار
- 79اختبار الأمان و OWASP ASVS: الأمن جُوّه الـ CI، مش audit آخر السنة
- 80الـ Prototype Pollution والـ Resource DoS: request واحد يخلّي الكل admin أو يوقّع الـ server
- 81الـ SLI والـ SLO والـ Error Budget: إمتى تصحّي الـ on-call وإمتى تسيبه نايم
- 82الـ Event Loop Delay والـ ELU: لما Node نفسه يتخنق
- 83الـ Worker Threads والـ CPU Profiling: الشغل التقيل بره الـ event loop، والوقت راح فين
- 84الـ Memory والـ GC والـ Leaks: الـ process اللي بيكبر لحد ما يقع
- 85الـ N+1 Queries والـ DataLoader: صفحة واحدة بمِيّتين query
- 86الـ HTTP Caching والـ Compression: أسرع request هو اللي ما بيوصلش
- 87الـ Load Testing والـ Soak Testing: الـ server بيستحمل قد إيه بجد
- 88الـ Concurrency Limits والـ Bulkheads: dependency بطيئة ما توقعش الـ app كله
- 89الـ Timeouts والـ Retries والـ Circuit Breakers: إزاي تتعامل مع dependency بطيئة أو واقعة
- 90OpenTelemetry والـ Distributed Tracing: الـ request راح فين وضاع وقته فين
- 91Docker Layers والـ Build Context: ليه الـ build بياخد دقيقة وفيه الـ .env بتاعك
- 92Multi-stage Builds و Non-root: image صغيرة ومن غير root
- 93Docker Compose والـ Networks: الـ services بتلاقي بعض إزاي
- 94Docker Volumes: الـ data بتتحفَظ فين
- 95Healthcheck و Restart و Resource Limits: running مش معناها شغّال
- 96BuildKit والـ Build Secrets: الـ token ما يدخلش الـ image
- 97Reverse Proxy و TLS: اللي واقف قدام الـ app
- 98Multi-arch Images والـ Native Modules: اشتغلت عندي
- 99CI/CD و Rollback و Canary: الـ deploy يبقى ممل
- 100Kubernetes من الأول: Pods و Deployments و Services و Probes
- 101Modular Monolith و DDD: حدود واضحة من غير network
- 102Transactional Outbox و Inbox: الـ event ما يضيعش وما يتنفذش مرتين
- 103Sagas: عملية واحدة على تلات services من غير transaction واحدة
- 104CQRS و Event Sourcing: الـ events هي الحقيقة
- 105الـ Queues والـ Brokers: BullMQ و RabbitMQ و Kafka و SQS
- 106Realtime على أكتر من instance: Redis pub/sub و presence و resume
- 107الـ Object Storage والـ Media: presigned URLs و uploads مباشرة
- 108التكامل مع الـ Email والـ Search: retries و webhooks و indexes
- 109GraphQL و gRPC في الإنتاج: contracts و DataLoader و limits و deadlines
- 110Kafka على أكتر من zone و region: الـ replication والـ ISR والـ acks والـ MirrorMaker والـ failover
- 111TypeScript و runtime boundaries: الـ types بتختفي، والـ schemas لأ
- 112ORM ولا SQL: query builders و repositories و migrations و transactions
- 113الـ Serverless من جُوّه: cold starts و freeze و timeouts و connections
- 114الـ Testing Pyramid: unit و integration و e2e على Postgres حقيقية
- 115Contract Testing و Property-Based Testing بـ fast-check
- 116الـ Payments: idempotency و webhooks و refunds و reconciliation
- 117الـ Timezones والـ Internationalization: UTC و DST والـ locales والـ plurals والفلوس
- 118الـ Privacy والـ Data Retention: consent و export و erasure و crypto shredding
- 119الـ ADRs والـ Feature Flags: القرارات المكتوبة والـ rollout من غير deploy
- 120Multi-region active-active: حل الـ conflicts بـ HLC و CRDTs
- 121Readiness و Liveness و Startup Probes: الـ pod جاهز ولا عايش؟
- 122Incident Runbooks: من الـ alert للـ postmortem