الـ MVCC ومستويات الـ Isolation: transactions كتير في نفس الوقت
MVCC: كل UPDATE بيعمل نسخة جديدة من الصف (ctid و xmin)، والقرّاء ما بيستنوش الكتّاب. Read Committed (الـ default) والـ lost update لما تقرا وتحسب في JavaScript وتكتب. الحلول: atomic UPDATE، أو REPEATABLE READ اللي بيرمي 40001. الـ write skew اللي REPEATABLE READ ما بيمسكهوش، و SERIALIZABLE بيمسكه. والـ retry loop لأي 40001.
نص شرح المعلم والكود الذي كتبه ونتيجة تشغيله، بنفس ترتيب الدرس.
أهلًا بيك. الـ database عليها مئات الـ connections في نفس الوقت، كل واحد عامل transaction. إزاي Postgres بيخلي كل واحد يشوف بيانات منطقية، من غير ما يوقّف الباقيين؟ الإجابة: MVCC، يعني Multi Version Concurrency Control. UPDATE مش بيعدّل الصف مكانه، بيعمل نسخة جديدة. والنسخة القديمة بتفضل للـ transactions اللي لسه شايفاها. db dot js بيفتح اتنين connections، زي مستخدمين اتنين. A بيعمل UPDATE جُوّه transaction. وفي نفس الوقت B بيقرا. وبنطبع ctid، مكان الصف على الـ disk، و xmin، رقم الـ transaction اللي عملت النسخة دي. نشغّل.
import { twoClients, one } from "./db.js";
const [a, b] = await twoClients();
await a.query("DROP TABLE IF EXISTS counters; CREATE TABLE counters (id int PRIMARY KEY, n int); INSERT INTO counters VALUES (1, 0);");
// كل UPDATE بيعمل نسخة جديدة من الصف (ctid مختلف)، والقديمة بتفضل لحد ما VACUUM يشيلها
console.log("قبل:", await one(a, "SELECT ctid, xmin, n FROM counters"));
await a.query("BEGIN");
await a.query("UPDATE counters SET n = n + 1 WHERE id = 1");
console.log("A شايف:", await one(a, "SELECT ctid, n FROM counters"));
console.log("B شايف:", await one(b, "SELECT ctid, n FROM counters"), "← القديم، ومن غير ما يستنى");
await a.query("COMMIT");
console.log("B بعد COMMIT:", await one(b, "SELECT ctid, n FROM counters"));
await a.end();
await b.end();المخرجات
$ node main.js
قبل: { ctid: '(0,1)', xmin: '733', n: 0 }
A شايف: { ctid: '(0,2)', n: 1 }
B شايف: { ctid: '(0,1)', n: 0 } ← القديم، ومن غير ما يستنى
B بعد COMMIT: { ctid: '(0,2)', n: 1 }قبل: النسخة في مكان zero comma one. A بعد الـ UPDATE شايف n بواحد، والـ ctid اتغيّر لـ zero comma two، يعني نسخة جديدة. B في نفس الوقت شايف النسخة القديمة zero، ومن غير ما يستنى A يخلص. وبعد الـ COMMIT، B شاف الجديدة. النسخ القديمة دي بتتراكم، و VACUUM هو اللي بينضّفها، وده ليه درس. دلوقتي أشهر bug في الـ concurrency: الـ lost update. stock فيه عشر قطع، واتنين بيشتروا في نفس الوقت. كل واحد يقرا الكمية. يحسب في JavaScript: الكمية ناقص واحد. ويكتب الرقم. وبعدها حلين: atomic update: qty equals qty minus one، والحساب جُوّه Postgres. و REPEATABLE READ. نشغّل.
import { twoClients, one } from "./db.js";
const [a, b] = await twoClients();
await a.query("DROP TABLE IF EXISTS stock; CREATE TABLE stock (id int PRIMARY KEY, qty int); INSERT INTO stock VALUES (1, 10);");
// اتنين بيشتروا في نفس الوقت: اقرا، احسب في JavaScript، اكتب
async function buyStep1(c) {
await c.query("BEGIN");
return (await one(c, "SELECT qty FROM stock WHERE id = 1")).qty;
}
async function buyStep2(c, qty) {
await c.query("UPDATE stock SET qty = $1 WHERE id = 1", [qty - 1]);
await c.query("COMMIT");
}
const qa = await buyStep1(a);
const qb = await buyStep1(b);
await buyStep2(a, qa);
await buyStep2(b, qb);
console.log("Read Committed + اقرا/اكتب:", await one(a, "SELECT qty FROM stock"), "← اتباع اتنين، والمخزن نقص واحد بس");
// الحل 1: خلي Postgres يحسب (atomic update)
await a.query("UPDATE stock SET qty = 10");
await Promise.all([
a.query("UPDATE stock SET qty = qty - 1 WHERE id = 1"),
b.query("UPDATE stock SET qty = qty - 1 WHERE id = 1"),
]);
console.log("atomic update:", await one(a, "SELECT qty FROM stock"));
// الحل 2: REPEATABLE READ بيكشف التعارض
await a.query("UPDATE stock SET qty = 10");
await a.query("BEGIN ISOLATION LEVEL REPEATABLE READ");
await b.query("BEGIN ISOLATION LEVEL REPEATABLE READ");
const ra = (await one(a, "SELECT qty FROM stock")).qty;
const rb = (await one(b, "SELECT qty FROM stock")).qty;
await a.query("UPDATE stock SET qty = $1", [ra - 1]);
await a.query("COMMIT");
try {
await b.query("UPDATE stock SET qty = $1", [rb - 1]);
} catch (err) {
console.log("B:", err.code, err.message);
await b.query("ROLLBACK");
}
await a.end();
await b.end();المخرجات
$ node main.js
Read Committed + اقرا/اكتب: { qty: 9 } ← اتباع اتنين، والمخزن نقص واحد بس
atomic update: { qty: 8 }
B: 40001 could not serialize access due to concurrent updateالطريقة الأولى: الكمية بقت تسعة، مع إننا بعنا اتنين! الاتنين قروا عشرة، والاتنين كتبوا تسعة. الـ atomic update: تمانية، صح، لأن تاني UPDATE استنى الأول، وقرا القيمة الجديدة. و REPEATABLE READ: B اترفض بـ code أربعين ألف وواحد: could not serialize access due to concurrent update. يعني Postgres كشف إن حد عدّل الصف بعد ما B قراه. Read Committed، وده الـ default، ما بيكشفش ده. فأي read وبعدها compute وبعدها write لازم يبقى atomic، أو بـ SELECT FOR UPDATE، أو بـ isolation أعلى. نوع أوحش: الـ write skew. مستشفى، والقاعدة: دكتور واحد على الأقل on call. مُنى وعمر الاتنين عايزين يمشوا في نفس الوقت. كل واحد بيعدّ: فيه اتنين، تمام، أقدر أمشي. وكل واحد بيعدّل صف مختلف. هنجرّب بـ REPEATABLE READ، وبـ SERIALIZABLE.
نشغّل.
import { twoClients, one } from "./db.js";
const [a, b] = await twoClients();
await a.query(`DROP TABLE IF EXISTS doctors;
CREATE TABLE doctors (name text PRIMARY KEY, on_call boolean);
INSERT INTO doctors VALUES ('مُنى', true), ('عمر', true);`);
// القاعدة: لازم دكتور واحد على الأقل on call
async function leave(c, name, level) {
await c.query(`BEGIN ISOLATION LEVEL ${level}`);
const { n } = await one(c, "SELECT count(*)::int AS n FROM doctors WHERE on_call");
return async () => {
if (n >= 2) await c.query("UPDATE doctors SET on_call = false WHERE name = $1", [name]);
await c.query("COMMIT");
};
}
for (const level of ["REPEATABLE READ", "SERIALIZABLE"]) {
await a.query("UPDATE doctors SET on_call = true");
const finishA = await leave(a, "مُنى", level);
const finishB = await leave(b, "عمر", level);
await finishA();
try {
await finishB();
} catch (err) {
console.log(`${level}: B وقع ${err.code}`);
await b.query("ROLLBACK");
}
const { n } = await one(a, "SELECT count(*)::int AS n FROM doctors WHERE on_call");
console.log(`${level}: on call = ${n}`);
}
await a.end();
await b.end();المخرجات
$ node main.js REPEATABLE READ: on call = 0 SERIALIZABLE: B وقع 40001 SERIALIZABLE: on call = 1
REPEATABLE READ: on call بقى zero! القاعدة اتكسرت، ومفيش error، لأن كل واحد عدّل صف مختلف، فمفيش تعارض على نفس الصف. SERIALIZABLE: B وقع بأربعين ألف وواحد، والـ on call فضل واحد. SERIALIZABLE بيضمن إن النتيجة كأن الـ transactions اشتغلت واحدة ورا التانية. التمن: أي transaction ممكن تقع بـ أربعين ألف وواحد، فلازم الـ app يعيد المحاولة. التحدي: آخر كرسي في الكورس. كورس live فيه تلاتين كرسي، اتحجز منهم تسعة وعشرين، واتنين بيحجزوا مع بعض. withSerializable: بتشغّل الـ function في SERIALIZABLE، ولو وقعت بأربعين ألف وواحد تعمل ROLLBACK وتعيد. والحجز: لو كامل ارمي، غير كده زوّد واحد. والمطلوب: واحد بس ياخد الكرسي. التفاصيل في الكومنت.
withSerializable(client, fn, tries): BEGIN ISOLATION LEVEL SERIALIZABLE، و retry على 40001 بس، والحجز يرمي "الكورس كامل". واحد بس ينجح و taken = 30.
الحل. loop للمحاولات: BEGIN SERIALIZABLE، و fn، و COMMIT. في الـ catch: ROLLBACK دايمًا، ولو مش أربعين ألف وواحد، أو آخر محاولة، نرمي. والحجز بيقرا، ولو كامل يرمي، وفيه وقت استنى صغير علشان الاتنين يتداخلوا فعلًا. نشغّل.
import { twoClients, one } from "./db.js";
const [a, b] = await twoClients();
await a.query(`DROP TABLE IF EXISTS seats;
CREATE TABLE seats (course text PRIMARY KEY, taken int NOT NULL, capacity int NOT NULL);
INSERT INTO seats VALUES ('node-live', 29, 30);`);
async function withSerializable(c, fn, tries = 3) {
for (let i = 1; i <= tries; i++) {
try {
await c.query("BEGIN ISOLATION LEVEL SERIALIZABLE");
const result = await fn(c);
await c.query("COMMIT");
return result;
} catch (err) {
await c.query("ROLLBACK");
if (err.code !== "40001" || i === tries) throw err;
console.log(`retry ${i} بعد ${err.code}`);
}
}
}
async function book(c) {
const { taken, capacity } = await one(c, "SELECT taken, capacity FROM seats WHERE course = 'node-live'");
if (taken >= capacity) throw new Error("الكورس كامل");
await new Promise((r) => setTimeout(r, 50)); // وقت تفكير، علشان الاتنين يتداخلوا
await c.query("UPDATE seats SET taken = $1 WHERE course = 'node-live'", [taken + 1]);
return "حجزت";
}
const results = await Promise.allSettled([withSerializable(a, book), withSerializable(b, book)]);
for (const r of results) console.log(r.status, r.value ?? r.reason.message);
console.log("taken =", (await one(a, "SELECT taken FROM seats")).taken);
await a.end();
await b.end();المخرجات
$ node main.js retry 1 بعد 40001 fulfilled حجزت rejected الكورس كامل taken = 30
واحد عمل retry بعد أربعين ألف وواحد. وفي المحاولة التانية قرا الكرسي محجوز، فرمى الكورس كامل. والتاني حجز. و taken تلاتين بالزبط. الدرس الجاي: الـ locks والـ deadlocks: مين بيستنى مين، وإزاي تكتشف وتمنع.
03 / دروس المسار (122)
- 01أهلًا بيك: يعني إيه backend، والكورس ده ماشي إزاي
- 02الملفات والفولدرات والـ terminal: تتحرك على جهازك زي المبرمجين
- 03Node وأول برنامج: تشغّل وتقرا رسالة الخطأ
- 04القيم والمتغيرات والأنواع: const و let و typeof
- 05القرارات والتكرار: if و === والـ truthy والـ loops
- 06الـ functions: parameters و return والـ arrow functions والـ scope
- 07الـ objects والـ arrays: destructuring و spread و map و filter و reduce
- 08JSON والنصوص والتواريخ: اللغة اللي الـ backend بيتكلم بيها
- 09الـ callbacks والـ closures وأول لمسة async: setTimeout
- 10الـ classes والـ errors: throw و try/catch و stack trace
- 11git: تحفَظ كل خطوة وترجعلها، وما تسرّبش أسرارك
- 12ESM و CommonJS و package exports: Node بيلاقي الـ modules إزاي
- 13الـ Promises و async/await: sequential و parallel والأخطاء والإلغاء
- 14الـ event loop والـ microtasks: Node بيعمل كل حاجة بـ thread واحد إزاي
- 15الـ Streams والـ Backpressure: ملفات أكبر من الـ memory
- 16الـ File System والـ paths: قراية وكتابة صح، ومن غير path traversal
- 17الـ Buffers والبيانات الـ binary: الـ bytes من جُوّه
- 18Crypto APIs والأسرار: random و hash و HMAC و AES-GCM
- 19الـ Worker Threads: شغل CPU تقيل من غير ما توقف الـ server
- 20الـ Errors على مستوى الـ process: operational و programmer و crash-only
- 21الـ Node test runner والـ debugging: tests من غير مكتبات
- 22HTTP من جُوّه: الـ methods والـ status codes والـ headers
- 23Express والـ Routing: الـ params والـ query والترتيب والـ Router
- 24Express 5: إيه اللي اتغيّر، وإزاي تنقل مشروع قديم
- 25الـ Middleware ودورة حياة الـ request جُوّه Express
- 26Validation للمدخلات بـ Zod: ما تصدّقش أي حاجة جاية من برة
- 27تصنيف الأخطاء و Problem Details: شكل واحد لكل الـ errors
- 28الـ CORS والـ Cookies: المتصفح بيحمي المستخدم إزاي
- 29رفع الملفات وحدود الحجم: multer من غير ثغرات
- 30الـ Realtime: Server-Sent Events و WebSockets
- 31OpenAPI والـ API Versioning: عقد مكتوب، وتغيير من غير ما تكسر حد
- 32PostgreSQL: الـ DDL وأنواع البيانات الصح لكل عمود
- 33الـ Constraints: PK و FK و UNIQUE و CHECK — الـ database بتحمي نفسها
- 34الـ Normalization والـ ERD: تقسّم البيانات صح من أول يوم
- 35الـ JOINs والتجميع: INNER و LEFT و GROUP BY و HAVING و window functions
- 36JSONB في PostgreSQL: إمتى تستخدمه، وإزاي تسأله وتعمله index
- 37الـ Indexes من جُوّه: B-tree و GIN و BRIN
- 38Partial و Covering indexes: indexes أصغر وأسرع
- 39الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكرر
- 40Full Text Search في Postgres: بحث بالكلمات، بالعربي والإنجليزي
- 41EXPLAIN ANALYZE والـ Planner: اقرا الـ plan وصلّح الـ query
- 42الـ Transactions بـ node-postgres: كله أو ولا حاجة
- 43الـ MVCC ومستويات الـ Isolation: transactions كتير في نفس الوقتانت هنا
- 44الـ Locks والـ Deadlocks: مين مستني مين
- 45SKIP LOCKED و Job Leasing: Postgres كـ job queue
- 46Row Level Security والـ Multi-tenancy: كل عميل يشوف بياناته بس
- 47Migrations من غير downtime: expand و backfill و contract
- 48الـ Replication والـ Read Replicas: نسخ حية من الـ database
- 49الـ Connection Pooling و PgBouncer: connections أقل، requests أكتر
- 50الـ Partitioning والـ VACUUM والمراقبة: Postgres على المدى الطويل
- 51Redis وأنواع البيانات: strings و hashes و lists و sets و sorted sets
- 52Cache-aside والـ TTL: Redis قدام الـ database
- 53الـ Cache invalidation والـ Stampede: لما الـ key الشهير يموت
- 54Lua والـ Atomicity في Redis: كام أمر كأنهم أمر واحد
- 55الـ Rate Limiting في Redis: fixed window و sliding window و token bucket
- 56الـ Sessions في Redis: تسجيل دخول تقدر تلغيه في أي وقت
- 57Redis Streams والـ Consumer Groups: log بيتوزع على workers
- 58Pub/Sub و BullMQ: إشارات بين الـ instances، وطوابير شغل محترمة
- 59Redis لما يقع: الـ persistence (RDB و AOF) والـ replication
- 60Redis في الإنتاج: الـ ACLs والـ Cluster والمراقبة
- 61تخزين الـ Passwords بـ Argon2id: صح من أول مرة
- 62Session Fixation والـ Rotation: id جديد مع كل صلاحية جديدة
- 63الـ Cookie Flags والـ CSRF: المتصفح بيبعت الـ cookie، فلازم تتأكد مين اللي طلب
- 64الـ XSS والـ Content Security Policy: ما تخليش النص يتحوّل لـ code
- 65الـ OAuth و OpenID Connect و PKCE: login بـ Google من غير ما تشوف الـ password
- 66التأكد من الـ JWT صح: التوقيع والـ claims والـ scopes
- 67الـ BOLA و BFLA: الـ token السليم مش معناه إن الطلب مسموح
- 68الـ RBAC و ABAC والملكية: policy واحدة بدل ifs متفرقة
- 69الـ MFA والـ recovery: التاني factor اللي بجد
- 70الـ Passkeys و WebAuthn: login من غير password وضد الـ phishing
- 71الـ Threat Modeling بـ STRIDE: فكّر زي المهاجم قبل ما تكتب code
- 72الـ SQL Injection والـ Parameterization: الـ data ما تبقاش code
- 73الـ SSRF والـ Egress: ما تخليش الـ server بتاعك يزور الشبكة الداخلية
- 74الـ Security Headers والـ TLS: كل response يقول للـ browser يحمي المستخدم إزاي
- 75توقيع الـ Webhooks والـ Replay: الـ webhook ده جاي فعلًا من Stripe؟
- 76تغيير الأسرار والـ HMAC: إزاي تغيّر مفتاح من غير ما كل حاجة تقع
- 77سلسلة التوريد والـ SBOM: إنت واثق في ألف package ما تعرفهمش؟
- 78الـ Audit والـ Privacy Logs: سجّل مين عمل إيه، من غير ما تسجّل الأسرار
- 79اختبار الأمان و OWASP ASVS: الأمن جُوّه الـ CI، مش audit آخر السنة
- 80الـ Prototype Pollution والـ Resource DoS: request واحد يخلّي الكل admin أو يوقّع الـ server
- 81الـ SLI والـ SLO والـ Error Budget: إمتى تصحّي الـ on-call وإمتى تسيبه نايم
- 82الـ Event Loop Delay والـ ELU: لما Node نفسه يتخنق
- 83الـ Worker Threads والـ CPU Profiling: الشغل التقيل بره الـ event loop، والوقت راح فين
- 84الـ Memory والـ GC والـ Leaks: الـ process اللي بيكبر لحد ما يقع
- 85الـ N+1 Queries والـ DataLoader: صفحة واحدة بمِيّتين query
- 86الـ HTTP Caching والـ Compression: أسرع request هو اللي ما بيوصلش
- 87الـ Load Testing والـ Soak Testing: الـ server بيستحمل قد إيه بجد
- 88الـ Concurrency Limits والـ Bulkheads: dependency بطيئة ما توقعش الـ app كله
- 89الـ Timeouts والـ Retries والـ Circuit Breakers: إزاي تتعامل مع dependency بطيئة أو واقعة
- 90OpenTelemetry والـ Distributed Tracing: الـ request راح فين وضاع وقته فين
- 91Docker Layers والـ Build Context: ليه الـ build بياخد دقيقة وفيه الـ .env بتاعك
- 92Multi-stage Builds و Non-root: image صغيرة ومن غير root
- 93Docker Compose والـ Networks: الـ services بتلاقي بعض إزاي
- 94Docker Volumes: الـ data بتتحفَظ فين
- 95Healthcheck و Restart و Resource Limits: running مش معناها شغّال
- 96BuildKit والـ Build Secrets: الـ token ما يدخلش الـ image
- 97Reverse Proxy و TLS: اللي واقف قدام الـ app
- 98Multi-arch Images والـ Native Modules: اشتغلت عندي
- 99CI/CD و Rollback و Canary: الـ deploy يبقى ممل
- 100Kubernetes من الأول: Pods و Deployments و Services و Probes
- 101Modular Monolith و DDD: حدود واضحة من غير network
- 102Transactional Outbox و Inbox: الـ event ما يضيعش وما يتنفذش مرتين
- 103Sagas: عملية واحدة على تلات services من غير transaction واحدة
- 104CQRS و Event Sourcing: الـ events هي الحقيقة
- 105الـ Queues والـ Brokers: BullMQ و RabbitMQ و Kafka و SQS
- 106Realtime على أكتر من instance: Redis pub/sub و presence و resume
- 107الـ Object Storage والـ Media: presigned URLs و uploads مباشرة
- 108التكامل مع الـ Email والـ Search: retries و webhooks و indexes
- 109GraphQL و gRPC في الإنتاج: contracts و DataLoader و limits و deadlines
- 110Kafka على أكتر من zone و region: الـ replication والـ ISR والـ acks والـ MirrorMaker والـ failover
- 111TypeScript و runtime boundaries: الـ types بتختفي، والـ schemas لأ
- 112ORM ولا SQL: query builders و repositories و migrations و transactions
- 113الـ Serverless من جُوّه: cold starts و freeze و timeouts و connections
- 114الـ Testing Pyramid: unit و integration و e2e على Postgres حقيقية
- 115Contract Testing و Property-Based Testing بـ fast-check
- 116الـ Payments: idempotency و webhooks و refunds و reconciliation
- 117الـ Timezones والـ Internationalization: UTC و DST والـ locales والـ plurals والفلوس
- 118الـ Privacy والـ Data Retention: consent و export و erasure و crypto shredding
- 119الـ ADRs والـ Feature Flags: القرارات المكتوبة والـ rollout من غير deploy
- 120Multi-region active-active: حل الـ conflicts بـ HLC و CRDTs
- 121Readiness و Liveness و Startup Probes: الـ pod جاهز ولا عايش؟
- 122Incident Runbooks: من الـ alert للـ postmortem