الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكرر

جارٍ التحميل…

01 / ملخص الدرس

الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكرر

مشكلتين في OFFSET: الصفحات البعيدة بتقرا كل اللي قبلها (EXPLAIN ANALYZE)، والصفحات بتكرر أو تفوّت لما بيانات جديدة تدخل. الـ keyset pagination بمقارنة الـ row (created_at, id) < (...) مع index مطابق، و tie-breaker بالـ id. والـ cursor المتغلّف بـ base64url في API بـ pg، و limit + 1 علشان hasMore.

02 / شرح الدرس مكتوبًا

نص شرح المعلم والكود الذي كتبه ونتيجة تشغيله، بنفس ترتيب الدرس.

أهلًا بيك. أي list في الـ API لازم تتقسم صفحات، والطريقة اللي الكل بيبدأ بيها: LIMIT و OFFSET. صفحة واحد OFFSET zero، وصفحة مِيّة OFFSET ألفين، وكده. وعندنا index مزبوط على created_at و id. نشوف بـ EXPLAIN ANALYZE الصفحة الأولى، والصفحة تسعة آلاف وخمسمية.

queries.sql
CREATE INDEX orders_created_id ON orders (created_at DESC, id DESC);

-- صفحة 1
EXPLAIN (ANALYZE, COSTS OFF, TIMING OFF, SUMMARY OFF)
SELECT id FROM orders ORDER BY created_at DESC, id DESC LIMIT 20 OFFSET 0;
-- صفحة 9500
EXPLAIN (ANALYZE, COSTS OFF, TIMING OFF, SUMMARY OFF)
SELECT id FROM orders ORDER BY created_at DESC, id DESC LIMIT 20 OFFSET 190000;

المخرجات

$ psql -q -f seed.sql -f queries.sql
                                    QUERY PLAN                                    
----------------------------------------------------------------------------------
 Limit (actual rows=20 loops=1)
   ->  Index Only Scan using orders_created_id on orders (actual rows=20 loops=1)
         Heap Fetches: 20
(3 rows)

                                      QUERY PLAN                                      
--------------------------------------------------------------------------------------
 Limit (actual rows=20 loops=1)
   ->  Index Only Scan using orders_created_id on orders (actual rows=190020 loops=1)
         Heap Fetches: 190020
(3 rows)

الصفحة الأولى: Index Only Scan قرا عشرين صف. الصفحة البعيدة: نفس الـ scan، بس actual rows مِيّة وتسعين ألف وعشرين! الـ OFFSET مش بيقفز، بيقرا الصفوف كلها ويرميها. فكل ما المستخدم يروح أبعد، الـ query تبطأ، وأي bot بيلف على الصفحات يقدر يوقّع الـ database. والمشكلة التانية أخطر للمستخدم. الصفحة الأولى، وبعدين order جديد وصل، وبعدين الصفحة التانية.

queries.sql
-- صفحة 1 (3 في الصفحة)
SELECT id FROM orders ORDER BY created_at DESC, id DESC LIMIT 3 OFFSET 0;
-- order جديد وصل وإنتَ بتقرا
INSERT INTO orders (user_id, status, total_cents, created_at) VALUES (1, 'paid', 100, '2027-01-01');
-- صفحة 2
SELECT id FROM orders ORDER BY created_at DESC, id DESC LIMIT 3 OFFSET 3;

المخرجات

$ psql -q -f seed.sql -f queries.sql
   id   
--------
 200000
 199999
 199998
(3 rows)

   id   
--------
 199998
 199997
 199996
(3 rows)

الصفحة التانية بدأت بـ id مِيّة تسعة وتسعين ألف تسعمية تمانية وتسعين، وده كان آخر واحد في الصفحة الأولى! الـ order الجديد زق كل حاجة خطوة، فالمستخدم شاف نفس الـ order مرتين. ولو اتمسح حاجة، كان هيفوّت واحد من غير ما يشوفه. في feed أو في export للفواتير، ده bug حقيقي. الحل: keyset pagination. بدل ما تقول: هات الصفحة رقم عشرة، تقول: هات اللي بعد آخر حاجة شفتها. آخر صف شفناه: created_at و id. والشرط: الـ row اللي فيه created_at و id أصغر منه. ودي مقارنة row كامل: الأول بالـ created_at، ولو اتساووا بالـ id. والـ id هنا اسمه tie-breaker: لازم، لأن ممكن اتنين orders في نفس الوقت بالزبط. والـ ORDER BY والـ index بنفس الترتيب.

queries.sql
CREATE INDEX orders_created_id ON orders (created_at DESC, id DESC);

-- keyset: «هات اللي بعد آخر واحد شفته»
-- آخر صف في الصفحة اللي فاتت: created_at = '2026-05-12 22:40', id = 190000
EXPLAIN (ANALYZE, COSTS OFF, TIMING OFF, SUMMARY OFF)
SELECT id, created_at FROM orders
WHERE (created_at, id) < ('2026-05-12 22:40+00', 190000)
ORDER BY created_at DESC, id DESC
LIMIT 3;

المخرجات

$ psql -q -f seed.sql -f queries.sql
                                                 QUERY PLAN                                                  
-------------------------------------------------------------------------------------------------------------
 Limit (actual rows=3 loops=1)
   ->  Index Only Scan using orders_created_id on orders (actual rows=3 loops=1)
         Index Cond: (ROW(created_at, id) < ROW('2026-05-12 22:40:00+00'::timestamp with time zone, 190000))
         Heap Fetches: 3
(4 rows)

Index Only Scan، و actual rows تلاتة بس، حتى لو كنا قرب آخر الجدول. Postgres راح على المكان في الـ index على طول وقرا تلاتة. والسرعة دي تابتة في أي صفحة، ومفيش تكرار، لأن الشرط مربوط بحاجة شفتها، مش برقم صفحة. في الـ API. server dot js بيستخدم pg Pool، وبيحمّل الـ seed. الـ cursor: آخر created_at و id، متحوّلين JSON وبعدين base64url، علشان الـ client يتعامل معاه كـ string مقفول وما يحاولش يفهمه. بنجيب limit زايد واحد: لو رجع أكتر من limit، يبقى فيه صفحة كمان. والقيم بـ dollar one و dollar two، مش بنلزقها في الـ SQL أبدًا. ودي ليها درس كامل في الأمان. نشغّل، ونجيب صفحتين، والتانية بالـ cursor اللي رجع من الأولى.

server.js
import express from "express";
import pg from "pg";
import fs from "node:fs";

const pool = new pg.Pool({ connectionString: process.env.DATABASE_URL });
await pool.query(fs.readFileSync("seed.sql", "utf8"));
await pool.query("CREATE INDEX orders_created_id ON orders (created_at DESC, id DESC)");

// الـ cursor: آخر (created_at, id) شفناه، متغلّف base64url
const encode = (row) => Buffer.from(JSON.stringify([row.created_at, row.id])).toString("base64url");
const decode = (s) => JSON.parse(Buffer.from(s, "base64url").toString());

const app = express();
app.get("/orders", async (req, res) => {
  const limit = 3;
  const params = [limit + 1];
  let where = "";
  if (req.query.cursor) {
    const [at, id] = decode(req.query.cursor);
    params.push(at, id);
    where = "WHERE (created_at, id) < ($2, $3)";
  }
  const { rows } = await pool.query(
    `SELECT id, created_at FROM orders ${where} ORDER BY created_at DESC, id DESC LIMIT $1`,
    params,
  );
  const page = rows.slice(0, limit);
  const hasMore = rows.length > limit;
  res.json({ items: page.map((r) => r.id), nextCursor: hasMore ? encode(page.at(-1)) : null });
});

app.listen(3000, () => console.log("http://localhost:3000"));

المخرجات

$ node server.js
http://localhost:3000

→ GET /orders
← 200 OK
{
  "items": [
    "200000",
    "199999",
    "199998"
  ],
  "nextCursor": "WyIyMDI2LTA1LTE5VDIxOjE4OjAwLjAwMFoiLCIxOTk5OTgiXQ"
}

→ GET /orders?cursor=WyIyMDI2LTA1LTE5VDIxOjE4OjAwLjAwMFoiLCIxOTk5OTgiXQ
← 200 OK
{
  "items": [
    "199997",
    "199996",
    "199995"
  ],
  "nextCursor": "WyIyMDI2LTA1LTE5VDIxOjE1OjAwLjAwMFoiLCIxOTk5OTUiXQ"
}

الصفحة الأولى: تلات ids ومعاهم nextCursor. التانية بالـ cursor: التلاتة اللي بعدهم بالزبط. وخد بالك إن الـ ids رجعت strings بين quotes! لأن الـ id نوعه bigint، و JavaScript ما تقدرش تمسك كل أرقام الـ bigint بدقة، فـ pg بيرجّعها strings علشان ما تتغيّرش. هنتعامل معاها في الحل. التمن الوحيد للـ keyset: مفيش روح لصفحة خمسين مباشرة. بس في الـ feeds والـ infinite scroll والـ APIs، ده مش محتاجينه أصلًا. التحدي: أغلى orders بتاعة مستخدم، صفحة صفحة. مترتبة بالـ total_cents من الأغلى، والـ id كـ tie-breaker. limit من الـ query بـ validation. cursor متغلّف، ولو بايز four hundred. و index مطابق. حالات الاختبار في الكومنت.

تمرين

GET /users/:id/orders: keyset على (total_cents, id) مع index (user_id, total_cents DESC, id DESC)، و limit 1-50، و cursor base64url بيتفحص (400 لو بايز).

الحل. index على user_id و total_cents و id. decode جُوّه try، وبيتأكد إنه array من رقمين صحيحين. limit من واحد لخمسين. الـ WHERE بيتبني بإضافة شرط، والقيم كلها parameters. والـ id بيرجع من pg كـ string لأنه bigint، فبنحوّله Number. وده موضوع مهم هنتكلم عنه في درس node-postgres. نشغّل.

server.js
import express from "express";
import pg from "pg";
import fs from "node:fs";

const pool = new pg.Pool({ connectionString: process.env.DATABASE_URL });
await pool.query(fs.readFileSync("seed.sql", "utf8"));
await pool.query("CREATE INDEX orders_user_total ON orders (user_id, total_cents DESC, id DESC)");

const encode = (r) => Buffer.from(JSON.stringify([r.total_cents, Number(r.id)])).toString("base64url");
function decode(s) {
  try {
    const c = JSON.parse(Buffer.from(s, "base64url").toString());
    return Array.isArray(c) && c.length === 2 && c.every(Number.isInteger) ? c : null;
  } catch {
    return null;
  }
}

const app = express();
app.get("/users/:id/orders", async (req, res) => {
  const limit = Number(req.query.limit ?? 5);
  if (!Number.isInteger(limit) || limit < 1 || limit > 50) {
    return res.status(400).json({ error: "limit من 1 لـ 50" });
  }
  const params = [Number(req.params.id), limit + 1];
  let where = "user_id = $1";
  if (req.query.cursor) {
    const c = decode(req.query.cursor);
    if (!c) return res.status(400).json({ error: "cursor غلط" });
    params.push(...c);
    where += " AND (total_cents, id) < ($3, $4)";
  }
  const { rows } = await pool.query(
    `SELECT id, total_cents FROM orders WHERE ${where} ORDER BY total_cents DESC, id DESC LIMIT $2`,
    params,
  );
  const page = rows.slice(0, limit);
  res.json({
    items: page.map((r) => ({ id: Number(r.id), total: r.total_cents })),
    nextCursor: rows.length > limit ? encode(page.at(-1)) : null,
  });
});

app.listen(3000, () => console.log("http://localhost:3000"));

المخرجات

$ node server.js
http://localhost:3000

→ GET /users/7/orders?limit=2
← 200 OK
{
  "items": [
    {
      "id": 185006,
      "total": 45222
    },
    {
      "id": 135006,
      "total": 45222
    }
  ],
  "nextCursor": "WzQ1MjIyLDEzNTAwNl0"
}

→ GET /users/7/orders?limit=2&cursor=WzQ1MjIyLDEzNTAwNl0
← 200 OK
{
  "items": [
    {
      "id": 85006,
      "total": 45222
    },
    {
      "id": 35006,
      "total": 45222
    }
  ],
  "nextCursor": "WzQ1MjIyLDM1MDA2XQ"
}

→ GET /users/7/orders?cursor=abc
← 400 Bad Request
{
  "error": "cursor غلط"
}

→ GET /users/7/orders?limit=500
← 400 Bad Request
{
  "error": "limit من 1 لـ 50"
}

أغلى اتنين، وبعدهم الاتنين اللي بعدهم بالزبط، من غير تكرار. cursor بايز: four hundred. و limit خمسمية: four hundred. الدرس الجاي: full text search، إزاي تدوّر في النصوص جُوّه Postgres نفسه.

03 / دروس المسار (122)
  1. 01أهلًا بيك: يعني إيه backend، والكورس ده ماشي إزاي
  2. 02الملفات والفولدرات والـ terminal: تتحرك على جهازك زي المبرمجين
  3. 03Node وأول برنامج: تشغّل وتقرا رسالة الخطأ
  4. 04القيم والمتغيرات والأنواع: const و let و typeof
  5. 05القرارات والتكرار: if و === والـ truthy والـ loops
  6. 06الـ functions: parameters و return والـ arrow functions والـ scope
  7. 07الـ objects والـ arrays: destructuring و spread و map و filter و reduce
  8. 08JSON والنصوص والتواريخ: اللغة اللي الـ backend بيتكلم بيها
  9. 09الـ callbacks والـ closures وأول لمسة async: setTimeout
  10. 10الـ classes والـ errors: throw و try/catch و stack trace
  11. 11git: تحفَظ كل خطوة وترجعلها، وما تسرّبش أسرارك
  12. 12ESM و CommonJS و package exports: Node بيلاقي الـ modules إزاي
  13. 13الـ Promises و async/await: sequential و parallel والأخطاء والإلغاء
  14. 14الـ event loop والـ microtasks: Node بيعمل كل حاجة بـ thread واحد إزاي
  15. 15الـ Streams والـ Backpressure: ملفات أكبر من الـ memory
  16. 16الـ File System والـ paths: قراية وكتابة صح، ومن غير path traversal
  17. 17الـ Buffers والبيانات الـ binary: الـ bytes من جُوّه
  18. 18Crypto APIs والأسرار: random و hash و HMAC و AES-GCM
  19. 19الـ Worker Threads: شغل CPU تقيل من غير ما توقف الـ server
  20. 20الـ Errors على مستوى الـ process: operational و programmer و crash-only
  21. 21الـ Node test runner والـ debugging: tests من غير مكتبات
  22. 22HTTP من جُوّه: الـ methods والـ status codes والـ headers
  23. 23Express والـ Routing: الـ params والـ query والترتيب والـ Router
  24. 24Express 5: إيه اللي اتغيّر، وإزاي تنقل مشروع قديم
  25. 25الـ Middleware ودورة حياة الـ request جُوّه Express
  26. 26Validation للمدخلات بـ Zod: ما تصدّقش أي حاجة جاية من برة
  27. 27تصنيف الأخطاء و Problem Details: شكل واحد لكل الـ errors
  28. 28الـ CORS والـ Cookies: المتصفح بيحمي المستخدم إزاي
  29. 29رفع الملفات وحدود الحجم: multer من غير ثغرات
  30. 30الـ Realtime: Server-Sent Events و WebSockets
  31. 31OpenAPI والـ API Versioning: عقد مكتوب، وتغيير من غير ما تكسر حد
  32. 32PostgreSQL: الـ DDL وأنواع البيانات الصح لكل عمود
  33. 33الـ Constraints: PK و FK و UNIQUE و CHECK — الـ database بتحمي نفسها
  34. 34الـ Normalization والـ ERD: تقسّم البيانات صح من أول يوم
  35. 35الـ JOINs والتجميع: INNER و LEFT و GROUP BY و HAVING و window functions
  36. 36JSONB في PostgreSQL: إمتى تستخدمه، وإزاي تسأله وتعمله index
  37. 37الـ Indexes من جُوّه: B-tree و GIN و BRIN
  38. 38Partial و Covering indexes: indexes أصغر وأسرع
  39. 39الـ Pagination بالـ Keyset: ليه OFFSET بيبطّأ وبيكررانت هنا
  40. 40Full Text Search في Postgres: بحث بالكلمات، بالعربي والإنجليزي
  41. 41EXPLAIN ANALYZE والـ Planner: اقرا الـ plan وصلّح الـ query
  42. 42الـ Transactions بـ node-postgres: كله أو ولا حاجة
  43. 43الـ MVCC ومستويات الـ Isolation: transactions كتير في نفس الوقت
  44. 44الـ Locks والـ Deadlocks: مين مستني مين
  45. 45SKIP LOCKED و Job Leasing: Postgres كـ job queue
  46. 46Row Level Security والـ Multi-tenancy: كل عميل يشوف بياناته بس
  47. 47Migrations من غير downtime: expand و backfill و contract
  48. 48الـ Replication والـ Read Replicas: نسخ حية من الـ database
  49. 49الـ Connection Pooling و PgBouncer: connections أقل، requests أكتر
  50. 50الـ Partitioning والـ VACUUM والمراقبة: Postgres على المدى الطويل
  51. 51Redis وأنواع البيانات: strings و hashes و lists و sets و sorted sets
  52. 52Cache-aside والـ TTL: Redis قدام الـ database
  53. 53الـ Cache invalidation والـ Stampede: لما الـ key الشهير يموت
  54. 54Lua والـ Atomicity في Redis: كام أمر كأنهم أمر واحد
  55. 55الـ Rate Limiting في Redis: fixed window و sliding window و token bucket
  56. 56الـ Sessions في Redis: تسجيل دخول تقدر تلغيه في أي وقت
  57. 57Redis Streams والـ Consumer Groups: log بيتوزع على workers
  58. 58Pub/Sub و BullMQ: إشارات بين الـ instances، وطوابير شغل محترمة
  59. 59Redis لما يقع: الـ persistence (RDB و AOF) والـ replication
  60. 60Redis في الإنتاج: الـ ACLs والـ Cluster والمراقبة
  61. 61تخزين الـ Passwords بـ Argon2id: صح من أول مرة
  62. 62Session Fixation والـ Rotation: id جديد مع كل صلاحية جديدة
  63. 63الـ Cookie Flags والـ CSRF: المتصفح بيبعت الـ cookie، فلازم تتأكد مين اللي طلب
  64. 64الـ XSS والـ Content Security Policy: ما تخليش النص يتحوّل لـ code
  65. 65الـ OAuth و OpenID Connect و PKCE: login بـ Google من غير ما تشوف الـ password
  66. 66التأكد من الـ JWT صح: التوقيع والـ claims والـ scopes
  67. 67الـ BOLA و BFLA: الـ token السليم مش معناه إن الطلب مسموح
  68. 68الـ RBAC و ABAC والملكية: policy واحدة بدل ifs متفرقة
  69. 69الـ MFA والـ recovery: التاني factor اللي بجد
  70. 70الـ Passkeys و WebAuthn: login من غير password وضد الـ phishing
  71. 71الـ Threat Modeling بـ STRIDE: فكّر زي المهاجم قبل ما تكتب code
  72. 72الـ SQL Injection والـ Parameterization: الـ data ما تبقاش code
  73. 73الـ SSRF والـ Egress: ما تخليش الـ server بتاعك يزور الشبكة الداخلية
  74. 74الـ Security Headers والـ TLS: كل response يقول للـ browser يحمي المستخدم إزاي
  75. 75توقيع الـ Webhooks والـ Replay: الـ webhook ده جاي فعلًا من Stripe؟
  76. 76تغيير الأسرار والـ HMAC: إزاي تغيّر مفتاح من غير ما كل حاجة تقع
  77. 77سلسلة التوريد والـ SBOM: إنت واثق في ألف package ما تعرفهمش؟
  78. 78الـ Audit والـ Privacy Logs: سجّل مين عمل إيه، من غير ما تسجّل الأسرار
  79. 79اختبار الأمان و OWASP ASVS: الأمن جُوّه الـ CI، مش audit آخر السنة
  80. 80الـ Prototype Pollution والـ Resource DoS: request واحد يخلّي الكل admin أو يوقّع الـ server
  81. 81الـ SLI والـ SLO والـ Error Budget: إمتى تصحّي الـ on-call وإمتى تسيبه نايم
  82. 82الـ Event Loop Delay والـ ELU: لما Node نفسه يتخنق
  83. 83الـ Worker Threads والـ CPU Profiling: الشغل التقيل بره الـ event loop، والوقت راح فين
  84. 84الـ Memory والـ GC والـ Leaks: الـ process اللي بيكبر لحد ما يقع
  85. 85الـ N+1 Queries والـ DataLoader: صفحة واحدة بمِيّتين query
  86. 86الـ HTTP Caching والـ Compression: أسرع request هو اللي ما بيوصلش
  87. 87الـ Load Testing والـ Soak Testing: الـ server بيستحمل قد إيه بجد
  88. 88الـ Concurrency Limits والـ Bulkheads: dependency بطيئة ما توقعش الـ app كله
  89. 89الـ Timeouts والـ Retries والـ Circuit Breakers: إزاي تتعامل مع dependency بطيئة أو واقعة
  90. 90OpenTelemetry والـ Distributed Tracing: الـ request راح فين وضاع وقته فين
  91. 91Docker Layers والـ Build Context: ليه الـ build بياخد دقيقة وفيه الـ .env بتاعك
  92. 92Multi-stage Builds و Non-root: image صغيرة ومن غير root
  93. 93Docker Compose والـ Networks: الـ services بتلاقي بعض إزاي
  94. 94Docker Volumes: الـ data بتتحفَظ فين
  95. 95Healthcheck و Restart و Resource Limits: running مش معناها شغّال
  96. 96BuildKit والـ Build Secrets: الـ token ما يدخلش الـ image
  97. 97Reverse Proxy و TLS: اللي واقف قدام الـ app
  98. 98Multi-arch Images والـ Native Modules: اشتغلت عندي
  99. 99CI/CD و Rollback و Canary: الـ deploy يبقى ممل
  100. 100Kubernetes من الأول: Pods و Deployments و Services و Probes
  101. 101Modular Monolith و DDD: حدود واضحة من غير network
  102. 102Transactional Outbox و Inbox: الـ event ما يضيعش وما يتنفذش مرتين
  103. 103Sagas: عملية واحدة على تلات services من غير transaction واحدة
  104. 104CQRS و Event Sourcing: الـ events هي الحقيقة
  105. 105الـ Queues والـ Brokers: BullMQ و RabbitMQ و Kafka و SQS
  106. 106Realtime على أكتر من instance: Redis pub/sub و presence و resume
  107. 107الـ Object Storage والـ Media: presigned URLs و uploads مباشرة
  108. 108التكامل مع الـ Email والـ Search: retries و webhooks و indexes
  109. 109GraphQL و gRPC في الإنتاج: contracts و DataLoader و limits و deadlines
  110. 110Kafka على أكتر من zone و region: الـ replication والـ ISR والـ acks والـ MirrorMaker والـ failover
  111. 111TypeScript و runtime boundaries: الـ types بتختفي، والـ schemas لأ
  112. 112ORM ولا SQL: query builders و repositories و migrations و transactions
  113. 113الـ Serverless من جُوّه: cold starts و freeze و timeouts و connections
  114. 114الـ Testing Pyramid: unit و integration و e2e على Postgres حقيقية
  115. 115Contract Testing و Property-Based Testing بـ fast-check
  116. 116الـ Payments: idempotency و webhooks و refunds و reconciliation
  117. 117الـ Timezones والـ Internationalization: UTC و DST والـ locales والـ plurals والفلوس
  118. 118الـ Privacy والـ Data Retention: consent و export و erasure و crypto shredding
  119. 119الـ ADRs والـ Feature Flags: القرارات المكتوبة والـ rollout من غير deploy
  120. 120Multi-region active-active: حل الـ conflicts بـ HLC و CRDTs
  121. 121Readiness و Liveness و Startup Probes: الـ pod جاهز ولا عايش؟
  122. 122Incident Runbooks: من الـ alert للـ postmortem