Українська
Посторінкове читання за ключем
Крок 1. Зсув чи ключ
Навіщо. У чаті може бути 100 000 повідомлень; клієнт показує найновіші 50 і довантажує старіші, коли користувач гортає вгору. Підручниковий спосіб розбиття на сторінки – зсув (offset paging):
sql
SELECT ... FROM messages WHERE chat_id = @chat ORDER BY id DESC LIMIT 50 OFFSET 5000У месенджері в нього дві проблеми:
- З кожною сторінкою він повільнішає.
OFFSET 5000змушує PostgreSQL прочитати й відкинути 5000 рядків, перш ніж повернути 50. - Він помиляється, коли дані змінюються. Якщо поки користувач гортає, надходять три нові повідомлення, кожне повідомлення зсувається на три місця вниз; наступна сторінка починається на три повідомлення раніше, і користувач бачить дублікати. Видалені повідомлення натомість змушують пропускати деякі.
Посторінкове читання за ключем (keyset paging, його ще називають курсорним) запам’ятовує, де закінчилася попередня сторінка, а не скільки рядків пропустити:
sql
SELECT ... FROM messages WHERE chat_id = @chat AND id < @last_id_of_previous_page ORDER BY id DESC LIMIT 51З індексом (chat_id, id DESC) з теми 4 кожна сторінка коштує однаково, а нові повідомлення вище курсора нічого нижче нього не зсувають. Тут окупаються ідентифікатори UUIDv7 з теми 3: оскільки ідентифікатори сортуються за часом створення, ідентифікатор повідомлення і є його курсором.
Чому LIMIT 51 для сторінки з 50? Зайвий рядок відповідає на питання «чи є ще сторінка?» без другого запиту COUNT.
Крок 2. Допоміжний метод для сторінок
Що зробити.
cs
using Chatex.Data.Models;
namespace Chatex.Data.Repositories;
internal static class Paging
{
/// <summary>
/// Turns <paramref name="items"/>, fetched with <c>Take(limit + 1)</c>, into a page.
/// The extra row only tells whether another page exists; it is not returned.
/// </summary>
public static CursorPage<TItem, TCursor> ToPage<TItem, TCursor>(
List<TItem> items, int limit, Func<TItem, TCursor> cursorOf)
where TCursor : struct
{
if (items.Count <= limit)
{
return new CursorPage<TItem, TCursor>(items, null);
}
items.RemoveAt(limit);
return new CursorPage<TItem, TCursor>(items, cursorOf(items[^1]));
}
}Метод отримує список, вибраний через Take(limit + 1), і функцію, що витягує курсор з елемента. Якщо повернулося не більше limit елементів, це остання сторінка й курсор дорівнює null. Інакше зайвий елемент видаляється, а курсор останнього повернутого елемента стає NextCursor. items[^1] – це оператор індексу з кінця: останній елемент.
Крок 3. Історія повідомлень
Навіщо. Історію читають трьома способами:
- Без курсора – найновіша сторінка, коли відкривають чат;
before– старіші повідомлення, найновіші першими, поки користувач гортає вгору;after– новіші повідомлення, найстаріші першими, коли браузер певний час був без з’єднання й має заповнити прогалину, не перезавантажуючи все (тема 20).
Що зробити.
cs
using Chatex.Data.Abstractions;
using Chatex.Data.Entities;
using Chatex.Data.Models;
using Microsoft.EntityFrameworkCore;
namespace Chatex.Data.Repositories;
internal sealed class MessageRepository(ChatexDbContext db) : IMessageRepository
{
public void Add(Message message) => db.Messages.Add(message);
public Task<Message?> GetByIdAsync(Guid id, CancellationToken cancellationToken = default) =>
db.Messages.Include(m => m.Attachments).FirstOrDefaultAsync(m => m.Id == id, cancellationToken);
public Task<Message?> GetDetailsAsync(Guid id, CancellationToken cancellationToken = default) =>
db.Messages
.AsNoTracking()
.Include(m => m.Sender).ThenInclude(u => u.Profile)
.Include(m => m.Attachments)
.AsSplitQuery()
.FirstOrDefaultAsync(m => m.Id == id, cancellationToken);
public Task<bool> ExistsInChatAsync(Guid chatId, Guid messageId, CancellationToken cancellationToken = default) =>
db.Messages.AnyAsync(m => m.Id == messageId && m.ChatId == chatId && m.DeletedAt == null, cancellationToken);
public async Task<CursorPage<Message, Guid>> GetPageAsync(
Guid chatId, Guid? before, Guid? after, int limit, CancellationToken cancellationToken = default)
{
if (before is not null && after is not null)
{
throw new ArgumentException($"Pass either {nameof(before)} or {nameof(after)}, not both.");
}
var query = db.Messages
.AsNoTracking()
.Include(m => m.Sender).ThenInclude(u => u.Profile)
.Include(m => m.Attachments)
.Where(m => m.ChatId == chatId);
// UUIDv7 ids sort by creation time, so the id alone is the cursor.
if (after is { } newerThan)
{
query = query.Where(m => m.Id.CompareTo(newerThan) > 0).OrderBy(m => m.Id);
}
else
{
if (before is { } olderThan)
{
query = query.Where(m => m.Id.CompareTo(olderThan) < 0);
}
query = query.OrderByDescending(m => m.Id);
}
var items = await query.Take(limit + 1).AsSplitQuery().ToListAsync(cancellationToken);
return Paging.ToPage(items, limit, m => m.Id);
}
}m.Id.CompareTo(olderThan) < 0– так ми пишемо «id < @cursor» у LINQ: у C# немає оператора<дляGuid, але Npgsql перетворюєCompareToна SQL-порівняння двох значеньuuid.- Шаблон
after is { } newerThanперевіряє, щоGuid?має значення, і одним кроком копіює його в змінну, що не допускає null. - Обидва курсори одночасно не мають сенсу, тож метод відхиляє їх через
ArgumentException: це помилка викликача, а не очікувана ситуація. AsSplitQuery()завантажує повідомлення, профілі їхніх відправників і вкладення окремими SQL-запитами, а не одним великимJOIN. Єдине з’єднання повторювало б кожне повідомлення стільки разів, скільки в нього вкладень; розділені запити уникають цього «декартового вибуху».GetByIdAsyncвідстежується, аGetDetailsAsync– ні: перший слугує редагуванню й видаленню, другий повертає повідомлення для показу.
Крок 4. Учасники й позиції прочитаного
Що зробити.
cs
using Chatex.Data.Abstractions;
using Chatex.Data.Entities;
using Chatex.Data.Models;
using Microsoft.EntityFrameworkCore;
namespace Chatex.Data.Repositories;
internal sealed class ChatMemberRepository(ChatexDbContext db) : IChatMemberRepository
{
public void Add(ChatMember member) => db.ChatMembers.Add(member);
public void Remove(ChatMember member) => db.ChatMembers.Remove(member);
public Task<ChatMember?> GetAsync(Guid chatId, Guid userId, CancellationToken cancellationToken = default) =>
db.ChatMembers.FirstOrDefaultAsync(m => m.ChatId == chatId && m.UserId == userId, cancellationToken);
public Task<bool> IsMemberAsync(Guid chatId, Guid userId, CancellationToken cancellationToken = default) =>
db.ChatMembers.AnyAsync(m => m.ChatId == chatId && m.UserId == userId, cancellationToken);
public Task<int> CountAsync(Guid chatId, CancellationToken cancellationToken = default) =>
db.ChatMembers.CountAsync(m => m.ChatId == chatId, cancellationToken);
public async Task<IReadOnlyList<Guid>> GetExistingUserIdsAsync(
Guid chatId, IReadOnlyCollection<Guid> userIds, CancellationToken cancellationToken = default) =>
await db.ChatMembers
.Where(m => m.ChatId == chatId && userIds.Contains(m.UserId))
.Select(m => m.UserId)
.ToListAsync(cancellationToken);
public async Task<CursorPage<ChatMember, Guid>> GetMembersAsync(
Guid chatId, Guid? afterUserId, int limit, CancellationToken cancellationToken = default)
{
var query = db.ChatMembers
.AsNoTracking()
.Include(m => m.User).ThenInclude(u => u.Profile)
.Where(m => m.ChatId == chatId);
if (afterUserId is { } cursor)
{
query = query.Where(m => m.UserId.CompareTo(cursor) > 0);
}
var items = await query.OrderBy(m => m.UserId).Take(limit + 1).ToListAsync(cancellationToken);
return Paging.ToPage(items, limit, m => m.UserId);
}
public async Task<IReadOnlyList<Guid>> GetChatIdsForUserAsync(Guid userId, CancellationToken cancellationToken = default) =>
await db.ChatMembers
.Where(m => m.UserId == userId && m.Chat.DeletedAt == null)
.Select(m => m.ChatId)
.ToListAsync(cancellationToken);
public async Task<bool> MarkReadAsync(Guid chatId, Guid userId, Guid messageId, CancellationToken cancellationToken = default)
{
var updated = await db.ChatMembers
.Where(m => m.ChatId == chatId
&& m.UserId == userId
&& (m.LastReadMessageId == null || m.LastReadMessageId.Value.CompareTo(messageId) < 0))
.ExecuteUpdateAsync(s => s.SetProperty(m => m.LastReadMessageId, messageId), cancellationToken);
return updated > 0;
}
}GetMembersAsyncгортає канал, у якого можуть бути тисячі підписників. Курсор – ідентифікатор користувача; порядок за ним не має сенсу для людей, але він стабільний і унікальний, а це все, що потрібно посторінковому читанню за ключем.MarkReadAsyncреалізує правило «позиція прочитаного рухається лише вперед» (тема 3) у самій базі даних:UPDATEзмінює рядок, лише якщо збережена позиція дорівнюєNULLабо старіша за нову. Дві вкладки браузера, які повідомляють «прочитано до X» і «прочитано до старішого Y» в будь-якому порядку, завершують зі значенням X. Метод повертає, чи змінився рядок, тож сервіс з теми 10 сповіщає інших учасників, лише коли щось справді змінилося.GetChatIdsForUserAsyncфільтрує заm.Chat.DeletedAt– навігаційною властивістю всередині запиту, яку EF Core перетворює наJOIN.
Перевірка
dotnet build успішний. Посторінкове читання перевіряється в темі 6 на 120 повідомленнях зі сторінками по 50: 50, 50 і 20 повідомлень, без дублікатів, NextCursor дорівнює null на останній сторінці.