Skip to content

关于contextwise split #32

@ShellingFord221

Description

@ShellingFord221

你好,现在大多模型在输入的时候都采取了将句子按照实体划分为3段的方法,这个时候每段的长度可以pad或者trancate到定长。假如我使用trancate的方法,那么两个实体间的部分怎么trancate呢?

比如XXX Obama XXXXXXXXXXXXX USA XXX. Obama左边和USA右边部分如果太长的话可以删掉远离实体的单词,但是Obama和USA中间的部分怎么处理呢?谢谢!

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions