解决方法就是导入相应的公钥即可，如此处是 `ED65462EC8D5E4C5`

# 其他类似报错信息更换公钥即可
sudo apt-key adv --keyserver keyserver.ubuntu.com --recv-keys ED65462EC8D5E4C5

然后再次执行更新数据库即可解决。

sudo apt update

如果遇见apt-key不可用，说明你使用的系统版本比较新，新版本的系统已经改用gpg来管理了，可以使用如下命令（首先你需要先下载GPG 密钥文件或者本地导入）：

sudo gpg --no-default-keyring --keyring /etc/apt/trusted.gpg.d/repo-name.gpg --keyserver keyserver.ubuntu.com --recv ED65462EC8D5E4C5

附语法格式：

apt-key [选项] [密钥文件]

gpg [选项] [命令] [文件名]

The post 解决LINUX系统下The following signatures couldn’t be verified because the public key is not available: NO_PUBKEY XXXXXXXXXXX first appeared on Omics - Hunter.

前段时间由于个人原因，博客停更半年，今天我们继续以当下大模型聊聊。对于大部分时间我们只需要花0.000很多个01美刀即可体验像ChatGPT的语言模型功能，但是由于ChatGPT是商业软件并非开源，对于折腾党来说除了去逗GPT开心玩少了很多乐趣。

今天要较介绍的平台GPT4ALL（Open-source large language models that run locally on your CPU and nearly any GPU），是nomic-ai开源的一款可以在本地电脑上跑大模型的一个框架。同时GPT4ALL使用了gguf格式作为模型的标准格式，极大的降低了对电脑的要求和把玩成本。

什么是gguf呢？

gguf是开发者 Georgi Gerganov 基于 Llama 模型写的纯 C/C++ 版本，它最大的优势是可以在 CPU上快速地进行推理而不需要 GPU，支持量化模型在CPU中执行推断，从而实现低资源部署LLM。
所以我们可以hugging face仓库中下载很多优质的模型来进行测试学习。

提供了不同平台的安装方法：

Windows：https://gpt4all.io/installers/gpt4all-installer-win64.exe

Mac：https://gpt4all.io/installers/gpt4all-installer-darwin.dmg

Ubuntu：https://gpt4all.io/installers/gpt4all-installer-linux.run

1）它可以进行Q&A

2）也可以作为个人写作助理

3）可以进行代码的写作

4）可以理解和提取摘要

部分开源模型的性能评估如下：

官方也提供了多个模型的下载：

上面是开箱即用的安装方式，只要下载好模型和安装包进行安装就可以使用了。

我们也可以使用python版的自己来定制，首先通过pip安装：

pip install gpt4all

安装完成后，下面官方推荐的模型进行测试：

from gpt4all import GPT4All

model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf")

output = model.generate("The capital of France is ", max_tokens=3)

print(output)

如果有好的显卡支持可以用下面方式调用：

from gpt4all import GPT4All

model = GPT4All("orca-mini-3b-gguf2-q4_0.gguf", device='gpu') # device='amd', device='intel'

output = model.generate("The capital of France is ", max_tokens=3)

print(output)

测试后总体感觉不错，对于问答和名词解释相当准确，聊天方面相对chatGPT还是有一段距离，不过对于学习和DIY是足够了。

参考资料：

1.https://github.com/nomic-ai/gpt4all

2.https://gpt4all.io/index.html

The post GPT4ALL一个可以用CPU跑本地模型的框架 first appeared on Omics - Hunter.

对于我们安装了该版本的R来说，随着使用时间的推移，安装了很多R包，重新安装会浪费大量的时间，下面提供一种修改方法，避免R访问微软源。

打开R安装目录：

打开Rprofile.site文件

找到RevoUtils::getRevoRepos()将其替换成R源或者国内源

r["CRAN"] <- 'https://mirrors.tuna.tsinghua.edu.cn/CRAN'

即可解决无法访问源的问题。

参考资料：

1.https://techcommunity.microsoft.com/t5/azure-sql-blog/microsoft-r-application-network-retirement/ba-p/3707161

The post 解决unable to access index of repository mran.microsoft.com first appeared on Omics - Hunter.

$str = "string\n[]\\";

$str =~ m/string/;
# 会匹配到string

但是当我们用一个变量来做模式匹配，如果正则表达式中含特殊字符，那么perl解释器默认会解释成匹配模式，如：

$reg = "[";
# 如果直接使用则会报错， Unmatched [ in regex; marked by <-- HERE in m/ [ <-- HERE  / at .....
$str =~ m/$reg/g

上面perl在匹配时将[当作匹配模式，会找寻]作为结束。但是很多时候我们需要将其作为字符串来使用，而非一个特殊字符。

有两种方法来避免perl将其解释为特殊字符：

1）添加转义字符\

# 注意此处双引号需要添加两个反斜线
$reg = "\\[";
或者
$reg = '\[';

2）quotemeta 函数（此函数转义 EXPR 中的所有元字符）

$reg = "[";
$reg = quotemeta( $reg );

下面附上perl正则表达式规则（看微软在.Net区总结很好，故此借来和大家分享）

字符转义

正则表达式中的反斜杠字符 (\) 指示其后跟的字符是特殊字符（如下表所示），或应按原义解释该字符。 有关详细信息，请参阅字符转义。

字符类

字符类与一组字符中的任何一个字符匹配。 字符类包括下表中列出的语言元素。 有关更多信息，请参见 字符类。

定位点

定位点或原子零宽度断言会使匹配成功或失败，具体取决于字符串中的当前位置，但它们不会使引擎在字符串中前进或使用字符。 下表中列出的元字符是定位点。 有关详细信息，请参阅 定位点。

分组构造

分组构造描述了正则表达式的子表达式，通常用于捕获输入字符串的子字符串。 分组构造包括下表中列出的语言元素。 有关详细信息，请参阅 分组构造。

Lookaround 概览

当正则表达式引擎命中 Lookaround 表达式时，其需要一个子字符串从当前位置到达原始字符串的开始（后行）或结束（先行），然后使用 Lookaround 模式在该子字符串上运行 Regex.IsMatch。 然后，根据此子表达式的结果是正断言还是负断言，可判断其结果是否成功。

结果匹配后，不会再次重新计算原子组，即使该模式的其余部分由于匹配而失败。 当限定符出现在原子组内或模式的其余部分时，可显著提高性能。

数量词

限定符指定在输入字符串中必须存在上一个元素（可以是字符、组或字符类）的多少个实例才能出现匹配项。 限定符包括下表中列出的语言元素。 有关更多信息，请参见 数量词。

反向引用构造

反向引用允许在同一正则表达式中随后标识以前匹配的子表达式。 下表列出了 .NET 正则表达式支持的反向引用构造。 有关详细信息，请参阅 反向引用构造。

替换构造

替换构造用于修改正则表达式以启用 either/or 匹配。 这些构造包括下表中列出的语言元素。 有关详细信息，请参阅 替换构造。

替代

替换是替换模式中支持的正则表达式语言元素。 有关更多信息，请参见 替代。 下表中列出的元字符是原子零宽度断言。

正则表达式选项

可以指定控制正则表达式引擎如何解释正则表达式模式的选项。 其中的许多选项可以指定为内联（在正则表达式模式中）或指定为一个或多个 RegexOptions 常量。 本快速参考仅列出内联选项。 有关内联和 RegexOptions 选项的详细信息，请参阅文章 正则表达式选项。

可通过两种方式指定内联选项：

• 通过使用其他构造(?imnsx-imnsx)，可用选项或选项组前的减号 (-) 关闭这些选项。 例如， (?i-mn) 启用不区分大小写的匹配 (i)，关闭多行模式 (m) 并关闭未命名的组捕获 (n)。 该选项自定义选项的点开始应用于此正则表达式，且持续有效直到模式结束或者到另一构造反转此选项的点。
• 通过使用 分组构造(?imnsx-imnsx:子表达式)（只定义指定组的选项）。

.NET 正则表达式引擎支持以下内联选项：

其他构造

其他构造可修改某个正则表达式模式或提供有关该模式的信息。 下表列出了 .NET 支持的其他构造。 有关详细信息，请参阅 其他构造。

参考资料：

1.https://learn.microsoft.com/zh-cn/dotnet/standard/base-types/regular-expression-language-quick-reference

The post Perl-模式匹配中用含特殊字符的变量 first appeared on Omics - Hunter.

参考资料：

1.https://exts.ggplot2.tidyverse.org/gallery/

The post ggplot2家族包汇总-120+ first appeared on Omics - Hunter.

1. 安装maftools

#从Bioconductor安装
BiocManager::install("maftools")

#从github安装
BiocManager::install("PoisonAlien/maftools")

2. 准备MAF文件

MAF文件生成取决于我们用什么软件进行注释，不同的注释软件生成的VCF文件略有不同。

1）使用VEP注释，可以使用vcf2maf来生成MAF文件

2）使用gatk的Funcotator来注释，可以通过指定参数--output-file-format MAF来生成MAF文件

3）使用ANNOVAR进行注释，可以用过annovarToMaf来生成MAF文件

文件格式介绍如下：

3.maftools输入文件准备

read.maf(
  maf,
  clinicalData = NULL,
  rmFlags = FALSE,
  removeDuplicatedVariants = TRUE,
  useAll = TRUE,
  gisticAllLesionsFile = NULL,
  gisticAmpGenesFile = NULL,
  gisticDelGenesFile = NULL,
  gisticScoresFile = NULL,
  cnLevel = "all",
  cnTable = NULL,
  isTCGA = FALSE,
  vc_nonSyn = NULL,
  verbose = TRUE
)

1）前面提到的MAF文件（可以是gz压缩后的MAF文件， 必须）

2）MAF中与每个Sample/Tumor_Sample_Barcode相关的临床数据（tsv文件格式，可选但推荐，后续可视化可能会用到相关标签）

3）拷贝数数据(如果可用)。可以是GISTIC输出，也可以是包含样本名称、基因名称和拷贝状态(Amp或Del)的数据表。

4.简单展示

此处简单展示maftools的可视化应用，详细内容可以查看官方文档（推荐）

library(maftools)

laml = read.maf(maf = system.file('extdata', 'tcga_laml.maf.gz', package = 'maftools'), 
                clinicalData = system.file('extdata', 'tcga_laml_annot.tsv', package = 'maftools'))

#查看sample summry.
getSampleSummary(laml)
#查看基因summary.
getGeneSummary(laml)
#查看样本临床信息
getClinicalData(laml)
#查看所有可用的信息
getFields(laml)

#可视化
plotmafSummary(maf = laml, rmOutlier = TRUE, addStat = 'median', dashboard = TRUE, titvRaw = FALSE)

绘制Oncoplots图，这个也是基因组常用的可视化热图

oncoplot(maf = laml, top = 10)

关于maftools的简单介绍就到这里了，下面是一些作者推荐的常用的工具包：

• TRONCO – Repository of the TRanslational ONCOlogy library (R)
• dndscv – dN/dS methods to quantify selection in cancer and somatic evolution (R)
• cloneevol – Inferring and visualizing clonal evolution in multi-sample cancer sequencing (R)
• sigminer – Primarily for signature analysis and visualization in R. Supports maftools output (R)
• GenVisR – Primarily for visualization (R)
• comut – Primarily for visualization (Python)
• TCGAmutations – pre-compiled curated somatic mutations from TCGA cohorts (from Broad Firehose and TCGA MC3 Project) that can be loaded into maftools (R)
• somaticfreq – rapid genotyping of known somatic hotspot variants from the tumor BAM files. Generates a browsable/sharable HTML report. (C)

参考资料：

1.https://bioconductor.org/packages/release/bioc/vignettes/maftools/inst/doc/maftools.html

2.https://github.com/PoisonAlien/maftools

3.Mayakonda A, Lin DC, Assenov Y, Plass C, Koeffler HP. 2018. Maftools: efficient and comprehensive analysis of somatic variants in cancer. Genome Resarch. PMID: 30341162

The post 基因组：MAF文件分析及可视化-maftools first appeared on Omics - Hunter.

• GET Module：通过聚类获取多组学数据中的亚型、分类
• COMP Module：多个维度来比较分型结果
• RUN Module：分型结果验证和Mark挖掘

具体见下图：

1）R包安装

首先确保你的R版本 > 4.0.1且BiocManager v3.11然后在进行安装，版本不对应可能会导致安装失败，同时依赖的安装包也比较多：CIMLR,ClassDiscovery,ConsensusClusterPlus,IntNMF,PINSPlus,SNFtool,coca,dplyr,ggplot2,iClusterPlus,mogsa,vegan,circlize,survival,survminer,ggpp,tibble,limma,DESeq2,edgeR,aricode,ggalluvial,flexclust,reshape2,clusterProfiler,GSVA,grid,cowplot,jstable,impute,CMScaller,car,genefilter,ggpubr,preprocessCore,ridge,sva,grDevices,maftools,patchwork,ComplexHeatmap (>= 2.5.5),pamr,clusterRepro,officer。请确认依赖包都安装好后安装：

# 利用devtools安装GitHub中托管的R包

if (!requireNamespace("BiocManager", quietly = TRUE))
    install.packages("BiocManager")
if (!require("devtools")) 
    install.packages("devtools")
# 安装包比较大，下载需要时间
devtools::install_github("xlucpu/MOVICS")

几个下载困难的包已经上传云盘，方便下载：云盘下载

下载后可以直接按照下面命令运行安装：

install.packages("D:/aricode_1.0.1.tar.gz", repos = NULL, type = "source")

2）示例演示

我们利用官方的文档数据进行演示说明

library(MOVICS)

# 作者提供的演示数据
load(system.file("extdata", "brca.tcga.RData", package = "MOVICS", mustWork = TRUE))
load(system.file("extdata", "brca.yau.RData",  package = "MOVICS", mustWork = TRUE))

# 提取数据用于下游分析
mo.data   <- brca.tcga[1:4]

count     <- brca.tcga$count

fpkm      <- brca.tcga$fpkm

maf       <- brca.tcga$maf

segment   <- brca.tcga$segment

surv.info <- brca.tcga$clin.info

获取最优分类数，getClustNum函数利用CPI5和Gaps-statistics方法来获取最优的聚类数：

optk.brca <- getClustNum(data        = mo.data,
                         is.binary   = c(F,F,F,T), # 第四组数据是somatic mutation数据，属于binary matrix
                         try.N.clust = 2:8,        # 从2个亚类尝试直到8个亚类，可以自定义
                         fig.name    = "CLUSTER NUMBER OF TCGA-BRCA")

从图上简单来看，当聚类数为5时为最优（也可以结合具体case的生物学意义进行选择）

MOVICS提供了多种聚类算法供我们选择，调用方法也比较灵活，如下：

# 假设我们需要使用iClusterBayes 聚类算法我们可以使用如下方式调用：
iClusterBayes.res <- getiClusterBayes(data        = mo.data,
                                      N.clust     = 5,
                                      type        = c("gaussian","gaussian","gaussian","binomial"),
                                      n.burnin    = 1800,
                                      n.draw      = 1200,
                                      prior.gamma = c(0.5, 0.5, 0.5, 0.5),
                                      sdev        = 0.05,
                                      thin        = 3)

# 也可以用使用getMOIC函数指定methodslist聚类方法，如下：
iClusterBayes.res <- getMOIC(data        = mo.data,
                             N.clust     = 5,
                             methodslist = "iClusterBayes", # specify only ONE algorithm here
                             type        = c("gaussian","gaussian","gaussian","binomial"), # data type corresponding to the list
                             n.burnin    = 1800,
                             n.draw      = 1200,
                             prior.gamma = c(0.5, 0.5, 0.5, 0.5),
                             sdev        = 0.05,
                             thin        = 3)

同时我们也可以一次调用多种聚类算法，不过这样需要花费很长时间：

moic.res.list <- getMOIC(data        = mo.data,
                         methodslist = list("SNF", "PINSPlus", "NEMO", "COCA", "LRAcluster", "ConsensusClustering", "IntNMF", "CIMLR", "MoCluster"),
                         N.clust     = 5,
                         type        = c("gaussian", "gaussian", "gaussian", "binomial"))

最后，使用getConsensusMOIC获取聚类结果热图

cmoic.brca <- getConsensusMOIC(moic.res.list = moic.res.list,
                               fig.name      = "CONSENSUS HEATMAP",
                               distance      = "euclidean",
                               linkage       = "average")

然后我们利用定量结果的相似性评价分类的效果

getSilhouette(sil      = cmoic.brca$sil, # a sil object returned by getConsensusMOIC()
              fig.path = getwd(),
              fig.name = "SILHOUETTE",
              height   = 5.5,
              width    = 5)

最后我们根据聚类结果绘制热图

# 将甲基化数据的 beta value转化为 M value
indata <- mo.data
indata$meth.beta <- log2(indata$meth.beta / (1 - indata$meth.beta))

# 数据标准化
plotdata <- getStdiz(data       = indata,
                     halfwidth  = c(2,2,2,NA), # no truncation for mutation
                     centerFlag = c(T,T,T,F), # no center for mutation
                     scaleFlag  = c(T,T,T,F)) # no scale for mutation
# 选取前10个feature
feat   <- iClusterBayes.res$feat.res
feat1  <- feat[which(feat$dataset == "mRNA.expr"),][1:10,"feature"] 
feat2  <- feat[which(feat$dataset == "lncRNA.expr"),][1:10,"feature"]
feat3  <- feat[which(feat$dataset == "meth.beta"),][1:10,"feature"]
feat4  <- feat[which(feat$dataset == "mut.status"),][1:10,"feature"]
annRow <- list(feat1, feat2, feat3, feat4)

# 定义不同组学颜色展示
mRNA.col   <- c("#00FF00", "#008000", "#000000", "#800000", "#FF0000")
lncRNA.col <- c("#6699CC", "white"  , "#FF3C38")
meth.col   <- c("#0074FE", "#96EBF9", "#FEE900", "#F00003")
mut.col    <- c("grey90" , "black")
col.list   <- list(mRNA.col, lncRNA.col, meth.col, mut.col)

# 绘图，较慢
getMoHeatmap(data          = plotdata,
             row.title     = c("mRNA","lncRNA","Methylation","Mutation"),
             is.binary     = c(F,F,F,T), # the 4th data is mutation which is binary
             legend.name   = c("mRNA.FPKM","lncRNA.FPKM","M value","Mutated"),
             clust.res     = iClusterBayes.res$clust.res, # cluster results
             clust.dend    = NULL, # no dendrogram
             show.rownames = c(F,F,F,F), # specify for each omics data
             show.colnames = FALSE, # show no sample names
             annRow        = annRow, # mark selected features
             color         = col.list,
             annCol        = NULL, # no annotation for samples
             annColors     = NULL, # no annotation color
             width         = 10, # width of each subheatmap
             height        = 5, # height of each subheatmap
             fig.name      = "COMPREHENSIVE HEATMAP OF ICLUSTERBAYES")

关于MOVICS的介绍就到这里了，该包还提供了很多可视化方法，详细见参考资料。

参考资料：

1.https://github.com/xlucpu/MOVICS

2.https://xlucpu.github.io/MOVICS/MOVICS-VIGNETTE.html

3.Lu, X., Meng, J., Zhou, Y., Jiang, L., and Yan, F. (2020). MOVICS: an R package for multi-omics integration and visualization in cancer subtyping. Bioinformatics, btaa1018.

The post 多组学数据挖掘-R包MOVICS first appeared on Omics - Hunter.

下图为STAR-Fusion的简单分析流程展示：

首先我们来安装STAR-Fusion，安装它的问题也比较多主要是集中在STAR的版本和STAR-Fusion的适配上面。下面就官方整理的适配列表（请严格按照给定的适配表进行安装）：

建议直接通过conda或者docker来部署（conda安装的STAR-Fusion和STAR版本某些情况下会不一致，请参考上表更换），也可以通过自己手动部署最新版本：

# docker最方便吧
docker pull trinityctat/starfusion
# 进入docker环境
docker run --rm -it -v `pwd`:/data trinityctat/ctatfusion:latest bash


# 下载代码库，注意添加--recursive确保下载完整的代码库
git clone --recursive https://github.com/STAR-Fusion/STAR-Fusion.git

安装必备的软件：

• STAR https://github.com/alexdobin/STAR
• samtools http://www.htslib.org/download/

由于STAR-Fusion由大量的perl脚本工具，需要安装如下必要的perl包

perl -MCPAN -e shell
   install DB_File
   install URI::Escape
   install Set::IntervalTree
   install Carp::Assert
   install JSON::XS
   install PerlIO::gzip

下载数据库（https://data.broadinstitute.org/Trinity/CTAT_RESOURCE_LIB/）：

其中’plug-n-play’是已经建好数据库的可以开箱直接使用，但是文件比较大下载需要时间；另一个是source版本的大约4G左右，下载好后需要自己建索引和必要的库文件，个人推荐用source版本。

# 下载好后需要建立索引数据库*（打包文件主要是STAR的索引很大）
tar xvf CTAT_resource_lib.tar.gz

cd CTAT_resource_lib/

$STAR_FUSION_HOME/ctat-genome-lib-builder/prep_genome_lib.pl \
                         --genome_fa ref_genome.fa \
                         --gtf gencode.*.annotation.gtf \
                         --fusion_annot_lib fusion_lib.*.dat.gz \
                         --annot_filter_rule AnnotFilterRule.pm \
                         --pfam_db current \
                         --dfam_db human \
                         --human_gencode_filter

接下来我们可以直接开始融合分析：

# 开始分析，--left_fq --right_fq 输入双端的cleandata；单端测序，只需要--left_fq参数即可
# 下面代码直接从fq文件开始，双端测序
STAR-Fusion \
       --left_fq rnaseq_1.fastq.gz \
       --right_fq rnaseq_2.fastq.gz \
       --genome_lib_dir ctat_genome_lib_build_dir \
       --output_dir STAR-Fusion_outdir
# 单端测序
STAR-Fusion \
       --left_fq rnaseq.fastq.gz \
       --genome_lib_dir ctat_genome_lib_build_dir \
       --output_dir STAR-Fusion_outdir

# 如果已经跑过STAR并且配置参数产生了 Chimeric.out.junction文件，直接配置-J参数可以执行下面命令更快
STAR-Fusion \
       -J /path/Chimeric.out.junction\
       --genome_lib_dir ctat_genome_lib_build_dir \
       --output_dir STAR-Fusion_outdir

默认会输出到STAR-Fusion_outdir文件夹（对下面两个文件的详细介绍可以到https://github.com/STAR-Fusion/STAR-Fusion/wiki#Outputs查看，此处不在赘述）：

star-fusion.fusion_predictions.tsv
star-fusion.fusion_predictions.abridged.tsv

后面我们可以用FusionInspector对融合事件进行检查，验证（使用--FusionInspector参数），也可以对融合进行测试(--examine_coding_effect)或者是使用Trinity (--denovo_reconstruct)重构融合转录本。

# 一键化命令
# 注意，此步骤比较耗时~5小时左右
STAR-Fusion \
     --left_fq rnaseq_1.fastq.gz \
     --right_fq rnaseq_2.fastq.gz \
     --genome_lib_dir ctat_genome_lib_build_dir \
     --FusionInspector validate \
     --denovo_reconstruct \
     --examine_coding_effect

以上关于STAR-Fusion的简单介绍就到此了，更多信息可以查看下方链接。

参考资料：

1.https://github.com/STAR-Fusion/STAR-Fusion

2.https://github.com/STAR-Fusion/STAR-Fusion-Tutorial/wiki

The post 融合基因分析-STAR-Fusion first appeared on Omics - Hunter.

• can update whole directory trees and filesystems
• optionally preserves symbolic links, hard links, file ownership, permissions, devices and times
• requires no special privileges to install
• internal pipelining reduces latency for multiple files
• can use rsh, ssh or direct sockets as the transport
• supports anonymous rsync which is ideal for mirroring

1）rsync软件安装和其他linux软件安装方式一样，可以参考官方文档（https://download.samba.org/pub/rsync/INSTALL）进行编译，其中windows用户可以使用Cygwin来进行编译使用或者使用cwRsync编译好的windows可用版本

2）rsync软件的使用

命令参数解释：

-v, --verbose 详细模式输出 
-q, --quiet 静默模式 
-c, --checksum 打开校验开关，强制对文件传输进行校验 
-a, --archive 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于-rlptgoD 
-r, --recursive 对子目录以递归模式处理 
-R, --relative 使用相对路径信息 
-b, --backup 创建备份，也就是对于目的已经存在有同样的文件名时，将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀。 
--backup-dir 将备份文件(如~filename)存放在在目录下。 
-suffix=SUFFIX 定义备份文件前缀 
-u, --update 仅仅进行更新，也就是跳过所有已经存在于DST，并且文件时间晚于要备份的文件。(不覆盖更新的文件) 
-l, --links 保留软链结 
-L, --copy-links 想对待常规文件一样处理软链结 
--copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 
--safe-links 忽略指向SRC路径目录树以外的链结 
-H, --hard-links 保留硬链结 
-p, --perms 保持文件权限 
-o, --owner 保持文件属主信息 
-g, --group 保持文件属组信息 
-D, --devices 保持设备文件信息 
-t, --times 保持文件时间信息 
-S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 
-n, --dry-run现实哪些文件将被传输 
-W, --whole-file 拷贝文件，不进行增量检测 
-x, --one-file-system 不要跨越文件系统边界 
-B, --block-size=SIZE 检验算法使用的块尺寸，默认是700字节 
-e, --rsh=COMMAND 指定使用rsh、ssh方式进行数据同步 
--rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 
-C, --cvs-exclude 使用和CVS一样的方法自动忽略文件，用来排除那些不希望传输的文件 
--existing 仅仅更新那些已经存在于DST的文件，而不备份那些新创建的文件 
--delete 删除那些DST中SRC没有的文件 
--delete-excluded 同样删除接收端那些被该选项指定排除的文件 
--delete-after 传输结束以后再删除 
--ignore-errors 及时出现IO错误也进行删除 
--max-delete=NUM 最多删除NUM个文件 
--partial 断点续传 
--force 强制删除目录，即使不为空 
--numeric-ids 不将数字的用户和组ID匹配为用户名和组名 
--timeout=TIME IP超时时间，单位为秒 
-I, --ignore-times 不跳过那些有同样的时间和长度的文件 
--size-only 当决定是否要备份文件时，仅仅察看文件大小而不考虑文件时间 
--modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口，默认为0 
-T --temp-dir=DIR 在DIR中创建临时文件 
--compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 
-P 等同于 --partial 断点续传
--progress 显示备份过程 
-z, --compress 对备份的文件在传输时进行压缩处理 
--exclude=PATTERN 指定排除不需要传输的文件模式 
--include=PATTERN 指定不排除而需要传输的文件模式 
--exclude-from=FILE 排除FILE中指定模式的文件 
--include-from=FILE 不排除FILE指定模式匹配的文件 
--version 打印版本信息 
--address 绑定到特定的地址 
--config=FILE 指定其他的配置文件，不使用默认的rsyncd.conf文件 
--port=PORT 指定其他的rsync服务端口 
--blocking-io 对远程shell使用阻塞IO 
-stats 给出某些文件的传输状态 
--progress 在传输时现实传输过程 
--log-format=formAT 指定日志文件格式 
--password-file=FILE 从FILE中得到密码 
--bwlimit=KBPS 限制I/O带宽，KBytes per second 
-h, --help 显示帮助信息

一般我们传输数据习惯使用scp，但是scp不支持断点续传，给我们在做大数据处理的时候造成了很大的不便，下面就几种常用的场景命令展示rsync的用法：

# 场景一
# 推送文件到服务器
rsync -avzP /Bigdata/ username@ip:/path/to/
# 从服务器下载
rsync -avzP username@ip:/path/to/ /Bigdata/

# 场景二
# 同步排除指定后缀文件
rsync -avzP --exclude='*.txt' username@ip:/path/to/ /Bigdata/
# 多个排除模式
rsync -avzP --exclude='*.txt' --exclude='*.html' username@ip:/path/to/ /Bigdata/
# 只同步指定文件（即排除所有文件，只同步bam）
rsync -avzP --include="*.bam" --exclude='*' username@ip:/path/to/ /Bigdata/

更多信息可以参考官方文档。

参考资料：

1.https://rsync.samba.org/

2.https://github.com/WayneD/rsync

The post rsync 数据同步、断点续传工具 first appeared on Omics - Hunter.

1）Web访问方面更加的易用，提升搜索下载等体验，NCBI Datasets website

2）支持命令行工具访问，Command-line tools

3）支持API的访问接口，API 

下面我们就命令行方式进行简单的使用介绍：

1.下载安装

其中datasets可以访问NCBI各种资源数据，dataformat可实现结果在各种格式中无缝切换。

也支持conda的方式：

# 创建ncbi_datasets环境并安装ncbi-datasets-cli
conda create -n ncbi_datasets -c conda-forge ncbi-datasets-cli

2.示例

# 下载基因信息并保存为example_gene_data_package.zip
datasets download gene gene-id 1,2,3,9,10,11,12,13,14,15,16,17 --filename example_gene_data_package.zip
# 解压数据
unzip -Z1 example_gene_data_package.zip

# 文件格式转换为tsv
dataformat tsv gene --fields gene-id,symbol,transcript-name --package example_gene_data_package.zip | head --lines=10

格式转换也支持excel格式等，更多高级用法大家可以下载尝试。

参考资料：

1.https://www.ncbi.nlm.nih.gov/datasets/docs/v1/getting_started/

The post NCBI Datasets使用说明 first appeared on Omics - Hunter.