利用本地浏览器在远程服务器上进行访问 使用场景在很多情况下可能都会出现这样的场景:我们想要基于一个远程server的ip来对某些网页进行访问,但是服务器通常是没有GUI端的 Linux 系统: 服务器需要特殊的网关登录才能够上网,需要在指定的内网 IP 下才能访问网关 服务器部署在内网内,需要从内网访问某些资源 在虚拟机/容器内部署了一套集群,组件(例如 Hadoop,Spark)的 WebUI 和监控需要从指定的端口进行 2023-12-22 环境配置
VS Code + Python 开发 QGIS 插件环境配置指南 写在前面 整篇教程 For Windows,好像Mac没有这么多事。前一段开发插件的时候给同组的同学写的配置文档,恰好发现中文互联网上相关的内容比较少,也不太系统,做一个系统的整理。 QGIS 官方Plugin 文档Official Version (What’s Next For Dialog Plugins) If resources.py is 2023-10-22 GIS #VS Code #Python #QGIS
hexo 建站总结 Hexo 建站过程Prerequisite 一个 Github 账号,申请教程 在电脑上安装 git,[git安装教程]在(https://blog.csdn.net/yaorongke/article/details/119085413) 在电脑上安装 NodeJS,NodeJS安装教程 Hexo 安装和本地测试 安装 hexo 1npm install -g hexo-cli 查看 2023-10-22 博客建站
博客美化自述 这里主要记录一下本博客建站过程中用到的美化手段共参考考 访问量统计Fluid 主题中针对阅读量已经有写好的代码,但是需要自己配置第三方的数据量统计服务才能使用。我们这里使用 LeanCloud 的免费服务来进行统计,同时这个也可以直接用来接入后面的评论区 1. 申请 LeanCloud 账号并创建应用进入官网 注册账号 注册后需要实名认证和邮箱验证,完成后才能使用各项服务 验证完成后选择创建 2023-10-07 博客建站
Zookeeper简介 Zookeeper 可以用来构建一般的分布式应用,对部分失败进行正确的处理 💡 什么是部分失败?简单来讲就是消息在网络中传输的一方不知道另一方是不是有问题,比如接受者down掉或者根本没有接受到,发送方是不能知道这条个操作是不是已经失败的 Zookeeper 的一些核心理念: 精简的文件系统 高可用性:避免出现单点故障,构建可靠应用 松耦合:让 2023-04-22 #引擎基础 #Zookeeper
HDFS I/O 数据完整性HDFS 通过校验和的计算来保证完整性,一般认为计算4个字节的校验和带来的额外的存储(1%)和计算开销都是可接受的 HDFS 在以下几个层面保障数据完整性: datanode 在收到数据后验证 checksum,在整个写过程的 pipeline 的最后一个 datanode 负责校验和,返回 IOException 读取时也会校验 checksum,datanode 会维护一个 che 2023-04-01 #Hadoop #引擎基础
Yarn 简介 Yarn的运行机制 Yarn中三类重要实体 resource manager:管理集群上资源使用 node manager:运行在所有节点上,能够启动和监控容器 Container:用于执行特定的应用程序,有一定的资源限制 运行流程: 客户端联系 resource manager,要求启动一个 application master 进程 resource manager 找到一个可以启动 a 2023-03-17 #Hadoop #引擎基础
Hadoop HDFS 《Hadoop 权威指南》读书笔记 HDFS是流式访问的:一次写入,多次读取且只支持单个写入者,而且是增量写入的 HDFS的几个基本概念 数据块:默认为128MB 💡 这个128MB与磁盘的传输速率是匹配的,如果传输速率提高,那么就可以有更大的 block 大小 namenode 和 data 2023-03-07 #Hadoop #引擎基础