HBase Put数据不起作用

使用以下方案(通过hbase外壳)在表中添加数据时出现以下问题 create 'student','info','vorl' 添加以下语句无效 put 'student','student_1234','info:name','Mustermann','vorl:1','Datenbanksysteme' 我做错了什么错误在哪里,2列但族生成正确 感谢您的反馈您应该像马特·鲍尔在评论中提到的那样,清楚地解释您想做什么和哪些不起作用 我假设您希望在表“student”中创建一行“student

如何将HBase用于存储?

据我所知,HBase以H文件的形式将其数据存储在HDFS中 如何将if单独用于存储 它将所有数据存储在哪里 As per my understanding, HBase stores its data in HDFS in the form of H-files 你的理解是正确的 How can if be used separately for storage? “分开”是什么意思?您必须使用一些文件系统才能使用DB(HBase或其他) 类比:当您将数据存储在MySQL表中时,它最终会存储

hbase 0.94.18是否支持二级索引?

我目前正在尝试体验hbase,为给定项目开发hbase连接器。所以我需要为它开发二级索引。所以我只需要知道hbase 0.94.18是否支持使用协处理器的二级索引。谁能帮我一下吗?因为我对hbase和所有东西都是新手 HBase本身不支持二级索引。但您可以参考华为为HBase添加二级索引

错误store.HBaseStore-[Ljava.lang.StackTraceeElement;@15a3cc7b

在将hbase与nutch一起使用时,我遇到以下错误 2014年6月23日星期一23:46:24 PKT,org.apache.hadoop.hbase.client。ScannerCallable@7de8edf7,org.apache.hadoop.hbase.client.retrieseHaustedException:在尝试后将代理接口org.apache.hadoop.hbase.ipc.HRegionInterface设置为serverone/10.11.21.31:60020失败

在HBASE中更改表结构而不禁用表的含义

如果在不禁用表格的情况下使用“alter”命令,有谁能告诉我可能会影响表格结构的含义吗? 据我所知,禁用表意味着关闭与表的所有连接。如果在不禁用表格的情况下使用alter,可能会出现哪些特殊情况? 我正在学习HBase 请帮忙 谢谢答案取决于HBase配置。如果参数“hbase.online.schema.update.enable”设置为true,则可以在线更新表架构,否则不能。在最新的HBase版本中,此参数默认为启用。请注意,配置中的一些更改,如压缩编解码器或块大小的更改,不会影响旧的

显示表配置的Hbase shell命令。

我在HBase中创建了一个表 创建'test','x','y','z',{NUMREGIONS=>10,SPLITALGO=>'UniformSplit'} 当我发布描述“测试”时 hbase(main):016:0>描述“测试” 表测试已启用 测试 列族说明 {NAME=>'x',BLOOMFILTER=>'ROW',VERSIONS=>'1',IN_MEMORY=>'false',KEEP_DELETED_CELLS=>'false',DATA_BLOCK_ENCODING=>'NONE',

如何在Hbase中读取字符串数组列

如何读写类型为String[]的hbase列 e、 g.要将字符串数组myArray写入hbase列,我们可以这样做: Put put = new Put("r1".getBytes) byte[] colValue1 = myArray.toString.getBytes(); put.addColumn("columnFamily".getBytes, "c1".getBytes, colValue1); 现在我怎么能读这个? 有没有更好的办法 谢谢。这种方法对于从字符串数组中获取字节

Hbase 如何在所有区域服务器上均匀分配地址

目前我们有一个行键,它是:MAC+REVERSED\u TS 这里的问题是,DHCP质疑的所有正在进行的mac addr都只在一个区域服务器中,而hbase有3个节点 想知道我们如何在所有区域服务器上公平地分配这些mac地址,以及如何避免只在一个区域服务器上使用正在运行的mac地址 我看到盐渍似乎是一种策略,有人对此有解决方案吗?盐渍的工作原理如下:每当你创建一个行键时,你手动在前面添加一个0-9之间的随机数(例如)2+MAC+REVERSED\u TS 然后确保您的HBase表按以下数字拆分:

HBase记录在关闭时丢失

您好,出于开发和测试目的,我使用本地文件系统安装了Hbase 0.89(oct版本)。我使用hbase shell创建了一些表和行。无论何时重新启动hbase,都没有可用的数据/表。对此有何建议?使用默认的本地文件系统将文件存储在/tmp中。重新启动时,您的操作系统可能会对此进行清理。如果必须使用本地文件系统,请将位置设置为/tmp以外的其他位置。查看${hbase_HOME}/conf中的hbase-default.xml配置文件,查看要设置的正确属性

在远程HBase上使用Camel扫描表

我首先知道这个问题是假的,但我找不到一个关于文档的答案。让Apache camel扫描远程HBase上的表的方法是什么 阿帕奇骆驼的帮助不大。它仅在本地安装了hbase时才起作用 提前谢谢 编辑: 我尝试了@cexbrayat的例子,但得到了以下异常 8071 [Camel (camel-1) thread #1 - stream://in] ERROR org.apache.camel.processor.DefaultErrorHandler - Failed delivery for (M

Hbase 使用HDFS+;地图缩小

我有一门学术课程“中间件”,涵盖分布式软件系统的不同方面,包括[tag:Distributed File system]等主题的介绍。这还包括对、、、的介绍,,,,。 我想知道,我可以有一个小项目,试图整合上述技术。对于初学者来说,我知道提供了一种体验和使用Eclipse的方法。 我正在考虑实现一个应用程序,它接受事件流作为输入,分析并给出输出 我的机器上有procoessor和4Gb Ram 请让我知道如何开始一切,欢迎对简单示例应用程序提出任何建议。是一篇关于使用Hive/HDFS分析推文的

Hbase Zookeeper可以在dotcloud上运行吗

我试着运行nutch,它需要gora,它需要hbase,它需要zookeeper。 回顾hbase教程,下面是我的hbase-site.xml <configuration> <property> <name>hbase.rootdir</name> <value>file:///home/dotcloud/data/hbase</value> </property> <prop

如何为HBase进行容量规划?

我计划将HBase用于社交应用程序。开始的用户基数将在5k左右,并且每月将继续以每月3k左右的速度增长 哪种方法可以提高我的应用程序的效率: 动态地在移动中添加资源(我认为如果我试图跨月加载数据,读取将受到影响) 在启动应用程序时添加静态资源(应用程序可以使用适当的区域服务器和区域分割来处理所有25TB的数据,以便统一写入和读取数据,这样会更快) 注:我的应用程序在一年内处理的平均数据将达到~25TB。根据,应用程序将需要44个区域服务器(无需更改默认配置) 有什么建议吗

我的Hbase上有一些时间序列数据。我可以使用OpenTSDB获取这些数据并报告吗?

我的Hbase上有一些时间序列数据。我可以使用OpenTSDB获取这些数据并报告吗?如果有的话,有视频教程或文档,我可以从中开始学习。你不能。OpenTSDB最终以某种格式将数据写入HBASE。它维护自己的HBase表。看看 只要您的现有数据与前面提到的不一样,那么您就不能在其上使用OpenTSDB。没有关于hbase和OpenTSDB的教程(单独)吗?您所说的“报告”是什么意思?OpenTSDB文档说,您不应该直接写入HBase,而应该使用它们的API。因此,解决方案是将其从Hbase导出并导

sqoop merge此命令可用于hbase导入吗?

我使用sqoop将数据从sql server导入hbase。我还可以使用sqoop merge命令更新hbase中的数据吗 感谢您,sqoop merge不支持hbase,但运行新导入(甚至从其他sql表)将覆盖hbase中的数据。您可以提供自定义where+自定义列,以仅更新所需的数据,而不影响已存储在hbase中的其余数据: sqoop import --connect [CONN_STRING] --username [USERNAME] --password [PASSWORD] \ -

Hbase 存储中的列顺序

使用存储时,列的顺序是否重要 cellref_IP = LOAD '$TBL_CELL' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage('cf_data:cq_update_date cf_data:cq_network ', '-loadKey true'); 与 cellref_IP = LOAD '$TBL_CELL' USING org.apache.pig.backend.hadoop.hbase.HBa

HBase中的简单查询

我是HBase的新手。我知道HBase并不等同于RDBMS。但是,我喜欢在HBase中运行简单查询,这在RDBMS中非常简单。我尝试使用带过滤器的扫描,但我不知道如何使用值获取列 考虑这个简单的MySQL查询:“从电子邮件=myname@domain.com” 在HBase中也一样,我有表名:members。我有两栏:用户名和电子邮件 现在,我想提取电子邮件等于 myname@domain.com. 我发现有很多示例可以在指定列族和限定符时提取值。但我的情况不同,当我在RDBMS中思考时,它非常

HBase表为空,但区域数增加

我在下面创建了一个表,我已经在这个表中写入了一些数据 **Namespace Table Name Online Regions Description** default user_recommend_stories 17 'user_recommend_stories', {NAME => 'a', TTL => '259200 SECONDS (3 DAYS)'}, {NAME => 'c', TTL => '259200 SE

Hbase 使用Kafka、Storm&;糖化血红蛋白

为我的无知道歉 我们正在建立一个实时数据库,根据会员在网站上的活动捕获记录。发出这些信息的应用程序是IBM MQ。我们计划设置ApacheKafka来使用来自IBM MQ的这些消息,并将其存储在HBase中进行分析。Kafka是否可以将这些信息直接写入HBase,或者我们应该在Kafka和HBase之间设置一个实时流引擎,如ApacheStorm?这就是卡夫卡-->风暴-->HBase 感谢您的宝贵反馈 我认为您不需要使用Kafka和Storm将数据写入HBase。据我所知,您可以将数据直接从I

用于时间范围查询的Hbase行键设计

我需要获得从开始日期到结束日期的产品页面视图。所以我像这样设计Hbase rowkey ProductId(md5)_productId_dateKey(yyyymmdd) d:pageview. 示例:productId是1180560。8月1日至8月30日的rowkey将为: 0f0e02e9e24c29ad2c2b28e37e4f250b_1180560_20150801 ..... 0f0e02e9e24c29ad2c2b28e37e4f250b_1180560_20150830

无法加载HBase的spark sql数据源

我想使用Spark SQL从HBase表中获取数据。但我在创建数据帧时得到classNotFoundException。这是我的例外 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/types/NativeType at org.apache.hadoop.hbase.spark.DefaultSource$$anonfun$generateSchemaMappingMap$1

如何确保通过OpenTSDB插入HBase的数据?

我尝试使用OpenTSDB将大量数据存储到HBase中。一旦我在TSDB UI中绘制了数据点,它就可以显示我插入的数据点 我知道插入的数据只能在opentsdb UI中绘图。。是否有任何选项可以确保在没有TSDDB UI的情况下以hbase写入数据点?最简单的方法是向OpenTSDB发出查询请求。例如: http://tsdbHost:tsdbPort/api/query?start=1h-ago&m=sum:proc.stat.cpu{type=idle} tsdbHost-Ope

在HBase中存储嵌套HashMap

请原谅我的无知,但我对HBase相对较新,似乎无法理解。我想在HBase中存储以下嵌套哈希映射: Map<String, Map<String, Map<String, Double>>> Map 我似乎无法理解HBase表的模式 行索引显然是最外层映射中的字符串值。但是,我认为HBase不允许嵌套列族(尽管它允许每个列族包含任意数量的列) 从回答中,我还发现嵌套实体在HBase中不能有嵌套实体 要了解数据大小,请执行以下操作: 最里面的贴图(Map)将

如何转换hbase二进制数据并将其加载到Pig中?

我在Hbase中有一个表,它有2000多行,由二进制格式的数据组成。尝试将其加载到pig中,并使用pig对其进行一些数据处理 样本hbase表数据:- ROW COLUMN+CELL \x00\x00\x00\x00\x00\x00\x06\xA6 column=cd:cct, timestamp=1475738991531, value=Atlanta \x00\x00\x00\x00\x00\x00\x06\xA6 column=

如何从Talend BigData Studio访问基于区域的HBase表记录

我正在尝试从Talend BigData Studio访问基于区域的Hbase表记录。我们是否可以选择根据区域过滤tHBaseInput组件中的记录。 以及如何过滤tHBaseInput中的记录以根据日期列过滤增量记录?据我所知,您不能将hbase扫描限制在特定区域 具体来说,Hbase擅长随机读写,前提是rowkey很强,并且正确地实现了SALT,从而正确地分发数据 行上筛选键速度更快,但列上筛选需要完全扫描,这会降低Hbase性能 此外,由于列族中有更多的列,您将看到性能影响。超过3列的

Hbase筛选器列表必须\u通过\u一个始终计算所有?

从hbase中我们可以看到: FilterList.Operator.MUST_PASS_ONE非惰性计算:所有筛选器 总是要进行评估 现在,任何人都可以告诉你T | F | F…=T,即我们可以在遇到第一个True值时停止。我想知道是否有人知道为什么filterlist不复制这种行为

无法更改HBase中的列

这是一个新手HBase问题。我在HBase(1.2.6)中有一个表: 它创建于: hbase(main):046:0> desc 'ship' Table ship is ENABLED ship COLUMN FAMILIES DESCRIPTION {NAME => 'cf1', BLOOMFILTER => 'ROW', VERSIONS => '1', IN_MEMORY => 'false', KEEP_DELETED_CELLS => 'FALS

行键散列时如何使用hbase shell scan命令

在对行键进行哈希运算时,如何使用hbase shell scan命令 我有一个虚拟实例使用以下命令在沙箱(其中行键没有散列)上工作 scan 'tableName' , {ROWPREFIXFILTER => 'myrowStartValue'} 这是有效的。但是,对于实际实例,行键是散列的。如何解决此问题?您是否希望返回一系列密钥?一旦它们被散列,它们将不再按照您期望的方式排序,因此扫描可能不会达到您期望的效果。恐怕您必须提前手动散列任何要检索的密钥-HBase shell无法

如何设置hbase集群';s起动参数

如何设置hbase群集的启动参数,例如: 区域服务器: -Xms16g -Xmx16g -Xmn2g -XX:SurvivorRatio=2 -XX:+UseCMSInitiatingOccupancyOnly -XX:CMSInitiatingOccupancyFraction=85 数据节点: -Xms2g -Xmx2g 如何设置此启动参数?它们是在启动hbase群集之前在hbase env.sh或hbase site.xml中设置的吗 我注意到hbase env.sh中只有一个maxh

HBase何时实际删除一行?

向hbase发出Delete命令时,我知道它不会立即删除数据。但是什么时候删除数据,我是说,物理上 当您向HBase写入内容时,它会存储在memstore(RAM)中,然后写入磁盘。这些磁盘写入通常是不可变的,除非压缩 在hbase中的主要压缩过程中会处理删除操作—这些操作大约每24小时运行一次,可以通过API或shell触发。主要压缩处理删除标记-次要压缩不删除标记 当您发出普通删除时,会产生一个删除(墓碑)标记-这些删除标记及其表示的数据在压缩过程中被删除(不存在于合并文件压缩后) 此外,如

在HBase中重用筛选器实例

有人知道HBase中的筛选器实例是否可以重用吗? 我的意思是,如果我需要一个KeyOnlyFilter或SingleColumnValueFilter(这是一个具有固定值的过滤器,在不同的扫描之间不会改变),我可以实例化这些过滤器一次(例如作为DAO的实例成员)并在不同的扫描调用中重用它们吗 过滤器实例可以重复使用,与普通对象类似,前提是所有扫描的列族和列限定符都相同 查看过滤器的源代码,我发现过滤器的状态不仅仅是列族和限定符。例如,我看到一个在filterKeyValue(…)方法下修改的bo

如何为Hbase 0.96.0编译YCSB?

我一直在为Hbase 0.96.0编写YCSB。在我将YCSB/Hbase目录中的pom.xml更改为 <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase</artifactId> <version>0.96.0-hadoop2</version> </dependency> <dependency&g

在HBase中创建表时出错

我是hbase新手,正在尝试使用以下命令在hortonworks沙盒hbase shell中创建表: create 'testtable', 'colfam1' 在执行此操作时,我不断遇到以下错误: hbase(main):002:0> create 'testtable', 'colfam1' ERROR: Can't get master address from ZooKeeper; znode data == null Here is some help for this c

Hbase 在OpenTSDB中可以导入多少数据点

一次可以导入OpenTSDB的数据点数量限制是多少。我有一个输入文件,其中包含如下数据: AnkitBhthansAir:src anjali$ head -10 OpenTSDB_Import.txt meterreadings 1406865600 10086 Building_id=1 interval=900 measure_kind=12 service_kind=0 unit=72 meterreadings 1406866500 10134 Building_id=1 int

如何在HBase中构建持久化元组的Storm Trident拓扑

我想构建一个trident拓扑,它将从Kafka获取元组,按一个字段对它们进行分组,并将整个分组的元组持久化到HBase中。分组的原因是,与放置单个对象相比,多个放置对象的HBase放置操作更快。我想将put对象按一个字段分组,并在单个HBase API调用中插入所有这些put对象 我已经编写了以下代码,但不确定应该在哪里编写代码,将所有元组转换为HBase“Put”类型的对象,并将所有这些Put对象持久化到HBase中 OpaqueTridentKafkaSpout kafkaTridentS

为什么HBase';s托管的zookeeper服务失败,出现“0”;节点/hbase不在ZooKeeper中;?

TL;DR:为什么HBase管理的Zookeeper无法启动 我正在尝试建立一个HBase集群,以便从头开始学习HBase。我有4个Virtualbox虚拟机运行Ubuntu14.04 LTS服务器。我已经在Hadoop(2.7.3)上安装了一个主节点和3个工作节点。它们每个都有2个以太网适配器,1个在NAT模式下,1个在仅主机网络模式下(每个Virtualbox)。它们是192.168.56.50(主)和192.168.56.51-53(工人) 当我安装HBase 1.2.4时,我尝试在所有3

Hbase删除DeleteFamily单元格或恢复标记为删除的数据

我在hbase中错误地删除了行,因此现在对于每一行,都有一个单元格具有type=DeleteFamily。我已经设置了KEEP\u DELETED\u CELLS=>“TRUE”,所以数据仍然存在,但我需要恢复它。据我所知,扫描数据,然后对除DeleteFamily one之外的所有单元格进行put将不会有帮助,因为数据已经在这里了。目前,我已使用以下代码将数据复制到另一个表中: Configuration config = HBaseConfiguration.create();

来自hbase的apache phoenix 4.10列映射

我有一个现有的hbase表,已经将所有数据放在phoenix格式中。然后尝试在上面创建一个phoenix表。在凤凰城4.9,一切都很好。但是phoenix 4.10有一个列映射,所以我的列限定符不能是地址、名称等原始字符串,而是必须映射到某个整数,我该怎么做?有没有办法禁用此列映射?我想,phoenix SYSTEM.CATALOG表将此映射作为列\u限定符,从hbase保存时需要使用此映射

hbase shell命令使用regex获取所有行键

如何获取hbase shell中具有regex的键的所有值 比如说,我有 行键列 12017-05-06“t1:5” 12017-05-07“t2:6” 现在,我想要类似于行键“1,*”的所有列族,其中*由所有天表示。可能吗?您可以尝试以下方法: scan ‘myTable’, {FILTER => “(PrefixFilter (‘1,’)”} 来源:HBase文档建议如果要使用正则表达式,请尝试此方法 scan ‘myTable’, {FILTER => "RowFilter(

由于表太小,hbase中的区域太多

我们有多个应用程序共享一个HBase群集。多个应用程序处理时间序列数据并加载大量查找表[Kbs/Mbs]以及较大的表[GBs/TBs]进行处理。这些查找表是唯一的,不能在应用程序之间共享 问题:由于这些小表,区域服务器中的区域数平均为300多个,并且正在增加。基于link和one,建议将区域数保持在100到200之间 减少区域数量的建议是什么?在Hbase中处理此类小表/查找表的策略是什么 您有多少个小表?500多个表中有200个是小表。大表和小表的区域大小是否相同?据我所知,只有一半的桌子是小

Hbase多列族与多表

我正在为从不同来源生成的数据开发一个Hbase存储。通常,来自同一源的列更有可能在同一时间被检索。预期的写/读比率大致在1/10到1/100之间(取决于不同的源) 所以我有两个选择: 多列族:只需创建一个表和多个列族,来自同一源的各种数据将形成一个列族 多个表:为每个源创建一个表(具有一个列族) 这里是我的一些理解,如果有什么错误请纠正我 多表解决方案适用于动态添加新源。而多列族解决方案可能会出现停机 如果不同源的rowkey具有不同的分布(例如,int user_id vs image

HBase如何计算刷新大小?

我试图更好地理解HBase中的memstore刷新算法 我有一个简单的(snappy压缩)表,表中有一个列族,我已将HBase配置如下(我在这个区域服务器上有几个区域): hbase.hregion.memstore.flush.size:128 mib HBase RegionServer的Java堆大小(字节):10 Gib hbase.regionserver.global.memstore.upperLimit:0.4 hbase.regionserver.global.memstor

从hbase外壳中的扫描获取输出

是否有任何方法可以将hbase外壳中的扫描结果输出到文件?我假设这很容易,但我在文档中找不到任何东西。我知道这篇文章很老,但我自己也在搜索有关HBase的内容,并发现了它 我不知道这是否是最好的方法,但您可以使用HBase提供的脚本选项。只需打开一个shell(最好转到HBase的目录bin)并运行 其中foo是要扫描的表的名称。如果你打开myText,你会在那里看到结果。希望我能帮忙 另一个使用EOF here doc的选项,可能更可定制: hbase shell <<EOF &g

Hbase单元版本的使用

有一个问题困扰了我很长时间,我对Hbase单元版本感到困惑,我知道如何设置版本和获取版本等API操作,但我不知道为什么会有版本概念,以及如何使用版本。 有没有什么好的例子可以帮助我理解cell版本的用途? 提前感谢版本可用于存储一列的多个固定数量的值。假设您要存储用户最近10次登录的时间戳。您可以有一个名为“loginTime”的列,并在定义表时将max versions设置为10。现在,您只需在用户每次登录时更新“loginTime”列的值,HBase将不会覆盖该列的上一个值,而是将上一个值向

如何使hbase尊重现有区域数据的hregion.max.filesize

我正在使用HBase的默认配置。每个区域服务器都有很多区域 我发现我可以配置区域的最大大小——不是256MB,而是4GB。因此,我添加了以下配置并重新启动了群集: <property> <name>hbase.hregion.max.filesize</name> <value>4294967296</value> </property> hbase.hregion.max.filesize 429496

从hbase中删除列

我想知道如何处理hbase。从Hbase列族中删除某些列时出现问题。 我创建了一个具有列族的表: Configuration conf = HBaseConfiguration.create(); HBaseAdmin hbase = new HBaseAdmin(conf); HTableDescriptor desc = new HTableDescriptor("new_table"); HColumnDescriptor cf = new HColumnDescriptor("zz".g

在将reduce()输出加载到HBase shell之前,是否需要在HBase shell中定义目标表?

我已安装HBase,但尚未创建任何表来加载数据。现在,如果我们想将reduce()的输出加载到HBase表中,我们需要在HBase shell中明确地创建表并提及列名,还是可以在MapReduce程序中这样做 您需要提前准备好桌子。从shell中创建它,或者添加代码在作业本身中创建表。这是如何通过代码实现的: HBaseConfiguration conf = HBaseConfiguration.get();  HBaseAdmin hbase = new HBaseAdmin(conf);

将HBase连接到Grafana

如何在Grafana中将HBase配置为数据源?可以通过http api吗?如何将Apache HBase或Spark与Grafana集成为一个可靠的数据源?如果您将Ambari设置为和hadoop服务的监控系统,并尽可能将其连接起来,以监控您想要的内容。我建议使用Apache Phoenix,它可以提供对HBase表的类似SQL的访问。然后Grafana的数据源可以或多或少地从Mysql/postgres数据源克隆 无论如何,我在这里请求直接支持: 用OpenTSDB代替怎么样?您可以使用HB

  1    2   3   4   5   6  ... 下一页 最后一页 共 14 页