gitweixin
  • 首页
  • 小程序代码
    • 资讯读书
    • 工具类
    • O2O
    • 地图定位
    • 社交
    • 行业软件
    • 电商类
    • 互联网类
    • 企业类
    • UI控件
  • 大数据开发
    • Hadoop
    • Spark
    • Hbase
    • Elasticsearch
    • Kafka
    • Flink
    • 数据仓库
    • 数据挖掘
    • flume
    • Kafka
    • Hive
    • shardingsphere
    • solr
  • 开发博客
    • Android
    • php
    • python
    • 运维
    • 技术架构
    • 数据库
  • 程序员网赚
  • bug清单
  • 量化投资
  • 在线查询工具
    • 去行号
    • 在线时间戳转换工具
    • 免费图片批量修改尺寸在线工具
    • SVG转JPG在线工具

分类归档大数据开发

精品微信小程序开发门户,代码全部亲测可用

  • 首页   /  
  • 分类归档: "大数据开发"
  • ( 页面6 )
Hadoop 9月 26,2024

hadoop切片原理机制详解

Hadoop的切片机制(也称为分片)是MapReduce作业中数据处理的基础。它将输入数据分成多个切片(或片段),每个切片由一个或多个数据块组成。这种机制有助于并行处理,提高了数据处理的效率。

原理

  1. 输入格式:Hadoop支持多种输入格式(如TextInputFormat、SequenceFileInputFormat等)。输入格式负责定义如何读取输入数据,并将其分割成切片。
  2. 切片的创建:切片的创建通常发生在输入格式类的getSplits()方法中。这个方法根据输入数据的大小和块的数量来决定切片的数量。Hadoop会考虑HDFS的块大小,通常为128MB或256MB。
  3. 切片与任务:每个切片对应一个Map任务。Hadoop会为每个切片分配一个Map任务,以并行处理数据。这个过程提高了作业的吞吐量和资源利用率。
  4. 切片的特性:
    • 切片大小:Hadoop会根据配置的块大小和数据的特性来决定切片大小。切片可以小于或等于块大小,但一般不建议超过块大小,以保持任务的并行性。
    • 切片的重用:如果一个作业对数据进行了切片处理,后续作业可以重用这些切片,以避免重复的I/O操作。

实现细节

  1. 自定义输入格式:开发者可以实现自定义的输入格式类,继承InputFormat,并重写getSplits()和createRecordReader()方法,以适应特定的输入数据格式和切片需求。
  2. RecordReader:在Map任务中,RecordReader将切片中的数据读取为键值对,以供Mapper处理。不同的输入格式会有不同的RecordReader实现。
  3. 容错机制:Hadoop的切片机制还考虑到了容错。当一个Map任务失败时,Hadoop会自动重试该任务或将其分配给其他节点。这种机制保证了数据处理的可靠性。
  4. Combiner:在某些情况下,可以使用Combiner对Map输出的数据进行局部汇总,以减少后续Reduce阶段的负载。Combiner在每个Mapper输出之前进行,通常是对相同key的值进行合并。

切片的优化

  • 切片大小调整:根据数据特性和集群资源,可以调整切片的大小。小切片可能导致任务调度开销增加,而大切片可能会降低并行性。
  • 使用合理的输入格式:选择合适的输入格式,确保数据能被有效地分片和读取。
作者 east
Hbase 9月 26,2024

HBase中的Observer型协处理器通常用于哪些场合?

HBase中的Observer型协处理器主要用于以下几种场合:

  1. 增强数据操作的功能:RegionObserver提供了客户端的数据操纵事件钩子,如Get、Put、Delete、Scan等,可以在这些操作发生时插入自定义逻辑,以实现如审计、权限检查、数据验证等附加功能。 
  2. 监控和维护WAL(Write-Ahead Log):WALObserver提供了WAL相关操作的钩子,可以用于优化WAL的写入性能或实施WAL数据的额外安全措施。 
  3. 管理元数据和执行DDL操作:MasterObserver提供了对数据表生命周期管理的钩子,如创建、删除、修改表等,可以用于实现自动分区、负载均衡或其他集群级别的管理任务。 
  4. 实现触发器式的自动化处理:Observer型协处理器可以根据预设的规则和条件,在数据变更时自动执行特定的操作,类似于关系数据库中的触发器,提高了系统的自动化水平和响应能力。 
  5. 扩展HBase的功能:用户可以利用Observer接口开发新的功能,并将这些功能作为协处理器嵌入到HBase中,从而为HBase增加定制化的业务逻辑或性能优化
作者 east
Hbase 9月 26,2024

HBase协处理器如何影响HBase的性能表现?

HBase协处理器(Coprocessor)是HBase中的一个高级功能,它允许用户将自定义的逻辑代码运行在HBase的RegionServer上,直接接触和处理数据。协处理器的引入可以显著影响HBase的性能表现,具体体现在以下几个方面:

  1. 减少数据通信开销:通过在RegionServer端执行计算,协处理器可以减少客户端和服务器之间的数据通信量,从而提高计算性能。 
  2. 实现高效的数据操作:协处理器可以用来执行求和、计数、排序等操作,这些操作在RegionServer端完成后,只需将处理结果返回给客户端,这样可以大幅提升操作效率。 
  3. 扩展HBase功能:协处理器不仅可以优化现有操作,还可以用来扩展HBase的功能,如实现二级索引、访问控制等,这些功能的加入可以改善数据检索速度和系统的安全性。 
  4. 潜在的性能风险:尽管协处理器可以提升性能,但如果协处理器的实现不善,可能会成为性能瓶颈。没有资源隔离的协处理器可能会消耗过多的系统资源,影响集群的稳定性和响应速度。 
作者 east
Hbase 9月 26,2024

HBase协处理器与传统数据库中的触发器有何不同?

HBase协处理器与传统数据库中的触发器主要有以下几点不同:

  1. 应用场景和目的:HBase协处理器是NoSQL数据库HBase中的一个高级特性,用于在RegionServer级别执行自定义逻辑,如建立二级索引、复杂过滤器和访问控制等。而传统数据库中的触发器通常用于在数据修改前后自动执行特定的操作,以维护数据完整性或执行自动化任务。
  2. 执行时机和位置:协处理器的代码直接运行在RegionServer上,可以在数据操作发生时(如Put、Get等)被触发,执行与数据相关的计算或操作。触发器则是数据库管理系统内置的功能,在数据库层面上监控和响应数据变化事件。
  3. 功能和灵活性:协处理器不仅限于触发器的功能,它们可以执行更广泛的操作,包括但不限于数据验证、计算聚合、执行存储过程等。触发器的功能相对受限,通常专注于对数据变更的即时响应。
  4. 性能影响:由于协处理器在数据存储的地方执行计算,可以减少网络通信开销,提高数据处理的效率。触发器虽然可以优化数据库操作,但可能不会像协处理器那样显著减少数据在网络中的传输。
  5. 安全性和风险:协处理器具有较高的权限,可以直接访问和修改数据,这可能带来安全风险。触发器通常运行在数据库的权限模型之下,受到更严格的安全控制。
作者 east
储能, 数据仓库 9月 25,2024

离线数仓月度统计要注意时间窗口问题(跨天统计导致违背现实物理规律)

在做物联网项目,要按月统计电压差和温度差时,刚开始最容易想到的是找出当月电压最大值和电压最小值,然后按求压差。最后统计结果是压差都很大。而实际上,是要找出某个小的周期内的温差,这种跨很大时间范围的压差并没有实际意义。

下面是先按天计算最大值,然后再按当月求最大值的sql:

SELECT ds, 
       max(max_diff_u) AS daily_max_diff 
FROM (
    SELECT ds, 
           cu, 
           max(value) - min(value) AS max_diff_u 
    FROM (
        SELECT id, 
               value, 
               ds 
        FROM your_table_name e 
        WHERE pid rlike '\\.U$' 
          AND (char_length(pid) - char_length(REPLACE(pid, '.', ''))) = 8 
          AND ds <= '${yes_date}' 
          AND (value < 4.9 OR value > 2.5) 
          AND ds >= from_timestamp(DATE_TRUNC('MONTH', from_unixtime(cast(unix_timestamp('${yes_date}','yyyyMMdd') AS bigint))), 'yyyyMMdd')
    ) AS daily_values 
    GROUP BY ds, pid
) AS daily_diffs 
GROUP BY ds
ORDER BY ds;
作者 east
海豚调度器 9月 24,2024

海豚调度器如何设置上游的表生成数据成功才继续执行

在海豚调度器(Dolphin Scheduler)1.3.5 中,你可以通过以下步骤设置工作流中的任务,以检查 Hive 表是否为空,并根据结果决定是否执行后续任务。以下是详细步骤:

步骤 1: 创建 Hive 表检查任务

  1. 创建一个 Shell 脚本任务:该任务将执行 Hive 查询以检查指定表是否为空。
    • 在 Dolphin Scheduler 中,创建一个新的任务,选择 Shell 作为任务类型。
    • 编写脚本如下:
#!/bin/bash
# 检查 Hive 表是否为空
HIVE_TABLE_NAME="your_hive_table_name"  # 替换为你的 Hive 表名

COUNT=$(hive -S -e "SELECT COUNT(*) FROM ${HIVE_TABLE_NAME};")

if [ "$COUNT" -eq 0 ]; then
    echo "Table is empty"
    exit 1  # 返回非零值表示表为空
else
    echo "Table is not empty"
    exit 0  # 返回零值表示表不为空
fi
  1. 保存并命名该任务,例如命名为 check_hive_table_empty。

步骤 2: 创建后续任务

  1. 创建后续的任务:这些任务将根据 Hive 表是否为空而决定是否执行。例如,创建一个新的任务,命名为 run_after_check。
  2. 设置相应的任务逻辑。这些可以是任何你需要执行的操作,比如数据处理、报告生成等。

步骤 3: 设置任务依赖关系

  1. 创建一个工作流:在 Dolphin Scheduler 中创建一个新的工作流。
  2. 添加任务:
    • 将 check_hive_table_empty 任务添加到工作流中。
    • 将 run_after_check 任务也添加到工作流中。
  3. 设置依赖关系:
    • 选择 run_after_check 任务,设置其依赖于 check_hive_table_empty 任务。
    • 在依赖配置中,选择“成功”状态。这意味着只有当 check_hive_table_empty 任务成功运行且表不为空时,run_after_check 才会被执行。

步骤 4: 测试和验证工作流

  1. 启动工作流:手动启动工作流,观察任务的执行情况。
  2. 查看日志:检查 check_hive_table_empty 的日志,确认其正确判断了 Hive 表是否为空。
  3. 验证后续任务:根据 Hive 表的状态,确认后续任务是否被正确执行或跳过。

注意事项

  • 确保 Hive 和 Dolphin Scheduler 的连接正常。
  • 检查权限设置,确保你有权限访问 Hive 表。
  • 可以根据需要调整任务超时时间和重试策略,以确保工作流的稳定性。

通过以上步骤,你能够在 Dolphin Scheduler 中实现根据 Hive 表内容动态控制工作流的执行。

作者 east
Hadoop 9月 23,2024

HDFS HA中的JournalNode集群有什么作用?

HDFS HA(High Availability)模式下,JournalNode集群扮演着至关重要的角色。在这种配置中,NameNode的主备切换不再依赖共享存储,而是通过Zookeeper协调多个Active NameNode之间的状态同步。JournalNode集群负责维护这些NameNode的编辑日志(Edit Logs),确保数据的一致性和高可用性。

JournalNode集群的主要作用

  1. 日志复制与持久化:JournalNode集群接收来自主NameNode的编辑日志,并将其复制到所有其他JournalNodes上,实现日志的高可用性。即使部分JournalNode失败,只要半数以上的节点存活,就能保证编辑日志的完整性。
  2. 支持快速故障转移:在主NameNode发生故障时,备用NameNode可以利用保存在JournalNode集群中的编辑日志迅速接管,减少服务中断时间。
  3. 避免单点故障:通过分布式的JournalNode集群,HDFS避免了依赖单一共享存储系统的风险,提高了整个文件系统的可靠性。
  4. 简化管理:管理员无需担心共享存储的复杂配置和潜在瓶颈,JournalNode集群的管理相对简单,易于扩展。

JournalNode集群的设计是HDFS实现高可用性的关键组成部分,它通过分布式日志记录和复制机制,确保了Hadoop文件系统在面对硬件故障时能够持续稳定地运行。

作者 east
Hadoop 9月 23,2024

HDFS HA中的ZKFC组件具体是如何工作的?

HDFS高可用性(HA)架构中,ZooKeeper Failover Controller(ZKFC)负责管理NameNode的故障转移。ZKFC通过与ZooKeeper集群交互来监控Active NameNode的状态,并在检测到Active NameNode失败时协调Standby NameNode的接管过程。

ZKFC的工作流程如下:

  1. 初始化和注册:ZKFC启动时,它会在ZooKeeper中创建特定的节点来表示自己的存在,并订阅Active NameNode的Z节点,以便接收其健康状态更新。
  2. 状态监控:ZKFC持续监控Active NameNode在ZooKeeper中的状态。如果Active NameNode正常运行,它会定期向ZooKeeper发送心跳信号。
  3. 故障检测:如果ZKFC在预定时间内未收到Active NameNode的心跳信号,它会认为Active NameNode已经失败。
  4. 故障转移协调:一旦检测到Active NameNode失败,ZKFC会在ZooKeeper中修改状态,触发故障转移流程。它会确保所有的FailoverControllers达成一致,然后指导Standby NameNode完成启动过程,成为新的Active NameNode。
  5. 客户端重定向:ZKFC还负责通知客户端关于新Active NameNode的信息,确保客户端能够连接到新的主NameNode上继续操作。

通过这种机制,ZKFC确保了HDFS集群在Active NameNode发生故障时能够迅速恢复服务,从而提高了整个文件系统的可用性和可靠性。

作者 east
Hive, Impala 9月 23,2024

Hive/Impala利用时间窗口函数巧妙实现2种不同类型数据间隔出现

在做一个需求,要求计算在不同时间段的多个最大值(波峰)和最小值(波谷),并且要求波峰和波谷是间隔出现的。

原始数据如下:

要求按时间(ptime)排序,同1个soc_id必须是1个peak和1个valley间隔,可能会有波峰波谷间隔出现多个;有多个peak连续出现时,取pvalue最大值(如果都相同取第一个值);有多个valley连续出现时,取pvalue最小值(如果都相同取第一个值)

实现代码如下:

WITH LagResult AS (
— 计算每一行的前一行的 peak_or_valley 值,用于后续分组
SELECT
soc_id,
ds,
ptime,
pvalue,
peak_or_valley,
LAG(peak_or_valley) OVER (PARTITION BY soc_id ORDER BY ptime) AS prev_peak_valley
FROM
your_table
),
GroupedPeaksAndValleys AS (
— 基于 LAG 结果生成每个 peak 和 valley 的分组编号
SELECT
soc_id,
ds,
ptime,
pvalue,
peak_or_valley,
— 通过对比当前值和前一个值是否不同来创建组号
SUM(CASE WHEN peak_or_valley != prev_peak_valley THEN 1 ELSE 0 END)
OVER (PARTITION BY soc_id ORDER BY ptime ASC) AS group_id
FROM
LagResult
),
FilteredPeaksAndValleys AS (
— 按每个分组的 peak 和 valley 排序,并选取最大或最小的 pvalue
SELECT
soc_id,
ds,
ptime,
pvalue,
peak_or_valley,
group_id,
ROW_NUMBER() OVER (PARTITION BY soc_id, group_id ORDER BY
CASE WHEN peak_or_valley = ‘peak’ THEN pvalue END DESC, — 对 peak 按 pvalue 降序
CASE WHEN peak_or_valley = ‘valley’ THEN pvalue END ASC, — 对 valley 按 pvalue 升序
ptime ASC — 在相同 pvalue 的情况下按 ptime 升序
) AS rn
FROM
GroupedPeaksAndValleys
)
SELECT
soc_id,
ds,
ptime,
pvalue,
peak_or_valley
FROM
FilteredPeaksAndValleys
WHERE
rn = 1 — 只保留每个 group 中的第一个,即 pvalue 最大/最小且时间最早的记录
ORDER BY
soc_id, ptime;

在上面的代码:

  1. LagResult CTE: 首先,我们通过 LAG() 函数计算出每行的前一个 peak_or_valley,这为后续分组做准备。
  2. GroupedPeaksAndValleys CTE: 使用 SUM(CASE ...) OVER 来生成分组编号(group_id)。当当前的 peak_or_valley 与前一个不同的时候,我们将分组编号加 1,从而将连续的相同 peak 或 valley 分为一组。
  3. FilteredPeaksAndValleys CTE: 对每个 group_id 中的 peak 和 valley 排序,选择 pvalue 最大(对于 peak)或最小(对于 valley)的记录,确保在 pvalue 相同时选择时间最早的记录。
  4. 最终结果: 按时间 (ptime) 排序,输出满足要求的 peak 和 valley 数据。

这个查询避免了嵌套窗口函数的限制,能够正确处理连续的 peak 和 valley,并选取最大或最小的 pvalue。

作者 east
Flink 9月 23,2024

Flink Lookup Join在性能优化方面都提供了哪些机制?

Apache Flink的Lookup Join是一种特殊类型的连接操作,它允许流表与外部数据库中的维表进行实时关联。在性能优化方面,Flink提供了以下几种机制:

  1. 同步和异步查询机制:Flink支持通过查询提示开启同步和异步查询模式。在异步模式下,可以并发地向维表发送多个数据项的查询请求,这样可以减少等待单个查询响应的时间,从而提高整体的查询性能。 
  2. Ordered和Unordered查询机制:在异步查询模式中,Flink还提供了Ordered和Unordered两种输出模式。Ordered模式需要等待所有数据查询完成并对数据进行排序后才能发送给下游,而Unordered模式不对输出顺序做要求,可以在查询到结果后立即发送,这样可以进一步提升性能。 
  3. Cache机制:Flink支持使用Cache机制来优化Lookup Join的性能。通过将维表数据缓存到内存中,可以减少对数据库的直接查询次数,加快数据检索速度。Flink提供了Full Caching(将所有数据缓存)和Partial Caching(使用LRU算法缓存最近使用的数据)两种缓存策略。 
  4. 状态管理优化:Flink的状态后端(State Backends)和Checkpoint机制也对Lookup Join的性能有影响。选择合适的状态后端和调整Checkpoint间隔可以优化状态的存储和恢复,从而间接提升Lookup Join的性能。
  5. 查询提示(Query Hints):Flink允许用户通过查询提示来指导优化器如何执行Lookup Join,这可以帮助优化器生成更高效的执行计划。 
作者 east
Flink 9月 23,2024

Flink Lookup Join 相比传统Join有哪些优势?

Flink Lookup Join 的优势

Flink Lookup Join 相比传统的 Join 操作,在实时数据处理方面具有明显的优势:

  1. 低延迟查询:Lookup Join 能够根据键值动态查找外部维表中的数据,这对于需要快速响应的实时数据流处理场景非常适用。 
  2. 异步查询:Flink 支持异步查找机制,这有助于提高查询性能和吞吐量,尤其是在处理大规模数据时。 
  3. 高效的维度查询:通过将维表数据加载到内存中并进行索引,Lookup Join 提供了快速查找和关联维度数据的能力,减少了对外部存储系统的访问次数。 
  4. 实时维度关联:Lookup Join 允许实时流数据与维表进行关联,这对于获取最新的维度信息至关重要,如在电商领域中将订单流与商品维表关联。 
  5. 动态数据关联:适用于维表数据动态变化的场景,确保流数据处理过程中能够及时获取最新的维度信息。 
  6. 事件时间关联:支持基于事件时间的关联操作,这在处理时间敏感的数据时尤为重要,如用户行为分析等。 
作者 east
doris 9月 18,2024

Doris Unique模型用于离线数仓的ODS层的好处

在离线数仓的ODS(Operational Data Store,操作型数据存储)层使用 Doris 的 Unique 模型有多个好处。Doris 提供多种数据模型,其中 Unique 模型专门用于保证数据唯一性,适合一些有去重需求的场景。将 Unique 模型应用于 ODS 层的主要优点包括:

1. 保证数据的唯一性

ODS 层通常存储从源系统抽取的原始数据,这些数据可能存在重复问题。Doris 的 Unique 模型通过唯一键(Primary Key)确保数据的唯一性,避免重复数据的出现。这在整合来自多个源的相同实体时非常重要,比如处理重复的用户、订单、交易等。

2. 便于数据更新

ODS 层的数据可能会发生变化,数据会不断地被更新或增量加载。Doris 的 Unique 模型允许基于唯一键进行记录的更新和覆盖,这使得数据变更(如状态更新、数据修正等)能够方便地应用到表中,而不必执行复杂的删除和插入操作。

3. 提高查询效率

尽管 ODS 层主要用作数据存储的中间层,但在有需要时,也会进行数据查询或分析。Unique 模型通过主键索引提高查询效率,特别是针对带有唯一键的查询。在处理大规模数据时,索引结构可以加速数据检索和聚合查询。

4. 适合维度更新频繁的场景

ODS 层的数据源自多个系统,维度数据的更新可能非常频繁。Doris 的 Unique 模型允许在 ODS 层快速处理这种频繁更新的数据,从而保持数据的最新状态。

5. 简化数据清洗和预处理

在离线数仓的 ODS 层,数据清洗和预处理是重要的步骤。Unique 模型帮助通过去重和数据规范化简化这一过程,确保数据质量,并为后续 DWH 层(数据仓库层)或 DM(数据集市层)的构建奠定坚实基础。

6. 高并发性能

Doris 具有高性能的并行处理能力,支持高并发的数据写入和查询,这对于离线数据仓库中的批量数据处理非常重要。Unique 模型能够高效处理大规模数据的批量导入和更新操作。

7. 灵活的扩展性

ODS 层的数据量通常非常庞大,并且随时间逐步扩展。Doris 的分布式架构和 Unique 模型的设计,支持在集群中进行水平扩展,适应离线数仓 ODS 层的扩展需求。

作者 east

上一 1 … 5 6 7 … 41 下一个

关注公众号“大模型全栈程序员”回复“小程序”获取1000个小程序打包源码。回复”chatgpt”获取免注册可用chatgpt。回复“大数据”获取多本大数据电子书

标签

AIGC AI创作 bert chatgpt github GPT-3 gpt3 GTP-3 hive mysql O2O tensorflow UI控件 不含后台 交流 共享经济 出行 图像 地图定位 外卖 多媒体 娱乐 小程序 布局 带后台完整项目 开源项目 搜索 支付 效率 教育 日历 机器学习 深度学习 物流 用户系统 电商 画图 画布(canvas) 社交 签到 联网 读书 资讯 阅读 预订

官方QQ群

小程序开发群:74052405

大数据开发群: 952493060

近期文章

  • 如何在Chrome中设置启动时自动打开多个默认网页
  • spark内存溢出怎样区分是软件还是代码原因
  • MQTT完全解析和实践
  • 解决运行Selenium报错:self.driver = webdriver.Chrome(service=service) TypeError: __init__() got an unexpected keyword argument ‘service’
  • python 3.6使用mysql-connector-python报错:SyntaxError: future feature annotations is not defined
  • 详解Python当中的pip常用命令
  • AUTOSAR如何在多个供应商交付的配置中避免ARXML不兼容?
  • C++thread pool(线程池)设计应关注哪些扩展性问题?
  • 各类MCAL(Microcontroller Abstraction Layer)如何与AUTOSAR工具链解耦?
  • 如何设计AUTOSAR中的“域控制器”以支持未来扩展?

文章归档

  • 2025年7月
  • 2025年6月
  • 2025年5月
  • 2025年4月
  • 2025年3月
  • 2025年2月
  • 2025年1月
  • 2024年12月
  • 2024年11月
  • 2024年10月
  • 2024年9月
  • 2024年8月
  • 2024年7月
  • 2024年6月
  • 2024年5月
  • 2024年4月
  • 2024年3月
  • 2023年11月
  • 2023年10月
  • 2023年9月
  • 2023年8月
  • 2023年7月
  • 2023年6月
  • 2023年5月
  • 2023年4月
  • 2023年3月
  • 2023年1月
  • 2022年11月
  • 2022年10月
  • 2022年9月
  • 2022年8月
  • 2022年7月
  • 2022年6月
  • 2022年5月
  • 2022年4月
  • 2022年3月
  • 2022年2月
  • 2022年1月
  • 2021年12月
  • 2021年11月
  • 2021年9月
  • 2021年8月
  • 2021年7月
  • 2021年6月
  • 2021年5月
  • 2021年4月
  • 2021年3月
  • 2021年2月
  • 2021年1月
  • 2020年12月
  • 2020年11月
  • 2020年10月
  • 2020年9月
  • 2020年8月
  • 2020年7月
  • 2020年6月
  • 2020年5月
  • 2020年4月
  • 2020年3月
  • 2020年2月
  • 2020年1月
  • 2019年7月
  • 2019年6月
  • 2019年5月
  • 2019年4月
  • 2019年3月
  • 2019年2月
  • 2019年1月
  • 2018年12月
  • 2018年7月
  • 2018年6月

分类目录

  • Android (73)
  • bug清单 (79)
  • C++ (34)
  • Fuchsia (15)
  • php (4)
  • python (45)
  • sklearn (1)
  • 云计算 (20)
  • 人工智能 (61)
    • chatgpt (21)
      • 提示词 (6)
    • Keras (1)
    • Tensorflow (3)
    • 大模型 (1)
    • 智能体 (4)
    • 深度学习 (14)
  • 储能 (44)
  • 前端 (5)
  • 大数据开发 (491)
    • CDH (6)
    • datax (4)
    • doris (31)
    • Elasticsearch (15)
    • Flink (78)
    • flume (7)
    • Hadoop (19)
    • Hbase (23)
    • Hive (41)
    • Impala (2)
    • Java (71)
    • Kafka (10)
    • neo4j (5)
    • shardingsphere (6)
    • solr (5)
    • Spark (100)
    • spring (11)
    • 数据仓库 (9)
    • 数据挖掘 (7)
    • 海豚调度器 (10)
    • 运维 (34)
      • Docker (3)
  • 小游戏代码 (1)
  • 小程序代码 (139)
    • O2O (16)
    • UI控件 (5)
    • 互联网类 (23)
    • 企业类 (6)
    • 地图定位 (9)
    • 多媒体 (6)
    • 工具类 (25)
    • 电商类 (22)
    • 社交 (7)
    • 行业软件 (7)
    • 资讯读书 (11)
  • 嵌入式 (71)
    • autosar (63)
    • RTOS (1)
    • 总线 (1)
  • 开发博客 (16)
    • Harmony (9)
  • 技术架构 (6)
  • 数据库 (32)
    • mongodb (1)
    • mysql (13)
    • pgsql (2)
    • redis (1)
    • tdengine (4)
  • 未分类 (7)
  • 程序员网赚 (20)
    • 广告联盟 (3)
    • 私域流量 (5)
    • 自媒体 (5)
  • 量化投资 (4)
  • 面试 (14)

功能

  • 登录
  • 文章RSS
  • 评论RSS
  • WordPress.org

All Rights Reserved by Gitweixin.本站收集网友上传代码, 如有侵犯版权,请发邮件联系yiyuyos@gmail.com删除.