docs: Clarify that the fd store is discarded when a service is stopped

Merge pull request #21676 from keszybz/rename-variables-to-make-codeql-happy

Rename variables to make codeql happy

journal: succes[s]fully typo

As found by fossies codespell:
https://fossies.org/linux/test/systemd-main.bb916f3.211208.tar.gz/codespell.html

ci: ignore FIXME alerts in the CodeQL Action

We already track them in LGTM and it unnecessarily clutters the Security
page.

network: call link_check_ready() when all stacked netdevs are created

Follow-up for 879377cad531aabbf85a140201b0ea3ff9a8c3d2.

Otherwise, the underlying interface may stuck in configuring state.

Merge pull request #21527 from vcaputo/journal-file-mfd-centric

journal-file: get rid of JournalFile.mmap

test-dhcp-option: inline iterator variable declarations

test-exec-util: rename variable to avoid global/local name conflict

test-dhcp-option: rename variable to avoid global/local name conflict

CodeQL was complaining that the local variable obscurs the global
one. It is indeed a bit confusing when reading this… Let's rename
the variable to avoid confusing the reader.

kernel-install: respect $MACHINE_ID and ignore /etc/machine-id if on tmpfs

Confer https://github.com/systemd/systemd/pull/19006#issuecomment-800234022:
  On some systems it's the admin's explicit choice not to to have the
  machine ID leak into the ESP
  On some systems the machine ID is transient, generated at every boot,
  and hence should not be written to the ESP

Merge pull request #21672 from yuwata/network-old-kernel-support

network: old kernel support

meson: drop libgcrypt dep from resolved tests

Follow-up for pull request #21170.

I hoped that we would drop libgcrypt fully and drop all references to the
library in meson, but this doesn't seem feasible (because of the use in
sd-journal). But let's remove it here, all the resolved code has been switched
to work either of the two libraries.

dhcp: fix assertion failure

Fixes #21671.

journal-file: require MMapCache* for journal_file_open()

Previously the MMapCache* was optionally NULL, which open would
handle by creating a new MMapCache* for the occasion.

This produced some slightly circuitous refcount-handling code in
the function, as well as arguably creating opportunities for
weirdness where an MMapCache* was intended to be supplied but
happened to be NULL, which this magic would then paper over.

In any case, this was basically only being utilized by tests,
apparently just to avoid having to create an MMapCache.  So
update the relevant tests to supply an MMapCache and make
journal_file_open() treat a NULL MMapCache* as fatal w/assert.

mmap-cache: add MMapCache trivial cleanup helpers

Enable _cleanup_(mmap_cache_unrefp) style cleanup for MMapCache*

journal-file: goodbye JournalFile.mmap

This gets rid of the manual MMapCache ref/unref goop in
journal_file_{open,close}(), in favor of just letting the
JournalFile.cache_fd MMapFileDescriptor carry the baton.

journal: stop using JournalFile.mmap everywhere

Preparatory commit; before JournalFile can stop hanging onto its
copy of MMapCache, all these users need to find another way.

Most of the time these callers already have the MMapCache onhand,
so it's no big deal for them to just supply it.

journal_file_rotate() in particular needed to change, and it
seemed wise to not use the mmap_cache_fd_cache() accessor on
f->cache_fd, instead requiring the caller supply the cache to
use.  This was done with an eye towards a potential future where
the journal_file_archive() isolates the cache_fd to a private
cache, which the newly rotated-to file wouldn't be allowed to
use.  It's no biggie for the existing callers to just provide the
appropriate surviving cache.

Basically the mmap_cache_fd_cache() accessor was added just for
journal-verify.c's (ab)use of the mmap-cache.  Which, if the
ugly singleton MMapCache assumption ever goes away, can be
cleaned up to simply use a separate MMapCache for those search
arrays.

mmap-cache: add MMapFileDescriptor.cache accessor

Sometimes we want to reuse an existing MMapFileDescriptor's
cache, but it's a private struct.

This lets us access that pointer if necessary.

mmap-cache: ref/unref MMapCache in fd add/free

Preparatory commit; callers manually ref/unref MMapCaches
alongside MMapFileDescriptor add/frees, when the latter should be
sufficient.

A subsequent commit will drop some of those manual MMapCache
reference hoop-jumping, leaving the lifecycle bound to
MMapFileDescriptors.

network: address: read flags from message header when IFA_FLAGS is not supported by kernel

Follow-up for 0828a38605975b68c14c9194a1ee2c5c2ff7038f.

Fixes #21670.

network: route: tighten variable scope

Follow-up for 5e82a6137546d3a2ac403df261732076130356a8.

Merge pull request #20476 from jamacku/new-feature-reloaded-stamp

core: indicate the time when units were loaded

bpf: refactor skeleton generation

This should hopefully fix cross compilation for the bpf programs.

Merge pull request #21625 from yuwata/network-dhcp-6rd

network: dhcp: add 6rd support

core: add StartUnitWithFlags DBUS method

When an activation job is skipped because of a Condition*= setting failing,
currently the JobRemoved signal lists 'done' as the result, just as with
a successful job.

This is a problem when doing dbus activation: dbus-broker will receive a
signal that says the job was successful, so then it moves into a state where
it waits for the requested name to appear on the bus, but that never happens
because the job was actually skipped.

Add a new StartUnitWithFlags that changes the behaviour of the JobRemoved
signal to list 'done' or 'skipped'.

Fixes #21520

github: mention the systemd-devel ML in the new issue tab

Merge pull request #21657 from mrc0mmand/codeql-shenanigans

ci: sync the list of CodeQL queries with LGTM

core: Indicate the time when the manager started loading units the last time

core: Add new DBUS properties UnitsReloadStartTimestamp and UnitsLoadTimestampMontonic

ci: pack-ify our custom CodeQL queries and enable them in Actions

Unlike LGTM, the CodeQL Action requires the custom queries to have their
own qlpack.yml file, so let's provide one.

ci: run the CodeQL action also when its configuration changes

Just to make sure we didn't break anything.

ci: sync the list of CodeQL queries with LGTM

resolve: remove server 'large' level

This removes the DNS_SERVER_FEATURE_LEVEL_LARGE, and sets the EDNS0
advertised max packet size as if always in 'large' mode.

Without this, we always send out EDNS0 opts that limit response sizes
to 512 bytes, thus the remote server will never send anything larger
and will always truncate responses larger than 512 bytes, forcing us
to drop from EDNS0 down to TCP, even though one of the primary benefits
of EDNS0 is larger packet sizes.

Fixes: #20993

ci: add a missing SPDX header

Merge pull request #21264 from medhefgo/boot-lto

sd-boot: LTO support

test-network: support the case that the default config files are not installed yet

test-network: add test for 6rd

man: network: document Use6RD= setting

network: dhcp-pd: add 6rd support

Closes #19152.

sd-dhcp-client: support 6rd option

network: introduce link_remove()

network: dhcp-pd: rename [DHCPv6PrefixDelegation] -> [DHCPPrefixDelegation]

This just changes the names of settings, variables, functions, files, and so on.
No functionality is changed.

Preparation for supporting 6rd.

Merge pull request #21653 from yuwata/network-dhcp6pd-unreachable-route-cleanups

network: dhcp6pd: cleanups for unreachable route

Merge pull request #21655 from yuwata/network-creating-enslaving-netdev-cleanups

network: cleanups for creating or enslaving netdevs

network: dhcp6pd: assign addresses in the delegated prefix instead of a subnet prefix /64 on upstream interface

network: dhcp6pd: do not check Announce= setting when the link does not support RADV

network: fix memleak

Follow-up for ab106a609bc253c0dc49667e981108110b3a87a5.

Fixes CID#1467055.

network: dhcp6pd: drop link_has_preferred_subnet_id() and inline condition

network: dhcp6pd: use the kernel's default value for priority of unreachable route

This should not change any behavior, as both values are equivalent.

network: dhcp6pd: always use main route table for unreachable route

This mostly reverts e47bcb7d0b2cb07c5c594e374baeb061bb7f88ba.

network: dhcp6pd: set server address for unreachable route

This is just for json output.

network: dhcp6pd: gracefully handle delegated prefix whose prefixlen is larger than 64

Merge pull request #20522 from yuwata/cgroup-fix

core/cgroup: fix io.weight and blkio.weight

ci: pin python dependencies and let Dependabot keep track of them

Merge pull request #21307 from medhefgo/boot-alloc

sd-boot: Non-failing allocators

network/netdev: drop spurious state from the condition to create stacked netdevs

Stacked netdevs are requested when the underlying interface is in
configuring state.

network/netdev: create stacked netdevs after all set-link operations are finished

E.g. setting MAC address must be done before creating VLAN interface.

network: do not block configuring addresses by creating stacked netdevs

`link_is_ready_to_configure()` is used to judge we can configure
addresses, routes, and etc. And they can be configured independently of
stacked netdevs.

network: set MAC address before enslaving to bond or bridge interface

As the master interface may inherit the slave MAC address.

units/systemd-udevd: allow bpf() syscall

Programs run by udev triggers may need to execute the bpf() syscall. Even more
so, since on a cgroup v2 system, the only way to set up device access filtering
is to install a BPF program on the cgroup in question and one way of passing
data to such program is through BPF maps, which can only be access using the
bpf() syscall. One such use case was identified in RHBZ#2025264 related to
snap-device-helper, and led to RHBZ#2027627 being filed.

Unfortunately there is no finer grained control over what gets passed in the
syscall, so just enable bpf() and leave fine grained mediation to other
security layers (eg. SELinux).

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=2027627

Signed-off-by: Maciek Borzecki <maciek.borzecki@gmail.com>

Merge pull request #21598 from DaanDeMeyer/journald-file

journal: Fix re-enabling COW for archived journal files on BTRFS

network,udev: do not adjust local assignment bit of specified MAC address

People often assigns the MAC address of the enslaved interface to e.g.
bridge interface. So, the local assignment bit should not be adjusted.

Fixes #21649.

Merge pull request #21642 from yuwata/network-state-file-ignore-dynamic-when-dbus-entry-exists

network: state-file: ignore dynamic entries when specified by DBus method

Merge pull request #21646 from mrc0mmand/lgtm-followups

LGTM follow-ups

Merge pull request #21639 from yuwata/network-dhcp6pd-use-dhcp6_pd_prefix_acquired

network: dhcp6pd: use dhcp6 pd prefix acquired() and drop dhcp6_pd_distribute_prefix()

Merge pull request #21196 from yuwata/process-util-nulstr

process-util: handle double NUL as the end of command line

TEST-10: don't attempt to write a byte to the socket

Writing a byte to test10.socket is actually the root cause of issue #19154:
depending on the timing, it's possible that PID1 closes the socket before socat
(or nc, it doesn't matter which tool is actually used) tries to write that one
byte to the socket. In this case writing to the socket returns EPIPE, which
causes socat to exit(1) and subsequently make the test fail.

Since we're only interested in connecting to the socket and triggering the rate
limit of the socket, this patch removes the parts that write the single byte to
the socket, which should remove the race for good.

Since it shouldn't matter whether the test uses socat or nc, let's switch back
to nc and hence remove the sole user of socat. The exit status of nc is however
ignored because some versions might choke when the socket is closed
unexpectedly.

build(deps): bump github/codeql-action from 1.0.24 to 1.0.25

Bumps [github/codeql-action](https://github.com/github/codeql-action) from 1.0.24 to 1.0.25.
- [Release notes](https://github.com/github/codeql-action/releases)
- [Changelog](https://github.com/github/codeql-action/blob/main/CHANGELOG.md)
- [Commits](https://github.com/github/codeql-action/compare/e095058bfa09de8070f94e98f5dc059531bc6235...546b30f35ae5a3db0e0be1843008c2224f71c3b0)

---
updated-dependencies:
- dependency-name: github/codeql-action
  dependency-type: direct:production
  update-type: version-update:semver-patch
...

Signed-off-by: dependabot[bot] <support@github.com>

network: state-file: do not append dynamic entries when specified by DBus method

Fixes #21515.

journal: Fix disabling NO_COW on btrfs filesystems

Disabling NOCOW when data has been written to a file doesn't work.
Instead, when we're done writing to a journal file (after archiving),
let's rewrite the file with COW enabled. This also takes care of
properly defragmenting the file.

With zstd compression level 3, journal files are compressed to 12%
of their original size with default journal settings.

As rewriting the file might take a while since we also do an fsync()
after the rewrite, this work is done in the offline thread to avoid
blocking the journald event loop.

basic: Make sure we're extra paranoid in chattr_full

On btrfs, trying to disable FS_NOCOW_FL on a file that has data
already written will fail silently without reporting an error. To
catch such cases, let's query the flags again if the IOC_SETFLAGS
ioctl() succeeds to make sure the flags we tried to configure we're
actually accepted by the kernel.

journal: Update the JournalFile path when archiving

When we archive a path, we rename the file to indicate this. However,
until now, we didn't actually update the path member of the corresponding
JournalFile instance. Let's make sure we also update this to avoid
misuse of the old path later on.

This change also requires we save the previous path in journal_file_rotate()
since we need to open a new file at the previous path.

mkosi: Add compsize to list of installed packages on Fedora

compsize is useful to check the compression ratio of journal files
on filesystems that support compression such as BTRFS.

mkosi: Add e2fsprogs to installed packages for Fedora

lsattr is useful to check chattr flags on files.

journal: Move offlining logic to journald-file.c

With this change, the logic to write the final tag, emit the final
change notification and to offline the file moves from journal_file_close()
to journald_file_close(). Since all this logic is only executed when
the journal file is writable and all code that writes journal files
already uses journald_file_close() instead of journal_file_close(), this
change should not introduce any changes in behaviour.

Moving the offline related logic to journald-file.c allows us to use
code from src/shared in the offlining logic, more specifically, we can
use the file copying logic from copy.h to fix BTRFS filesystem compression
for journal files when archiving.

journal: Introduce journald-file.c for journal file write related logic

Currently, all the logic related to writing journal files lives in
journal-file.c which is part of libsystemd (sd-journal). Because it's
part of libsystemd, we can't depend on any code from src/shared.

To allow using code from src/shared when writing journal files, let's
gradually move the write related logic from journal-file.c to
journald-file.c in src/journal. This directory is not part of libsystemd
and as such can use code from src/shared.

We can safely remove any journal write related logic from libsystemd as
it's not used by any public APIs in libsystemd.

This commit introduces the new file along with the JournaldFile struct
which wraps an instance of JournalFile. The goal is to gradually move
more functions from journal-file.c and fields from JournalFile to
journald-file.c and JournaldFile respectively.

This commit also modifies all call sites that write journal files to
use JournaldFile instead of JournalFile. All sd-journal tests that
write journal files are moved to src/journal so they can make use of
journald-file.c.

Because the deferred closes logic is only used by journald, we move it
out of journal-file.c as well. In journal_file_open(), we would wait for
any remaining deferred closes for the file we're about to open to complete
before continuing if the file was not newly created. In journald_file_open(),
we call this logic unconditionally since it stands that if a file is newly
created, it can't have any outstanding deferred closes.

No changes in behavior are introduced aside from the earlier execution
of waiting for any deferred closes to complete when opening a new journal
file.

core: use correct level for CPU time log message

raise_level() takes the info condition as second argument and the notice
one as third. For the consumed CPU time these conditions are swapped.

Fixes: 37109b856aeb ("pid1: use LOG_DEBUG/INFO/NOTICE for unit resource consumption message")

Merge pull request #21372 from DaanDeMeyer/journal-truncate

journal-file: truncate archived journals

Merge pull request #21638 from yuwata/network-dhcp6pd-prefix-lost

network: dhcp6pd: fix prefix lost handling

network: state-file: honor dhcp6_use_domains flag

analyze,resolve: suppress a couple of false-positive alerts

core: check for NULL in one more place

fix DirectoryNotEmpty when it comes to a Non-directory file

NEWS: add more entries for v250

NEWS: add more entries for v250

process-util: handle double NUL as the end of command line

Fixes #21186.

process-util: rename function arguments for storing results

Merge pull request #21620 from yuwata/udev-path-id

udev/path_id: fix skip_subsystem()

journal: punch holes in unused parts of entry arrays when archiving

Entry arrays grow exponentially, so when archiving a journal file is
archived, it's very likely that the final entry array objects in each
entry array chain aren't fully used. Let's punch holes in the unused
parts so the filesystem can reclaim this unused space and use it for
something else.

journal: truncate archived journals

Journal files have space allocated in 8MiB-aligned increments. This
can add up to substantial wasted space as many archived journals
accumulate without using all the allocated space. Let's truncate
journal files to their actually used size when archiving them to
reclaim this unused space.

As the mmap cache is not thread-safe, we can't call
journal_file_move_to_object() from the offline thread. Instead,
we use journal_file_read_object() which doesn't rely on the mmap
cache.

journal: Add journal_file_read_object()

Merge pull request #21633 from yuwata/network-route-null-destination

network: route: fix null destination handling

Merge pull request #21634 from yuwata/dhcp-header-cleanups

dhcp: trivial header cleanups

network: dhcp6pd: make dhcp6_pd_assign_prefixes() used also by dhcp6_pd_prefix_acquired()

network: dhcp6pd: first check prefixes, then calculate lifetime

network: dhcp6pd: shorten code a bit

network: dhcp6pd: skip to assign prefixes to a downstream link if it is not ready

network: dhcp6pd: move dhcp6_pd_assign_prefixes()

Preparation for the later commits.

network: dhcp6pd: also allow to only assign prefix route for delegated prefix to upstream interface

network: dhcp6pd: drop unreachable routes when lease lost