systemd-analyze: Add --json=, --table and -no-legend tests for plot

systemd-analyze: Add tab complete logic for plot

systemd-analyze: Update man/systemd-analyze.xml with Plot JSON and table

systemd-analyze: Add table and JSON output implementation to plot

test-network: reprocess the loopback network interface

Fixes the issue reported at https://github.com/systemd/systemd-centos-ci/pull/585#issuecomment-1385537641.

Merge pull request #26021 from fbuihuu/some-journald-improvements

Some journald improvements

Merge pull request #26092 from poettering/dissect-sector-size

auto-detect intended sector size from DDI disk images, and configure loopback devices for it

core: add GetUnitByPIDFD method and use it in systemctl

A pid can be recycled, but a pidfd is pinned. Add a new method that is safer
as it takes a pidfd as input.
Return not only the D-Bus object path, but also the unit id and the last
recorded invocation id, as they are both useful (especially the id, as
converting from a path object to a unit id from a script requires another
round-trip via D-Bus).

Note that the manager still tracks processes by pid, so theorethically this
is not fully error-proof, but on the other hand the method response is
synchronous and the manager is single-threaded, so once a call is being
processed the unit database will not change anyway. Once the manager
switches to use pidfds everywhere, this can be further hardened.

hwdb: Add mic mute key mappings for Dell G16 Series

add Dell G16 series to use the mic mute hotkey.

repart: auto-probe sector size when not specified

homework: when creating/resizing GPT partitions, also set sector size explicitly

dissect: show sector size in info output

loop-util: always tell kernel explicitly about loopback sector size

Let's not leave the sector size unspecified: either set a user supplied
value, or auto-detect the right size by probing the disk image
accordingly.

dissect-image: add probe_sector_size() helper for detecting sector size of a GPT disk image

When we operate with DDIs with sector sizes != 512 we need to configure
the loopback device to match it, otherwise the image and the kernel
block device will disagree what things are.

Let's add a prober that tries to determine the sector size of a GPT DDI.
It does this by looking for the GPT partition table header at the
various byte offsets they must be located on, given a specific sector
size. It will try sector size 512, 1024, 2048 and 4096. Of these only
the 512 and 4096 really make sense IRL I guess, but let's be thorough.

loop-util: insist on setting the sector size correctly

If we attach a disk image to a loopback device the sector size of the
image must match the one of the loopback device, hence be more careful
here.

blockdev-util: add simple wrapper around BLKSSZGET

Just adds some typesafety and generates an error if the field is not
initialized in the block device yet.

Merge pull request #26044 from DaanDeMeyer/repart-sector-size

repart: Allow configuring sector size

test: bump D-Bus service start timeout if we run without accel

The default (25s) doesn't seem to be enough in some cases (especially
in VMs without acceleration), causing spurious timeouts:

[  174.297658] dbus-daemon[647]: [system] Activating via systemd: service name='org.freedesktop.hostname1' unit='dbus-org.freedesktop.hostname1.service' requested by ':1.0' (uid=0 pid=645 comm="hostnamectl " label="kernel")
[  184.202313] systemd[1]: systemd-update-utmp-runlevel.service: Consumed 1.253s CPU time.
[  197.335422] systemd[1]: Started dbus.service.
[  199.211468] testsuite-71.sh[639]: + assert_in 'Static hostname: H' ''
[  199.347192] dbus-daemon[647]: [system] Failed to activate service 'org.freedesktop.hostname1': timed out (service_start_timeout=25000ms)
[  199.394879] testsuite-71.sh[657]: + set +ex
[  199.438918] testsuite-71.sh[657]: FAIL: 'Static hostname: H' not found in:
[  200.966006] systemd-logind[631]: Watching system buttons on /dev/input/event0 (Power Button)
[  201.008178] systemd-logind[631]: Watching system buttons on /dev/input/event1 (AT Translated Set 2 keyboard)
[  201.034106] systemd-logind[631]: New seat seat0.
[  201.238267] sh[658]: + systemctl poweroff --no-block
[  201.329890] systemd[1]: Starting systemd-hostnamed.service...
[  202.156622] systemd[1]: systemd-update-utmp-runlevel.service: Deactivated successfully.
[  204.818913] hostnamectl[645]: Failed to query system properties: Connection timed out
[  205.195583] systemd[1]: testsuite-71.service: Main process exited, code=exited, status=1/FAILURE
[  205.227237] systemd[1]: testsuite-71.service: Failed with result 'exit-code'.
[  205.712780] systemd[1]: Failed to start testsuite-71.service.

Merge pull request #26081 from yuwata/udev-symlink-remove

udev: support -= operator for SYMLINK

coredump: use fstatvfs to check the available space

Given that we already have the file descriptor opened for writing, it
would make sense to call fstatvfs with that file descriptor rather than
statvfs with the directory path that was used to open that descriptor.

doc: document how we expect empty lines to be used

repart: Allow configuring sector size

Let's allow users to configure the (logical) sector size of their
image. This is required when building images for a 4k sector size
disk on a 512b sector size host or vice-versa.

mkfs-util: Shorten strv operations error handling

boot: Fix missed argument to Print()

This fixes 3e87a057a796b57bf9540b948823fbefef6693d7, which passed the
path to the wrong Print() call. Miraculously, this was printing the
correct path during testing and was therefore missed.

units: don't install pcrphase-related units without gnu-efi

since we don't have systemd-pcrphase built anyway, which breaks the tests:

...
I: Attempting to install /usr/lib/systemd/systemd-networkd-wait-online (based on unit file reference)
I: Attempting to install /usr/lib/systemd/systemd-network-generator (based on unit file reference)
I: Attempting to install /usr/lib/systemd/systemd-oomd (based on unit file reference)
I: Attempting to install /usr/lib/systemd/systemd-pcrphase (based on unit file reference)
W: Failed to install '/usr/lib/systemd/systemd-pcrphase'
make: *** [Makefile:4: setup] Error 1
make: Leaving directory '/root/systemd/test/TEST-01-BASIC'

Follow-up to 04959faa632272a8fc9cdac3121b2e4af721c1b6.

send dhcpv6 release when stopping

tpm2: replace magic number

Merge pull request #25006 from poettering/pcr15

cryptsetup: measure LUKS volume keys to PCR 15

Merge pull request #26005 from medhefgo/boot-hypervisor

boot: Detect hypervisors using SMBIOS info

update TODO

test: add simple integration test for checking PCR extension works as it should

man: document new machine-id/fs measurement options

tpm2: add common helper for checking if we are running on UKI with TPM measurements

Let's introduce a common implementation of a function that checks
whether we are booted on a kernel with systemd-stub that has TPM PCR
measurements enabled. Do our own userspace measurements only if we
detect that.

PCRs are scarce and most likely there are projects which already make
use of them in other ways. Hence, instead of blindly stepping into their
territory let's conditionalize things so that people have to explicitly
buy into our PCR assignments before we start measuring things into them.
Specifically bind everything to an UKI that reported measurements.

This was previously already implemented in systemd-pcrphase, but with
this change we expand this to all tools that process PCR measurement
settings.

The env var to override the check is renamed to SYSTEMD_FORCE_MEASURE,
to make it more generic (since we'll use it at multiple places now).
This is not a compat break, since the original env var for that was not
included in any stable release yet.

generators: optionally, measure file systems at boot

If we use gpt-auto-generator, automatically measure root fs and /var.

Otherwise, add x-systemd.measure option to request this.

units: rework growfs units to be just a regular unit that is instantiated

The systemd-growfs@.service units are currently written in full for each
file system to grow. Which is kinda pointless given that (besides an
optional ordering dep) they contain always the same definition. Let's
fix that and add a static template for this logic, that the generator
simply instantiates (and adds an ordering dep for).

This mimics how systemd-fsck@.service is handled. Similar to the wait
that for root fs there's a special instance systemd-fsck-root.service
we also add a special instance systemd-growfs-root.service for the root
fs, since it has slightly different deps.

Fixes: #20788
See: #10014

generator: teach generator_add_symlink() to instantiate specified unit

if we want generators to instantiate a template service, we need to
teach generator_add_symlink() the concept.

Just some preparation for a later commit.

While we are at it, modernize the function around
path_extract_filename() + path_extract_directory()

units: measure /etc/machine-id into PCR 15 during early boot

We want PCR 15 to be useful for binding per-system policy to. Let's
measure the machine ID into it, to ensure that every OS we can
distinguish will get a different PCR (even if the root disk encryption
key is already measured into it).

pcrphase: make tool more generic, reuse for measuring machine id/fs uuids

See: #24503

gpt-auto-generator: automatically measure root/var volume keys into PCR 15

let's enable PCR 15 measurements automatically if gpt-auto discovery is
used and systemd-stub is also used.

man: document the new crypttab measurement options

cryptsetup: add tpm2-measure-pcr= and tpm2-measure-bank= crypttab options

These options allow measuring the volume key used for unlocking the
volume to a TPM2 PCR. This is ideally used for the volume key of the
root file system and can then be used to bind other resources to the
root file system volume in a secure way.

See: #24503

tpm2-util: optionally do HMAC in tpm2_extend_bytes() in case we process sensitive data

When measuring data into a PCR we are supposed to hash the data on the
CPU and then pass the hash value over the wire to the TPM2. That's all
good as long as the data we intend to measure is not sensitive.

Let's be extra careful though if we want to measure sensitive data, for
example the root file system volume key. Instead of just hashing that
and passing it over the wire to the TPM2, let's do a HMAC signature
instead. It's also a hash operation, but should protect our secret
reasonably well and not leak direct information about it to wiretappers.

tpm2-util: split out code that extends a PCR from pcrphase

This way we can reuse it later outside of pcrphase

tpm2-util: split out code that derives "good" TPM2 banks into an strv from pcrphase and generalize it in tpm2-util.c

That way we can reuse it later from different places.

test-udev: add a brief test for -= operator for SYMLINK

udev: support '-=' operator for SYMLINK

For some (corner) cases, it might be desirable to disable the generation of
some persistent storage symlinks that 60-persistent-storage.rules creates.

For example on big setups with a high number of partitions which uses the same
label name, this can result in a noticeable slow-down in the (re)start of the
udevd as there are many contenders for the symlink /dev/disk/by-partlabel.

However it's currently pretty hard to overwrite just some specific part of the
rule file. Indeed one need to copy and modify the whole rule file in /etc but
will lost any upcoming updates/fixes that the distro might release in the
future.

With this simple patch, one can now disable the generation of the
"by-partlabel" symlinks (for example) with the following single rule:

$ cat /etc/udev/rules.d/99-no-by-partlabel.rules
ENV{ID_PART_ENTRY_NAME}=="?*", SYMLINK-="disk/by-partlabel/$env{ID_PART_ENTRY_NAME}"

Closes #24607.

Merge pull request #26004 from poettering/cleanuo-erase-moar

tree-wide: use CLEANUP_ERASE() at many places

sd-dhcp-client: gracefully handle invalid ether type client ID

Currently, sd-dhcp-server accepts spurious client IDs, then the leases
exposed by networkd may be invalid. Let's make networkctl gracefully
show such leases.

Fixes #25984.

busctl: simplify peeking the type

let's peek the type before we enter the variant, not after, so that we
can reuse it as-is, instead having to recombine it later.

Follow-up for: #26049

sd-dhcp6: always append the default status message generated from status code

Fixes #25988.

network: fix memleak

Fixes a bug introduced by af2aea8bb64b0dc42ecbe5549216eb567681a803.

Fixes #25883 and #25891.

Merge pull request #26071 from yuwata/network-dhcp-quick-ack

network: make TCP quick ACK mode for dynamic routes configurable

Merge pull request #26054 from aplanas/fix_user_creds

creds-util: some fixes related with TPM2 and capabilities

Merge pull request #26051 from YHNdnzj/systemctl-list-dependencies-type

systemctl: list-dependencies: support --type= and --state=

boot: Skip soft-brick warning when in a VM

This part of the warning is annoying to look at not really true when
running inside of a VM.

boot: Detect hypervisors using SMBIOS info

This allows skipping secure boot enrollment wait time on other arches.

memory-util: add CLEANUP_ERASE_PTR() macro and use it

tree-wide: use CLEANUP_ERASE() at various places

Let's use this new macro wherever it makes sense, as it allows us to
shorten or clean-up paths, and makes it less likely to miss a return
path.

journald: split find_journal() up

No functional change.

journald: introduce journal_file_parse_uid_from_filename() helper

journald: rename vacuum_offline_user_journals()

The name was misleading because the function actually archives offline
journals, ie it doesn't try to remove them to make some room.

No functional change.

update TODO

Merge pull request #25999 from DaanDeMeyer/mkosi

ci: Update mkosi action to latest commit

mount: handle bind mount of file with non-existing target

When the target (Where=) of a mount does not exist, systemd tries to
create it. But previously, it'd always been created as a directory. That
doesn't work if one wants to bind-mount a file to a target that doesn't
exist.

Fixes: #17184

creds-util: merge the TPM2 detection for initrd

This patch merge the TPM2 detection paths when we are inside and outside
an initrd.

Signed-off-by: Alberto Planas <aplanas@suse.com>

creds-util: do not try TPM2 if there is not support

During the credentials encryption, if systemd it is compiled with TPM2
support, it will try to use it depending on the key flags passed.

The current code only checks if the system has a functional TPM2 if the
case of the INITRD flag.

This patch do a similar check in the case that it is outside initrd (but
still automatic).

Signed-off-by: Alberto Planas <aplanas@suse.com>

creds-util: check for CAP_DAC_READ_SEARCH

In make_credential_host_secret, the credential.secret file is generated
first as a temporary anonymous file that is later instantiated with
linkat(2).  This system call requires CAP_DAC_READ_SEARCH capability
when the flag AT_EMPTY_PATH is used.

This patch check if the capability is effective, and if not uses the
alternative codepath for creating named temporary files.

Non-root users can now create per-user credentials with:

  export SYSTEMD_CREDENTIAL_SECRET=$HOME/.config/systemd/credential.secret
  systemd-creds setup

Signed-off-by: Alberto Planas <aplanas@suse.com>

systemctl: list-dependencies: support --type= and --state=

Closes #25975

man: clarify applicability of IPv6AcceptRA option

There is no reason to not accept RAs on bondX devices (devices that
aggregate other devices). It makes sense for aggregated devies though.

gpt-auto: harden ESP/XBOOTLDR mounts with "noexec,nosuid,nodev"

When these partitions are probed by gpt-auto,
they will always be hardened with such options.

See also: https://github.com/systemd/systemd/issues/25776#issuecomment-1364115711

Closes #25776

man: udev_enumerate_new: fix typo

NEWS: mention QuickAck=

NEWS: move one entry to the correct section

network: introduce QuickAck= for [DHCPv4] and [IPv6AcceptRA]

Closes #25906.

ukify: Fix version string

Let's make sure we mimick the version of our other CLI tooling.

docs/man: remove reference to default vsock CID

This was dropped on reviewers' request in the revision that got merged,
but reference in two documents was not updated. Fix it.

Follow-up for: https://github.com/systemd/systemd/pull/25918

mkosi: Use meson setup

boot: Remove -O1 workaround

Now that we have ukify and mkosi has been updated to use it, we
have a solution in place to make sure that PE sections don't overlap
in a UKI so let's drop the workaround to avoid overlapping PE sections.

ci: Update mkosi action to latest commit

Let's make sure we're testing with the latest changes in mkosi. This
includes both the switch to systemd-repart and ukify, making sure we
get extra testing coverage for those components.

This also drops options from the centos config that have been removed
in the newer mkosi.

For some reason idmapping runs into some issues so we disable it for
now.

man: libudev: fix typo

busctl: fix introspecting DBus properties

Follow-up for f2f7785d7a47ffa48ac929648794e1288509ddd8.

Fixes #26033.

test: support a non-default SysV directory

Since the directory is configurable via -Dsysvinit-path= during build,
it makes the test fail on Fedora/RHEL/CentOS, where it's set to
/etc/rc.d/init.d, instead of the default /etc/init.d. Since we can't get
the value at runtime (in a reasonable manner), let's just support the
two most common paths for now.

Follow up to 7fcf0fab078ed92a4f6c3c3658c0a9dfd67c9601.

open-file: Fix user-after-free

systemctl: list-dependencies: pass bool where appropriate

Merge pull request #26047 from yuwata/udev-node-cleanups

udev: several cleanups

udev: simplify a bit stack_directory_find_prioritized_devnode()

And make the new format the one we expect as it should replace the old one
pretty quickly.

udev: return ENODEV if link_directory_read_one() can't find the devnode

That's usually the errno code we return when a device cannot be found because
it's been unplugged.

udev: let stack_directory_open() convert a slink into a dirname itself

We likely always want to open the directory via a slink.

There's currently only one caller so it doesn't make any difference in practice
but I think it's still nicer.

No functional change.

udev: merge link_directory_lock() into link_directory_open()

These 2 operations are inseparable.

bootspec: show efi entry too

test: explicitly create the /etc/init.d directory

On RHEL/CentOS/Fedora this directory is provided by the chkconfig or
initscripts package, which might not be installed:

testsuite-26.sh[1225]: + [[ -x /usr/lib/systemd/system-generators/systemd-sysv-generator ]]
testsuite-26.sh[1225]: + cat
testsuite-26.sh[2330]: /usr/lib/systemd/tests/testdata/units/testsuite-26.sh: line 299: /etc/init.d/issue-24990: No such file or directory

Follow-up to 5f882cc3ab32636d9242effb2cefad20d92d2ec2.

cgroup: Do not emit compat message without memory limit

Previously mere MemoryLow= directive would lead to emitting the compat
message 'Applying MemoryMax=18446744073709551615 as MemoryLimit=' even
though it carries little information.

dissect-image: Notify btrfs when we're done using a loop device

Let's explicitly let btrfs know when we're done using a loop device.
Otherwise, btrfs will keep the device UUID cached which will result
in mount() failures if we ever generate a device or filesystem with
the same UUID again.

ci: Fix PR labeling

Make sure we only add labels to open pull request and remove labels
from closed pull requests.

Merge pull request #25661 from yuwata/systemctl-suppress-warning

systemctl: suppress warning about missing /proc/ when --no-warn

network: Show network and link file dropins in networkctl status

Fixes #24428

network: fix race between RTM_NEWLINK and NL82011_CMD_NEW_INTERFACE

When a new wireless network interface is created by the kernel, it emits
both RTM_NEWLINK and NL80211_CMD_NEW_INTERFACE. These events can arrive
in either order and networkd must behave correctly in both cases.

The typical case is that RTM_NEWLINK is handled first, in which case
networkd creates a Link object and starts tracking it. When the
NL80211_CMD_NEW_INTERFACE message is handled, networkd then populates
the Link object with relevant wireless properties such as wireless
interface type (managed, AP, etc.).

In the event that the order is reversed however, networkd will fail to
populate these wireless properties because at the time of processing the
nl80211 message, the link is considered unknown. In that case, a debug
message is emitted:

  systemd-networkd[467]: nl80211: received new_interface(7) message for link '109' we don't know about, ignoring.

This is problematic because after the subsequent RTM_NEWLINK message,
networkd will have an incomplete view of the link. In particular, if a
.network configuration matches on some of the missing wireless
properties, such as WLANInterfaceType=, then it will never match.

The above race can be reproduced by using the mac80211_hwsim driver.
Suppose that there exists a .network configuration:

  [Match]
  WLANInterfaceType=ap
  ...

Now loop the creation/destruction of such an AP interface:

  while true
  do
    iw dev wlan0 interface add uap0 type __ap
    iw dev uap0 del
  done

The above debug message from networkd will then be observed very
quickly. And in that event, the .network file will fail to match.

To address the above race, have the nl80211 message handler store the
interface index in a set in case a Link object is not found on
NL80211_CMD_NEW_INTERFACE. The handler for RTM_NEWLINK can then query
this set, and explicitly request the wireless properties from nl80211
upon the creation of the Link object.

optionally set socket priority on DHCPv4 raw socket

shell-completion: systemctl: add --no-warn

systemctl: suppress warning about missing /proc/ when --no-warn

Follow-up for 0f958c8d4fc13ed1c1af928b2a7d91d31c7576eb.

systemctl is called many times by dnf or so, and missing /proc/ is not
a user's fault, but package manager's issue.
With this commit, we can suppress the warning by updating rpm macros if
necessary.